실제로 내 문장이 어떻게 토큰화되는지 확인하는 방법
지금까지 제시한 토큰 분할은 원리를 설명하기 위한 예시였습니다. 실제 결과를 확인하려면 토크나이저에 직접 입력해야 합니다.
OpenAI Tokenizer
(원문이 어떻게 나뉘는지와 토큰 수를 확인할 수 있는 도구입니다.)
https://platform.openai.com/tokenizer?utm_source=chatgpt.com
맛있는 사과 하나만 가져다 주세요!
Please bring me one delicious apple!