JAPANESE
トークナイザー
トークナイザー
KOREAN
토크나이저
[トクナイジョ]
ハングル読み: 토쿠나이자
解説
テキストをLLMが処理できるトークン単位に分割する前処理コンポーネント。BPE、SentencePieceなどのアルゴリズムが使用される。
텍스트를 LLM이 처리할 수 있는 토큰 단위로 분할하는 전처리 컴포넌트. BPE, SentencePiece 등의 알고리즘이 사용된다.
例文
日本語テキストのトークン数が英語より多いので、トークナイザーの特性を理解してコスト計算しましょう。
일본어 텍스트의 토큰 수가 영어보다 많으니, 토크나이저 특성을 이해하고 비용을 계산합시다.