JAPANESE
トークンバジェット
トークンバジェット
KOREAN
토큰 버짓
[トクン ポジッ]
ハングル読み: 토쿤바젯토
解説
LLM利用時に入力・出力トークン数の上限を事前に設定し、コストやレイテンシを制御する運用手法。プロンプト設計やコンテキスト圧縮と組み合わせることで予算超過を防止する。
LLM 사용 시 입력 및 출력 토큰 수의 상한을 사전에 설정하여 비용과 레이턴시를 제어하는 운용 기법이다. 프롬프트 설계나 컨텍스트 압축과 조합하여 예산 초과를 방지한다.
例文
トークンバジェットを設定しておかないと、長い入力で予算を超過する可能性がある。
토큰 버짓을 설정해 두지 않으면 긴 입력으로 예산을 초과할 가능성이 있다.