JAPANESE
コンテキスト蒸留
コンテキストじょうりゅう
KOREAN
컨텍스트 증류
[コンテクストゥ ジュンリュ]
ハングル読み: 콘테키스토조우류우
解説
長いシステムプロンプトやコンテキスト情報をモデルのパラメータに内在化させ、推論時のトークン消費を削減する技術。繰り返し使用する指示を事前にモデルに焼き込むことで効率化する。
긴 시스템 프롬프트나 컨텍스트 정보를 모델 파라미터에 내재화시켜 추론 시 토큰 소비를 절감하는 기술. 반복 사용하는 지시를 사전에 모델에 주입하여 효율화한다.
例文
コンテキスト蒸留を適用し、毎回のシステムプロンプト送信を不要にしてコストを削減した。
컨텍스트 증류를 적용하여 매번의 시스템 프롬프트 전송을 불필요하게 만들어 비용을 절감했다.