JAPANESE
知識蒸留損失関数
ちしきじょうりゅうそんしつかんすう
KOREAN
지식 증류 손실 함수
[ジシク ジュンリュ ソンシル ハムス]
ハングル読み: 치시키조우류우손시츠칸스우
解説
教師モデルのソフトラベル出力と生徒モデルの出力の差異を測定する損失関数。KLダイバージェンスを用いて教師モデルの暗黙知を生徒モデルに効率的に伝達し、精度劣化を最小化する。
교사 모델의 소프트 레이블 출력과 학생 모델의 출력 차이를 측정하는 손실 함수이다. KL 다이버전스를 사용하여 교사 모델의 암묵지를 학생 모델에 효율적으로 전달하고 정확도 열화를 최소화한다.
例文
知識蒸留損失関数の温度パラメータを調整し、生徒モデルの汎化性能を向上させた。
지식 증류 손실 함수의 온도 파라미터를 조정하여 학생 모델의 범용 성능을 향상시켰다.