JAPANESE
勾配チェックポイント
こうばいチェックポイント
KOREAN
그래디언트 체크포인팅
[クレディオントゥ チェクポインティン]
ハングル読み: 코우바이치엣쿠포인토
解説
フォワードパスの中間活性化値を保存せず、バックプロパゲーション時に再計算するメモリ節約技法。GPUメモリの使用量を大幅に削減できるため、限られたハードウェアで大規模モデルの学習が可能になる。
포워드 패스의 중간 활성화 값을 저장하지 않고 역전파 시 재계산하는 메모리 절약 기법이다. GPU 메모리 사용량을 대폭 줄여 제한된 하드웨어에서 대규모 모델의 학습을 가능하게 한다.
例文
勾配チェックポイントを有効化し、同一GPUで2倍のバッチサイズでの学習を実現した。
그래디언트 체크포인팅을 활성화하여 동일 GPU에서 2배의 배치 크기로 학습을 실현했다.