JAPANESE
RMSNorm
アールエムエスノーム
KOREAN
RMS 정규화
[アルエムエス ジョンギュファ]
ハングル読み: 아루에무에스노무
解説
Root Mean Squareのみで正規化を行う軽量な手法で、LayerNormから平均の減算を省略している。計算コストを削減しつつ同等以上の学習安定性を提供するため、最新のLLMアーキテクチャで広く使われている。
Root Mean Square만으로 정규화를 수행하는 경량 기법으로, LayerNorm에서 평균 감산을 생략했다. 계산 비용을 줄이면서 동등 이상의 학습 안정성을 제공하여 최신 LLM 아키텍처에서 널리 사용되고 있다.
例文
LayerNormをRMSNormに置き換え、学習速度を8%改善しつつ精度を維持した。
LayerNorm을 RMS 정규화로 교체하여 학습 속도를 8% 개선하면서 정확도를 유지했다.