JAPANESE
QLoRA
きゅーろら
KOREAN
QLoRA
[QLoアルエイ]
ハングル読み: 큐로라
解説
量子化されたモデルに対してLoRAアダプタを適用するメモリ効率の高いファインチューニング手法。4ビット量子化と組み合わせることで、消費者向けGPUでも大規模モデルの微調整が可能になる。
양자화된 모델에 LoRA 어댑터를 적용하는 메모리 효율이 높은 파인튜닝 기법이다. 4비트 양자화와 결합하여 소비자용 GPU에서도 대규모 모델의 미세 조정이 가능해진다.
例文
QLoRAを使い、24GBのGPU1台で70Bパラメータモデルのファインチューニングを実施した。
QLoRA를 사용하여 24GB GPU 1대로 70B 파라미터 모델의 파인튜닝을 실시했다.