JAPANESE
GGUF
ジージーユーエフ
KOREAN
GGUF
[ジジユエプ]
ハングル読み: 지지유에후
解説
llama.cppで使用される量子化モデルのファイルフォーマット。CPU推論に最適化されており、GPUが不要なためローカル環境でのLLM実行に広く採用されている。
llama.cpp에서 사용되는 양자화 모델의 파일 포맷이다. CPU 추론에 최적화되어 있으며 GPU가 불필요하므로 로컬 환경에서의 LLM 실행에 널리 채택되고 있다.
例文
GGUF形式に変換すれば、GPUなしのマシンでも7Bモデルを動かせる。
GGUF 형식으로 변환하면 GPU 없는 머신에서도 7B 모델을 실행할 수 있다.