Quantize model to 4-bit
Квантуй модель до 4-bit
将模型量化为4位
Quantisiere Modell auf 4-Bit
Quantifier modèle en 4-bit
Cuantizar modelo a 4-bit
Quantizar modelo para 4-bit
モデルを4ビットに量子化
모델을 4비트로 양자화
تكميم النموذج إلى 4 بت
python quantize.py models/f16.gguf models/q4.gguf q4_0