Kumru-2B-EPDK-Instruct-GPTQ-4bit

ogulcanakca/Kumru-2B-EPDK-Instruct modelinin GPTQ (4-bit post-training quantization) ile quantize edilmiş sürümünü içerir.

Quantization Detayları

• Bit sayısı: 4
• Dataset: "c4" (kalibrasyon için; Hugging Face tarafında otomatik çekilen küçük bir alt set)
• Tokenizer: Aynı repo (ogulcanakca/Kumru-2B-EPDK-Instruct)
• Hedef kullanım: GPU inference, RAG tabanlı hukuk/mevzuat asistanları