Kumru-2B-EPDK-Instruct-AWQ-4bit

ogulcanakca/Kumru-2B-EPDK-Instruct modelinin AWQ (Activation-aware Weight Quantization) ile 4-bit’e quantize edilmiş sürümünü içerir. Model, EPDK mevzuatı dokümanları üzerinde domain-adapte edilmiş ve SFT/DPO ile talimat takibi güçlendirilmiştir.

Quantization Detayları

• Bit sayısı: 4 (w_bit = 4)
• Grup boyutu: 128 (q_group_size = 128)
• Zero point: True (zero_point = True)
• Format: safetensors
• Hedef kullanım: GPU inference, RAG + mevzuat asistanı senaryoları