README.md

---
library_name: transformers
license: apache-2.0
pipeline_tag: text-generation
tags:
  - AWQ
  - vLLM
base_model:
  - ogulcanakca/Kumru-2B-EPDK-Instruct
base_model_relation: quantized
---
# Kumru-2B-EPDK-Instruct-AWQ-4bit

`ogulcanakca/Kumru-2B-EPDK-Instruct` modelinin **AWQ (Activation-aware Weight Quantization)** ile 4-bit’e quantize edilmiş sürümünü içerir. Model, EPDK mevzuatı dokümanları üzerinde domain-adapte edilmiş ve SFT/DPO ile talimat takibi güçlendirilmiştir.

## Quantization Detayları

- Bit sayısı: `4` (`w_bit = 4`)
- Grup boyutu: `128` (`q_group_size = 128`)
- Zero point: `True` (`zero_point = True`)
- Format: `safetensors`
- Hedef kullanım: GPU inference, RAG + mevzuat asistanı senaryoları