metadata
library_name: transformers
license: apache-2.0
pipeline_tag: text-generation
tags:
- AWQ
- vLLM
base_model:
- ogulcanakca/Kumru-2B-EPDK-Instruct
base_model_relation: quantized
Kumru-2B-EPDK-Instruct-AWQ-4bit
ogulcanakca/Kumru-2B-EPDK-Instruct modelinin AWQ (Activation-aware Weight Quantization) ile 4-bit’e quantize edilmiş sürümünü içerir. Model, EPDK mevzuatı dokümanları üzerinde domain-adapte edilmiş ve SFT/DPO ile talimat takibi güçlendirilmiştir.
Quantization Detayları
- Bit sayısı:
4(w_bit = 4) - Grup boyutu:
128(q_group_size = 128) - Zero point:
True(zero_point = True) - Format:
safetensors - Hedef kullanım: GPU inference, RAG + mevzuat asistanı senaryoları