xande-p/Qwen3-23B-A3B-Instruct-REAP-ptbr-GGUF

Model Summary

Qwen3-23B-A3B-Instruct-REAP-ptbr is a pruned version of [Qwen/Qwen3-30B-A3B-Instruct-2507]. It has been reduced from roughly 30 billion parameters to 23 billion using REAP.

This model preserves the instruction following capabilities of the base model while being optimized for deployment on consumer hardware with split memory configurations (e.g., GPU + System RAM). The pruning process was calibrated using a general plus specialized dataset focusing on Nautical Knowledge in both Portuguese and English, ensuring minimal degradation in these specific domains.

Technical Specifications

• Base Model: Qwen/Qwen3-30B-A3B-Instruct-2507
• Architecture: Transformer (Qwen3) with A3B (Active 3B) mechanism.
• Parameter Count: ~23B (Pruned from 30B).
• Context Window: 256k.

Pruning & Calibration Methodology

1. REAP and Imatrix (Importance Matrix): Calculated using a mixed dataset comprising:

• Standard Portuguese (pt-br) and English corpora for general language retention.
• High-density Nautical Knowledge Extension.

Intended Use: General purpose text generation and instruction following in PT-BR and English, with enhanced capabilities in nautical knowlege.

• Hardware: Optimized for setups with 16GB VRAM or split setups.

Limitations

• General Knowledge Degradation: SMALL (25% pruning) Temperature  0.6 is recommended.

---

Resumo do Modelo

Qwen3-23B-A3B-Thinking-REAP-ptbr é uma versão podada (pruned) do [Qwen/Qwen3-30B-A3B-Instruct-2507]. Ele foi reduzido de aproximadamente 30 bilhões de parâmetros para 23 bilhões utilizando REAP.

Este modelo preserva as capacidades de instruction following do modelo base, enquanto é otimizado para implantação em hardware de consumo com configurações de memória dividida (ex: GPU + RAM do Sistema). O processo de poda foi calibrado utilizando um dataset geral somado a um especializado focado em Conhecimento Naval tanto em Português quanto em Inglês, garantindo degradação mínima nestes domínios específicos.

Especificações Técnicas

• Modelo Base: Qwen/Qwen3-30B-A3B-Instruct-2507
• Arquitetura: Transformer (Qwen3) com mecanismo A3B (Active 3B).
• Contagem de Parâmetros: ~23B (Podado de 30B).
• Janela de Contexto: 256k.

Metodologia de Poda e Calibração

1. REAP e Imatrix (Matriz de Importância): Calculados utilizando um dataset misto compreendendo:

• Corpora padrão de Português (pt-br) e Inglês para retenção da linguagem geral.
• Extensão de Conhecimento Naval de Alta Densidade.

Uso Pretendido

Geração de texto e raciocínio de propósito geral em PT-BR e Inglês, com capacidades aprimoradas em conhecimento naval.

• Hardware: Otimizado para configurações com 16GB de VRAM ou configurações divididas (split setups).

Limitações

• Degradação de Conhecimento Geral: PEQUENA (poda de 25%) Recomenda-se temperatura de 0.6.