Liza-06-Resume-Russian

Описание

Это модель Qwen/Qwen3-0.6B, дообученная (fine-tuned) с использованием метода LoRA на задачу анализа резюме на русском языке. Модель предназначена для извлечения ключевых навыков и квалификации из текстов резюме.

Название модели Liza-06 отражает цель проекта - создать помощника для стартапа, специализирующегося на обработке резюме.

Базовая модель

Эта модель является адаптером (LoRA weights) для базовой модели Qwen/Qwen3-0.6B. Для использования вам потребуется загрузить базовую модель и применить к ней веса этого адаптера.

Использование

Загрузка и применение адаптера

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
import torch

# 1. Загрузите базовую модель и токенизатор
base_model_name = "Qwen/Qwen3-0.6B"
tokenizer = AutoTokenizer.from_pretrained(base_model_name)
base_model = AutoModelForCausalLM.from_pretrained(
    base_model_name,
    torch_dtype=torch.bfloat16 if torch.cuda.is_available() and torch.cuda.is_bf16_supported() else torch.float16,
    device_map="auto"
)

# 2. Загрузите обученные веса LoRA (этот репозиторий)
lora_model_name = "your-username/liza-06-resume-russian" # Замените на ваше имя пользователя
liza_model = PeftModel.from_pretrained(base_model, lora_model_name)
liza_model.eval()

# 3. Подготовьте входной текст
test_resume = """Ваше тестовое резюме здесь..."""

instruction = "Проанализируйте следующее резюме и выделите основные навыки и квалификацию кандидата."
input_text = f"<|im_start|>user\n{instruction}\n\nРезюме:\n{test_resume}<|im_end|>\n<|im_start|>assistant\nОсновные навыки и квалификация:"

# 4. Токенизируйте и сгенерируйте
model_inputs = tokenizer([input_text], return_tensors="pt", truncation=True, max_length=2048).to(liza_model.device)

with torch.no_grad():
    generated_ids = liza_model.generate(
        **model_inputs,
        max_new_tokens=512,
        do_sample=True,
        temperature=0.7, # Рекомендовано для non-thinking mode Qwen3
        top_p=0.8,       # Рекомендовано для non-thinking mode Qwen3
        top_k=20,
        # presence_penalty=1.5, # Может помочь уменьшить повторы
    )

# 5. Декодируйте ответ
output_ids = generated_ids[0][len(model_inputs.input_ids[0]):].tolist()
response = tokenizer.decode(output_ids, skip_special_tokens=True).split("<|im_end|>")[0].strip()

print("Анализ резюме:")
print(response)