analysis-llm-v1-lora

这是一个基于 DeepSeek-R1-Distill-Llama-8B 微调的前端需求分析LoRA模型。

使用方法

from peft import PeftModel, PeftConfig
from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

# 加载基础模型
base_model_name = "unsloth/DeepSeek-R1-Distill-Llama-8B"
tokenizer = AutoTokenizer.from_pretrained(base_model_name)
base_model = AutoModelForCausalLM.from_pretrained(
    base_model_name,
    torch_dtype=torch.float16,
    device_map="auto"
)

# 加载LoRA权重
model = PeftModel.from_pretrained(base_model, "MANSTAGE/analysis-llm-v1-lora")

# 推理
prompt = """以下是描述任务的指令，以及提供进一步上下文的输入。
请写出一个适当完成请求的回答。

### 问题：
请帮我生成一个企业管理系统

### 回答：
<思考>
"""

inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
outputs = model.generate(
    **inputs,
    max_new_tokens=500,
    temperature=0.7,
    do_sample=True
)

response = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(response)

训练详情

• 基础模型: unsloth/DeepSeek-R1-Distill-Llama-8B
• 训练数据: 219条前端需求分析数据
• 训练步数: 100步
• 学习率: 2e-4
• LoRA配置: r=16, alpha=16, dropout=0.1
• 量化: 4-bit量化训练

许可证

Apache 2.0