HYUNJINI/jssp_llama8b_accord_r64_ep4

JSSP LLaMA 8B Fine-tuned Model

Model Description

이 모델은 Job Shop Scheduling Problem (JSSP) 최적화를 위해 파인튜닝된 LLaMA 8B 모델입니다. inference_jssp_fssp.py에서 바로 사용할 수 있도록 최적화되었습니다.

Training Details

• Base Model: unsloth/Meta-Llama-3.1-8B-Instruct-bnb-4bit
• Fine-tuning Method: LoRA (Low-Rank Adaptation)
• LoRA Rank: 64
• Training Epochs: 4
• Max Sequence Length: 40,000 tokens
• Dataset: ACCORD JSSP dataset
• Training Framework: Unsloth + HuggingFace Transformers

Usage (inference_jssp_fssp.py 스타일)

from unsloth import FastLanguageModel
import torch

# 1. 모델 로드 (inference_jssp_fssp.py와 동일)
model, tokenizer = FastLanguageModel.from_pretrained(
    model_name="HYUNJINI/jssp_llama8b_accord_r64_ep4",
    max_seq_length=40000,  # JSSP 문제 처리를 위한 긴 시퀀스
    load_in_4bit=True,
    dtype=torch.bfloat16,
)

# 2. 추론 모드 설정
FastLanguageModel.for_inference(model)

# 3. JSSP 문제 추론
from solution_generation_english import generate_multiple_solutions

# JSSP 문제 데이터 준비
jssp_problem = "..."  # 당신의 JSSP 문제
inst_for_ortools = [...] # 문제 매트릭스

# 솔루션 생성
best_gap, is_feasible_list, gap_list, _, calculated_makespan_list, time_list, initial_solutions, recalculated_solutions, _, _ = generate_multiple_solutions(
    model=model,
    tokenizer=tokenizer,
    jssp_problem=jssp_problem,
    inst_for_ortools=inst_for_ortools,
    real_makespan=optimal_makespan,
    dev_map="cuda:0",
    sample=True,
    num_solutions=10,
    top_k=50,
    top_p=0.95,
    temperature=1.0,
    max_len=40000,
    reflexion_iterations=0,
    enable_improvement=False
)

Model Performance

• 학습 데이터: ACCORD 데이터셋의 JSSP 문제들
• 출력 형식: Job X Operation Y, MZ 형태의 스케줄링 솔루션
• 검증: 완전한 스케줄 검증 및 makespan 계산 포함

Inference Parameters

이 모델은 다음 파라미터들로 최적화되었습니다:

• max_seq_length=40000: 복잡한 JSSP 문제 처리
• temperature=1.0: 다양한 솔루션 생성
• top_k=50, top_p=0.95: 균형잡힌 탐색

Files Structure

HYUNJINI/jssp_llama8b_accord_r64_ep4/
├── adapter_config.json          # LoRA 설정
├── adapter_model.safetensors    # 학습된 LoRA 가중치
├── tokenizer.json              # 토크나이저
├── tokenizer_config.json       # 토크나이저 설정
└── README.md                   # 이 파일

Citation

@misc{jssp_llama8b_2024,
  title={JSSP LLaMA 8B Fine-tuned Model},
  author={HYUNJINI},
  year={2024},
  note={Fine-tuned on ACCORD dataset for Job Shop Scheduling}
}

License

Apache 2.0 License