Update README.md

README.md

@@ -100,25 +100,20 @@ from transformers import AutoTokenizer, AutoModelForCausalLM
 
 torch.manual_seed(42)
 
-PROMPT_TEMPLATE = '''instruction: |
-  ### Задание для оценки:
-  {instruction}
+PROMPT_TEMPLATE = '''### Задание для оценки:
+{instruction}
 
-reference_answer: |
-  ### Эталонный ответ:
-  {reference_answer}
+### Эталонный ответ:
+{reference_answer}
 
-response: |
-  ### Ответ для оценки:
-  {answer}
+### Ответ для оценки:
+{answer}
 
-score_name: |
-  ### Критерий оценки:
-  {criteria_name}
+### Критерий оценки:
+{criteria_name}
 
-score_rubrics: |
-  ### Шкала оценивания по критерию:
-  {criteria_rubrics}
+### Шкала оценивания по критерию:
+{criteria_rubrics}
 '''
 
 instruction = 'Сколько будет 2+2?'
@@ -142,7 +137,8 @@ tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH)
 model = AutoModelForCausalLM.from_pretrained(
     MODEL_PATH,
     torch_dtype="auto",
-    device_map="auto"
+    device_map="auto",
+    trust_remote_code=True
 )
 
 messages = [
@@ -155,17 +151,19 @@ text = tokenizer.apply_chat_template(
 )
 model_inputs = tokenizer([text], return_tensors="pt").to(model.device)
 
-generated_ids = model.generate(
+sequence_ids = model.generate(
     **model_inputs,
     max_new_tokens=4096
 )
 generated_ids = [
-    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
+    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, sequence_ids)
 ]
 
 response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
 
-print(response)
+score = model(input_ids=sequence_ids).regr_output.item()
+
+print(response, score)
 ```
 
 ## Training Details