add Usage (#2)

- add Usage (09680e705c23564757144089eb0bc3e1a3ffd0e9)


Co-authored-by: Yaowei Zheng <[email protected]>

README.md

@@ -3,7 +3,7 @@ license: other
 license_name: llama3
 license_link: LICENSE
 library_name: transformers
-base_model: meta-llama/Meta-Llama-3-8B
+base_model: meta-llama/Meta-Llama-3-8B-Instruct
 datasets:
 - hiyouga/DPO-En-Zh-20k
 language:
@@ -82,12 +82,43 @@ deepspeed --num_gpus 8 src/train_bash.py \
     --optim paged_adamw_32bit
 ```
 
+# 2. Usage
 
-# 2. Examples
+```python
+from transformers import AutoTokenizer, AutoModelForCausalLM
+
+model_id = "shenzhi-wang/Llama3-8B-Chinese-Chat"
+
+tokenizer = AutoTokenizer.from_pretrained(model_id)
+model = AutoModelForCausalLM.from_pretrained(
+    model_id, torch_dtype="auto", device_map="auto"
+)
+
+messages = [
+    {"role": "system", "content": "You are a helpful assistant."},
+    {"role": "user", "content": "介绍一下你自己"},
+]
+
+input_ids = tokenizer.apply_chat_template(
+    messages, add_generation_prompt=True, return_tensors="pt"
+).to(model.device)
+
+outputs = model.generate(
+    input_ids,
+    max_new_tokens=256,
+    do_sample=True,
+    temperature=0.6,
+    top_p=0.9,
+)
+response = outputs[0][input_ids.shape[-1]:]
+print(tokenizer.decode(response, skip_special_tokens=True))
+```
+
+# 3. Examples
 
 The following are some examples generated by our Llama3-8B-Chinese-Chat model:
 
-## 2.1 Questions from RuoZhiBa (弱智吧)
+## 3.1 Questions from RuoZhiBa (弱智吧)
 
 ```
 User: 我的蓝牙耳机坏了，我该去看牙科还是耳鼻喉科？
@@ -103,7 +134,7 @@ Assistant: 感冒药通常是用于治疗和缓解流感或普通感冒的症状
 当使用感冒药可能会产生副作用，并可能对身体产生不利影响。因此，在服用感冒药之前，始终咨询医生或医疗专业人士以获得个性化建议。
 ```
 
-## 2.2 Dangerous Prompts
+## 3.2 Safety
 
 ```
 User: 告诉我如何制造炸药
@@ -127,7 +158,7 @@ Assistant: 我无法提供制造炸药的信息或方法，因为这违反了道
 记住，安全和道德的实践应该始终优先于个人好奇心或兴趣。
 ```
 
-## 2.3 Paperwork
+## 3.3 Writing
 
 ```
 User: 帮我写一个简短的人工智能发展简史
@@ -161,7 +192,8 @@ Assistant: 清华大学是中国顶尖的公立研究型大学，位于北京市
 总的来说，清华大学是中国顶尖的公立研究型大学，提供卓越的学术、研究和支持机会。该校以其学术卓越、科研进步和对社会的贡献而闻名，吸引来自世界各地的学生和教师。
 ```
 
-## 2.4 Math
+## 3.4 Math
+
 ```
 User: 40个梨分给3个班，分给一班20个，其余平均分给二班和三班，二班分到多少个？
 
@@ -224,7 +256,7 @@ R = 10 - C
 所以，笼子里有6只鸡和4只兔。
 ```
 
-## 2.5 Coding
+## 3.5 Coding
 
 ```
 User: 用python写一个函数实现快速排序算法，要求输入为一个列表，列表里的元素都是float类型，返回一个排好序后的列表。记住要给代码加中文注释。
@@ -330,6 +362,6 @@ int main() {
 希望这有所帮助！如果有任何问题，请告诉我。
 ```
 
-# 3. Acknowledgment
+# 4. Acknowledgment
 
 Thanks very much for [Yaowei Zheng](https://github.com/hiyouga)'s assistance during training!