| FROM mistral-7b-instruct-v0.3.Q4_K_M.gguf | |
| TEMPLATE """{{- if .Messages }} | |
| {{- range $index, $_ := .Messages }} | |
| {{- if eq .Role "user" }} | |
| {{- if and (eq (len (slice $.Messages $index)) 1) $.Tools }}[AVAILABLE_TOOLS] {{ $.Tools }}[/AVAILABLE_TOOLS] | |
| {{- end }}[INST] {{ if and $.System (eq (len (slice $.Messages $index)) 1) }}{{ $.System }} | |
| {{ end }}{{ .Content }}[/INST] | |
| {{- else if eq .Role "assistant" }} | |
| {{- if .Content }}{{ .Content }} | |
| {{- else if .ToolCalls }}[TOOL_CALLS] [ | |
| {{- range .ToolCalls }}{"name": "{{ .Function.Name }}", "arguments": {{ .Function.Arguments }}} | |
| {{- end }}] | |
| {{- end }}</s> | |
| {{- else if eq .Role "tool" }}[TOOL_RESULTS] {"content": {{ .Content }}} [/TOOL_RESULTS] | |
| {{- end }} | |
| {{- end }} | |
| {{- else }}[INST] {{ if .System }}{{ .System }} | |
| {{ end }}{{ .Prompt }}[/INST] | |
| {{- end }}{{ .Response }} | |
| {{- if .Response }}</s> | |
| {{- end }}""" | |
| PARAMETER stop "[INST]" | |
| PARAMETER stop "[/INST]" | |
| PARAMETER stop "</s>" |