Upload Modelfile with huggingface_hub
Browse files
Modelfile
ADDED
|
@@ -0,0 +1,8 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
FROM ./nvidia_Nemotron-3-Nano-30B-A3B-IQ4_XS.gguf
|
| 2 |
+
|
| 3 |
+
PARAMETER temperature 0.3
|
| 4 |
+
PARAMETER top_k 40
|
| 5 |
+
PARAMETER top_p 0.85
|
| 6 |
+
PARAMETER num_ctx 4096
|
| 7 |
+
PARAMETER num_predict 512
|
| 8 |
+
PARAMETER repeat_penalty 1.1
|