RT,现在在用的是20241008-Qwen2.5-14B-v1.0。
在我的场景下,感觉这个模型的Q5量化和20241008-Qwen2.5-14B-v1.0的Q6量化 不相上下,我更喜欢这个模型的文风
文件里的 [Sakura-Galtransl-14B-v3.8.gguf] 好像就是 Q6 只不过没有标,和之前的 [Qwen2.5-14B-v1.0] Q6 同样大小。SakuraLLM 貌似不怎么上传Q8.我也更喜欢这个模型的文风,感觉结合上下文的翻译更准确一些。
· Sign up or log in to comment