Update app.py

app.py

@@ -1,116 +1,115 @@
-# app.py
-import gradio as gr
-from langchain.prompts import PromptTemplate
-from langchain_community.embeddings import HuggingFaceBgeEmbeddings
-from langchain_community.vectorstores import FAISS
-from langchain.chains import RetrievalQA
-from langchain_community.llms import LlamaCpp
-from huggingface_hub import hf_hub_download
-import os
-
-# --- 1. 配置部分 ---
-VECTOR_STORE_PATH = "vector_store"
-EMBEDDING_MODEL = "BAAI/bge-large-zh-v1.5"
-GGUF_MODEL_REPO = "li-plus/chatglm3-6b-gguf" 
-GGUF_MODEL_FILE = "chatglm3-6b.q4_0.gguf"
-
-# --- 2. 加载RAG核心管道 ---
-# 将所有耗时操作封装起来，只在应用启动时执行一次
-def load_rag_chain():
-    print("开始加载RAG管道...")
-    
-    # 检查向量数据库是否存在
-    if not os.path.exists(VECTOR_STORE_PATH):
-        raise FileNotFoundError(
-            f"错误：向量数据库文件夹 '{VECTOR_STORE_PATH}' 未找到！"
-            "请确保你已经将本地生成的 'vector_store' 文件夹与 'app.py' 一起上传。"
-        )
-
-    # 加载Embedding模型
-    print(f"--> 正在加载Embedding模型: {EMBEDDING_MODEL}")
-    embeddings = HuggingFaceBgeEmbeddings(
-        model_name=EMBEDDING_MODEL, 
-        model_kwargs={'device': 'cpu'},
-        encode_kwargs={'normalize_embeddings': True}
-    )
-
-    # 加载本地的FAISS向量数据库
-    print(f"--> 正在从 '{VECTOR_STORE_PATH}' 加载向量数据库...")
-    vector_store = FAISS.load_local(
-        VECTOR_STORE_PATH, 
-        embeddings, 
-        allow_dangerous_deserialization=True
-    )
-    
-    # 从Hugging Face Hub下载GGUF模型文件
-    print(f"--> 开始下载/加载GGUF模型: {GGUF_MODEL_FILE} from {GGUF_MODEL_REPO}")
-    model_path = hf_hub_download(
-        repo_id=GGUF_MODEL_REPO, 
-        filename=GGUF_MODEL_FILE,
-        local_dir="models", # 模型会下载到服务器的这个文件夹
-        local_dir_use_symlinks=False
-    )
-    
-    # 初始化LlamaCpp模型加载器
-    print("--> 模型文件准备就绪，正在初始化LlamaCpp...")
-    llm = LlamaCpp(
-        model_path=model_path,
-        n_gpu_layers=0,      # 强制在CPU上运行
-        n_batch=512,         # 批处理大小
-        n_ctx=4096,          # 上下文窗口大小
-        f16_kv=True,         # 对性能有帮助
-        verbose=False        # 设为False以保持日志干净
-    )
-    
-    # 定义Prompt模板
-    prompt_template = """System: 你是AI客服“粤小智”。请严格根据“背景知识”回答“用户问题”，语言通俗、步骤清晰。如果知识不足，请回答“抱歉，关于您的问题，我的知识库暂时没有相关信息。”
-
-背景知识:
-{context}
-
-用户问题:
-{question}
-
-你的回答:
-"""
-    PROMPT = PromptTemplate(template=prompt_template, input_variables=["context", "question"])
-
-    # 创建完整的RAG问答链
-    qa_chain = RetrievalQA.from_chain_type(
-        llm=llm,
-        chain_type="stuff",
-        retriever=vector_store.as_retriever(search_kwargs={"k": 3}), # 每次检索3个最相关的文档块
-        chain_type_kwargs={"prompt": PROMPT},
-        return_source_documents=False # 线上运行时不返回源文档
-    )
-    
-    print("✅ RAG管道加载完毕，应用准备就绪！")
-    return qa_chain
-
-# --- 3. Gradio应用逻辑 ---
-# 在应用启动时，执行一次加载操作
-RAG_CHAIN = load_rag_chain()
-
-# 定义与Gradio界面交互的函数
-def predict(message, history):
-    print(f"收到用户消息: '{message}'")
-    if not message:
-        return ""
-    result = RAG_CHAIN.invoke({"query": message})
-    response = result.get('result', "抱歉，处理时出现内部错误。").strip()
-    print(f"模型生成回答: '{response}'")
-    return response
-
-# --- 4. 搭建并启动Gradio界面 ---
-with gr.Blocks(theme=gr.themes.Soft(), css=".gradio-container {background: linear-gradient(to right, #74ebd5, #ACB6E5)}") as demo:
-    gr.Markdown("# 粤政云服务智能向导 - 我是粤小智 🤖")
-    gr.ChatInterface(
-        predict,
-        title="粤小智客服",
-        description="您好！可以向我提问关于粤政云平台使用的问题。",
-        examples=["我想建个网站，该怎么申请服务器？", "如何重置我的云主机密码？", "我的应用访问变慢了怎么办？"]
-    )
-
-print("正在启动Garamio界面...")
-# 使用queue()可以处理并发请求，让应用更稳定
+# app.py
+import gradio as gr
+from langchain.prompts import PromptTemplate
+from langchain_community.embeddings import HuggingFaceBgeEmbeddings
+from langchain_community.vectorstores import FAISS
+from langchain.chains import RetrievalQA
+from langchain_community.llms import LlamaCpp
+from huggingface_hub import hf_hub_download
+import os
+
+# --- 1. 配置部分 ---
+VECTOR_STORE_PATH = "vector_store"
+EMBEDDING_MODEL = "BAAI/bge-large-zh-v1.5"
+GGUF_MODEL_REPO = "li-plus/chatglm3-6b-gguf" 
+GGUF_MODEL_FILE = "chatglm3-6b.Q4_K_M.gguf"
+# --- 2. 加载RAG核心管道 ---
+# 将所有耗时操作封装起来，只在应用启动时执行一次
+def load_rag_chain():
+    print("开始加载RAG管道...")
+    
+    # 检查向量数据库是否存在
+    if not os.path.exists(VECTOR_STORE_PATH):
+        raise FileNotFoundError(
+            f"错误：向量数据库文件夹 '{VECTOR_STORE_PATH}' 未找到！"
+            "请确保你已经将本地生成的 'vector_store' 文件夹与 'app.py' 一起上传。"
+        )
+
+    # 加载Embedding模型
+    print(f"--> 正在加载Embedding模型: {EMBEDDING_MODEL}")
+    embeddings = HuggingFaceBgeEmbeddings(
+        model_name=EMBEDDING_MODEL, 
+        model_kwargs={'device': 'cpu'},
+        encode_kwargs={'normalize_embeddings': True}
+    )
+
+    # 加载本地的FAISS向量数据库
+    print(f"--> 正在从 '{VECTOR_STORE_PATH}' 加载向量数据库...")
+    vector_store = FAISS.load_local(
+        VECTOR_STORE_PATH, 
+        embeddings, 
+        allow_dangerous_deserialization=True
+    )
+    
+    # 从Hugging Face Hub下载GGUF模型文件
+    print(f"--> 开始下载/加载GGUF模型: {GGUF_MODEL_FILE} from {GGUF_MODEL_REPO}")
+    model_path = hf_hub_download(
+        repo_id=GGUF_MODEL_REPO, 
+        filename=GGUF_MODEL_FILE,
+        local_dir="models", # 模型会下载到服务器的这个文件夹
+        local_dir_use_symlinks=False
+    )
+    
+    # 初始化LlamaCpp模型加载器
+    print("--> 模型文件准备就绪，正在初始化LlamaCpp...")
+    llm = LlamaCpp(
+        model_path=model_path,
+        n_gpu_layers=0,      # 强制在CPU上运行
+        n_batch=512,         # 批处理大小
+        n_ctx=4096,          # 上下文窗口大小
+        f16_kv=True,         # 对性能有帮助
+        verbose=False        # 设为False以保持日志干净
+    )
+    
+    # 定义Prompt模板
+    prompt_template = """System: 你是AI客服“粤小智”。请严格根据“背景知识”回答“用户问题”，语言通俗、步骤清晰。如果知识不足，请回答“抱歉，关于您的问题，我的知识库暂时没有相关信息。”
+
+背景知识:
+{context}
+
+用户问题:
+{question}
+
+你的回答:
+"""
+    PROMPT = PromptTemplate(template=prompt_template, input_variables=["context", "question"])
+
+    # 创建完整的RAG问答链
+    qa_chain = RetrievalQA.from_chain_type(
+        llm=llm,
+        chain_type="stuff",
+        retriever=vector_store.as_retriever(search_kwargs={"k": 3}), # 每次检索3个最相关的文档块
+        chain_type_kwargs={"prompt": PROMPT},
+        return_source_documents=False # 线上运行时不返回源文档
+    )
+    
+    print("✅ RAG管道加载完毕，应用准备就绪！")
+    return qa_chain
+
+# --- 3. Gradio应用逻辑 ---
+# 在应用启动时，执行一次加载操作
+RAG_CHAIN = load_rag_chain()
+
+# 定义与Gradio界面交互的函数
+def predict(message, history):
+    print(f"收到用户消息: '{message}'")
+    if not message:
+        return ""
+    result = RAG_CHAIN.invoke({"query": message})
+    response = result.get('result', "抱歉，处理时出现内部错误。").strip()
+    print(f"模型生成回答: '{response}'")
+    return response
+
+# --- 4. 搭建并启动Gradio界面 ---
+with gr.Blocks(theme=gr.themes.Soft(), css=".gradio-container {background: linear-gradient(to right, #74ebd5, #ACB6E5)}") as demo:
+    gr.Markdown("# 粤政云服务智能向导 - 我是粤小智 🤖")
+    gr.ChatInterface(
+        predict,
+        title="粤小智客服",
+        description="您好！可以向我提问关于粤政云平台使用的问题。",
+        examples=["我想建个网站，该怎么申请服务器？", "如何重置我的云主机密码？", "我的应用访问变慢了怎么办？"]
+    )
+
+print("正在启动Garamio界面...")
+# 使用queue()可以处理并发请求，让应用更稳定
 demo.queue().launch()