get answers with hf space

app.py

@@ -154,6 +154,54 @@ def search_qdrant_with_context(query_text, collection_name, top_k=3):
     print("Retrieved Text ", retrieved_texts)
 
     return retrieved_texts
+
+@spaces.GPU
+def interactive_chat(query):
+
+    collection_name = "products"
+    if "rezept" in query.lower() or "gericht" in query.lower():
+        collection_name = "recipes"
+    elif "bestellung" in query.lower() or "order" in query.lower():
+        collection_name = "products"
+    print(collection_name)
+    print(query)
+    if len(query.split()) < 3:
+        return generate_response(query, "Der Kunde muss womöglich detailliertere Angaben machen, entscheide, was du sagst.", last_messages, 512, 0.2, 0.95, generator)
+    context = [document["document"] for document in search_qdrant_with_context(query, collection_name)]
+
+    system_message = f"""<|im_start|>system Rolle: Du bist ein KI-Assistent der die Informationen in Relation zum Kontext bewertet.
+        Oberstes Ziel: Bewerte die die Ergebnisse und stufe sie nach Relevanz in Bezug auf die Konversation ein.
+        Meta-Anweisung: Analysiere die Konversation und mache Vorschläge für Suchbegriffe in Stichpunkten.
+        Suchergebnisse: {context}
+        <|im_end|>
+        {"".join(last_messages)}
+        <|im_start|>user
+         {query}
+        <|im_end|>
+        <|im_start|>assistant"""
+    refined_context = generator_mini(system_message, do_sample=True, padding=True, truncation=True, top_p=0.95, max_new_tokens=100)
+    # Retrieve relevant context from Qdrant
+    print(f"""Refined context: {refined_context[0]["generated_text"].split("assistant").pop()}""")
+
+    context = [document["document"] for document in search_qdrant_with_context(query + " " + refined_context[0]["generated_text"].split("assistant\n").pop(), collection_name)]
+    answer = generate_response(query, context, last_messages, 512, 0.2, 0.95, generator)
+    full_conv = f"<|im_start|>user {query}<|im_end|><|im_start|>assistent {answer}<|im_end|>"
+    # if len(last_messages) > 5:
+    #     last_messages.pop(0)
+    # last_messages.append(full_conv)
+    print(f"last messages: {last_messages}")
+    print()
+    return answer
+@spaces.GPU
+def get_answers():
+    answers = []
+    last_messages = []
+    with open("../Data/questions.json", "r", encoding="utf-8")as f:
+        json_data = json.load(f)["questions"]
+        for question in json_data:
+            answer = interactive_chat(question)
+            answers.append(answer)
+
 @spaces.GPU
 def respond(
     query,
@@ -162,32 +210,33 @@ def respond(
     temperature,
     top_p,
 ):  
-    generator = get_model()
-    system_message = f"""<|im_start|>system Rolle: Du bist ein KI-Assistent der die vom Kunden formuliert Frage in Stichworte verwandelt die für eine Vektorsuche verwendet werden.
-        Oberstes Ziel: Suche Schlüsselbegriffe aus der Frage heraus und gebe diese als Hauptbegriff aus. Suche zusätzlich ähnliche Begriffe aus.
-        Meta-Anweisung: Wenn nach Produkten beziehungsweise Gewürzen gefragt wird, suche ähnliche Eigenschaften. Wenn nach einem Rezept gefragt ist, versuche die Küche beziehungsweise regionale Abstammung herauszufinden und als Schlüsselbegriff ausgeben. Gebe die vermutete Abstammung wie folgt aus: "Küche: ''". Du bekommst maximal 5 vorherige Fragen und Antworten aus dem Gespräch als Kontext. Wenn du keine exakten antworten geben kannst, geb nur Schlüsselbegriffe aus der Frage und den vorherigen wieder. Antworte in maximal 3 Stichpunkten und gebe keine Beschreibung.
-        <|im_end|>
-        <|im_start|>user
-            Frage: {query}
-        <|im_end|>
-        <|im_start|>assistant"""
-    refined_context = generator[1](system_message, do_sample=True, padding=True, truncation=True, top_p=0.95, max_new_tokens=150)
+    get_answers()
+    #generator = get_model()
+    #system_message = f"""<|im_start|>system Rolle: Du bist ein KI-Assistent der die vom Kunden formuliert Frage in Stichworte verwandelt die für eine Vektorsuche verwendet werden.
+    #    Oberstes Ziel: Suche Schlüsselbegriffe aus der Frage heraus und gebe diese als Hauptbegriff aus. Suche zusätzlich ähnliche Begriffe aus.
+    #    Meta-Anweisung: Wenn nach Produkten beziehungsweise Gewürzen gefragt wird, suche ähnliche Eigenschaften. Wenn nach einem Rezept gefragt ist, versuche die Küche beziehungsweise regionale Abstammung herauszufinden und als Schlüsselbegriff ausgeben. Gebe die vermutete Abstammung wie folgt aus: "Küche: ''". Du bekommst maximal 5 vorherige Fragen und Antworten aus dem Gespräch als Kontext. Wenn du keine exakten antworten geben kannst, geb nur Schlüsselbegriffe aus der Frage und den vorherigen wieder. Antworte in maximal 3 Stichpunkten und gebe keine Beschreibung.
+    #    <|im_end|>
+    #    <|im_start|>user
+    #        Frage: {query}
+    #    <|im_end|>
+    #    <|im_start|>assistant"""
+    #refined_context = generator[1](system_message, do_sample=True, padding=True, truncation=True, top_p=0.95, max_new_tokens=150)
     # Retrieve relevant context from Qdrant
-    collection_name = "products"
-    if "rezept" in query.lower() or "gericht" in query.lower():
-        collection_name = "recipes"
-    elif "bestellung" in query.lower() or "order" in query.lower():
-        collection_name = "products"
+    #collection_name = "products"
+    #if "rezept" in query.lower() or "gericht" in query.lower():
+    #    collection_name = "recipes"
+    #elif "bestellung" in query.lower() or "order" in query.lower():
+    #    collection_name = "products"
         
 
-    context = search_qdrant_with_context(query + " " + refined_context[0]["generated_text"].split("assistant\n").pop(), collection_name)
-    answer = generate_response(query, context, last_messages, max_tokens, temperature, top_p, generator[0])
-    full_conv = f"<|im_start|>user {query}<|im_end|><|im_start|>assistent {answer}<|im_end|>"
-    if len(last_messages) > 5:
-        last_messages.pop(0)
-    last_messages.append(full_conv)
-    print(last_messages)
-    return answer
+    #context = search_qdrant_with_context(query + " " + refined_context[0]["generated_text"].split("assistant\n").pop(), collection_name)
+    #answer = generate_response(query, context, last_messages, max_tokens, temperature, top_p, generator[0])
+    #full_conv = f"<|im_start|>user {query}<|im_end|><|im_start|>assistent {answer}<|im_end|>"
+    #if len(last_messages) > 5:
+    #    last_messages.pop(0)
+    #last_messages.append(full_conv)
+    #print(last_messages)
+    #return answer
 
 """
 For information on how to customize the ChatInterface, peruse the gradio docs: https://www.gradio.app/docs/chatinterface