Update app.py

app.py

@@ -5,8 +5,8 @@ import re
 import tempfile
 from collections.abc import Iterator
 from threading import Thread
-import json  # ← JSON 변환을 위해 추가
-import requests  # SERPHouse web search
+import json
+import requests
 import cv2
 import gradio as gr
 import spaces
@@ -17,26 +17,18 @@ from transformers import AutoProcessor, Gemma3ForConditionalGeneration, TextIter
 
 # CSV/TXT 분석
 import pandas as pd
-
 # PDF 텍스트 추출
 import PyPDF2
 
 ##############################################################################
-# SERPHouse API key from environment variable (사용자가 환경변수로 지정해야 함)
+# SERPHouse API key from environment variable
 ##############################################################################
 SERPHOUSE_API_KEY = os.getenv("SERPHOUSE_API_KEY", "")
 
 ##############################################################################
-# 간단한 키워드 추출 함수 (사용자 프롬프트 -> 키워드)
+# 간단한 키워드 추출 함수
 ##############################################################################
 def extract_keywords(text: str, top_k: int = 5) -> str:
-    """
-    가장 간단한 예시:
-    1) 텍스트를 소문자로
-    2) 알파벳/숫자/공백 제외 문자 제거
-    3) 공백 토큰 분리
-    4) 앞 토큰 n개 추출
-    """
     text = text.lower()
     text = re.sub(r"[^a-z0-9\s]", "", text)
     tokens = text.split()
@@ -45,11 +37,12 @@ def extract_keywords(text: str, top_k: int = 5) -> str:
 
 ##############################################################################
 # SERPHouse Live endpoint 호출
-# - 상위 20개 결과 모두 "전체 item"을 system msg에 담아(=JSON 그대로) LLM이 참조
+# - 상위 20개 결과 JSON을 LLM에 넘길 때 link, snippet 등 모두 포함
 ##############################################################################
 def do_web_search(query: str) -> str:
     """
-    SERPHouse 라이브 검색 호출, 상위 20개 'organic' 결과 전체를 JSON 형태로 묶어서 반환.
+    상위 20개 'organic' 결과 item 전체(제목, link, snippet 등)를
+    JSON 문자열 형태로 반환
     """
     try:
         url = "https://api.serphouse.com/serp/live"
@@ -59,11 +52,11 @@ def do_web_search(query: str) -> str:
             "lang": "en",
             "device": "desktop",
             "serp_type": "web",
-            "num_result": "20",  # 상위 20개 결과
+            "num_result": "20",
             "api_token": SERPHOUSE_API_KEY,
         }
         resp = requests.get(url, params=params, timeout=30)
-        resp.raise_for_status()  # 4xx/5xx 에러 시 예외
+        resp.raise_for_status()
         data = resp.json()
 
         results = data.get("results", {})
@@ -71,10 +64,9 @@ def do_web_search(query: str) -> str:
         if not organic:
             return "No web search results found."
 
-        # 각 item을 JSON(전체 필드)으로 변환하여 저장
         summary_lines = []
         for idx, item in enumerate(organic[:20], start=1):
-            # item 전체를 JSON 문자열로 변환
+            # item 전체를 JSON 문자열로
             item_json = json.dumps(item, ensure_ascii=False, indent=2)
             summary_lines.append(f"Result {idx}:\n{item_json}\n")
 
@@ -85,9 +77,9 @@ def do_web_search(query: str) -> str:
 
 
 ##############################################################################
-# 상수 설정
+# 모델/프로세서 로딩
 ##############################################################################
-MAX_CONTENT_CHARS = 4000  # 너무 큰 파일을 막기 위해 최대 4000자만 표시
+MAX_CONTENT_CHARS = 4000
 model_id = os.getenv("MODEL_ID", "google/gemma-3-27b-it")
 processor = AutoProcessor.from_pretrained(model_id, padding_side="left")
 model = Gemma3ForConditionalGeneration.from_pretrained(
@@ -108,7 +100,6 @@ def analyze_csv_file(path: str) -> str:
     """
     try:
         df = pd.read_csv(path)
-        # 최대 50행, 10열까지만 표시
         if df.shape[0] > 50 or df.shape[1] > 10:
             df = df.iloc[:50, :10]
         df_str = df.to_string()
@@ -193,13 +184,6 @@ def count_files_in_history(history: list[dict]) -> tuple[int, int]:
 
 
 def validate_media_constraints(message: dict, history: list[dict]) -> bool:
-    """
-    - 비디오 1개 초과 불가
-    - 비디오와 이미지 혼합 불가
-    - 이미지 개수(MAX_NUM_IMAGES) 초과 불가
-    - <image> 태그가 있으면 태그 수와 실제 이미지 수 일치
-    - CSV, TXT, PDF 등은 여기서 제한하지 않음
-    """
     media_files = []
     for f in message["files"]:
         if re.search(r"\.(png|jpg|jpeg|gif|webp)$", f, re.IGNORECASE) or f.endswith(".mp4"):
@@ -381,7 +365,7 @@ def process_history(history: list[dict]) -> list[dict]:
 
 
 ##############################################################################
-# 메인 추론 함수 (web search 체크 시 자동 키워드추출->검색->결과 system msg 반영)
+# 메인 추론 함수 (web search 체크 시 자동 키워드추출->검색->결과 system msg)
 ##############################################################################
 @spaces.GPU(duration=120)
 def run(
@@ -398,47 +382,47 @@ def run(
         return
 
     try:
-        # web_search가 True면 => message["text"]를 기반으로 키워드 추출하여 SERPHouse 호출
-        history_system_msg = None
+        # (1) system 메시지를 하나로 합치기 위해, 미리 buffer
+        combined_system_msg = ""
+
+        # 사용자가 system_prompt를 입력했다면
+        if system_prompt.strip():
+            combined_system_msg += f"[System Prompt]\n{system_prompt.strip()}\n\n"
+
+        # (2) 웹 검색 체크 시, 키워드 추출
         if use_web_search:
             user_text = message["text"]
-            # 1) 키워드 추출
             ws_query = extract_keywords(user_text, top_k=5)
-            logger.info(f"[Auto WebSearch Keyword] {ws_query!r}")
-            # 2) 상위 20개 결과 (item 전체) 가져오기
-            ws_result = do_web_search(ws_query)
-            # 3) 이를 system 메시지로 추가
-            system_search_content = f"[Search top-20 Full Items Based on user prompt]\n{ws_result}\n"
-            if system_search_content.strip():
-                history_system_msg = {
-                    "role": "system",
-                    "content": [{"type": "text", "text": system_search_content}]
-                }
+            # 만약 추출 키워드가 비어있으면 검색을 건너뜀
+            if ws_query.strip():
+                logger.info(f"[Auto WebSearch Keyword] {ws_query!r}")
+                ws_result = do_web_search(ws_query)
+                # 검색 결과를 시스템 메시지 끝에 합침
+                combined_system_msg += f"[Search top-20 Full Items Based on user prompt]\n{ws_result}\n\n"
             else:
-                history_system_msg = {
-                    "role": "system",
-                    "content": [{"type": "text", "text": "No web search results"}]
-                }
+                # 추출된 키워드가 없으면 굳이 검색 시도 안 함
+                combined_system_msg += "[No valid keywords found, skipping WebSearch]\n\n"
 
-        # 기존 system prompt
+        # (3) system 메시지가 최종적으로 비어 있지 않다면
         messages = []
-        if system_prompt:
-            messages.append({"role": "system", "content": [{"type": "text", "text": system_prompt}]})
-        # web 검색 결과 system msg
-        if history_system_msg:
-            messages.append(history_system_msg)
-
-        # 이전 대화이력(assistant/user)
+        if combined_system_msg.strip():
+            # system 역할 메시지 하나 생성
+            messages.append({
+                "role": "system",
+                "content": [{"type": "text", "text": combined_system_msg.strip()}],
+            })
+
+        # (4) 이전 대화이력
         messages.extend(process_history(history))
-        
-        # 새 유저 메시지 변환
+
+        # (5) 새 유저 메시지
         user_content = process_new_user_message(message)
         for item in user_content:
             if item["type"] == "text" and len(item["text"]) > MAX_CONTENT_CHARS:
                 item["text"] = item["text"][:MAX_CONTENT_CHARS] + "\n...(truncated)..."
         messages.append({"role": "user", "content": user_content})
 
-        # LLM 입력 생성
+        # (6) LLM 입력 생성
         inputs = processor.apply_chat_template(
             messages,
             add_generation_prompt=True,
@@ -453,7 +437,7 @@ def run(
             streamer=streamer,
             max_new_tokens=max_new_tokens,
         )
-        
+
         t = Thread(target=model.generate, kwargs=gen_kwargs)
         t.start()
 
@@ -632,7 +616,7 @@ title_html = """
 </p>
 """
 
-with gr.Blocks(css=css, title="Vidraft-G3-27B-Multi-Search") as demo:
+with gr.Blocks(css=css, title="Vidraft-Gemma-3-27B") as demo:
     gr.Markdown(title_html)
 
     with gr.Row():
@@ -669,9 +653,9 @@ with gr.Blocks(css=css, title="Vidraft-G3-27B-Multi-Search") as demo:
                 value=2000,
             )
 
-            gr.Markdown("<br><br>")  # spacing
+            gr.Markdown("<br><br>")
 
-        # Main ChatInterface to the right
+        # Main ChatInterface
         with gr.Column(scale=7):
             chat = gr.ChatInterface(
                 fn=run,
@@ -690,7 +674,7 @@ with gr.Blocks(css=css, title="Vidraft-G3-27B-Multi-Search") as demo:
                     system_prompt_box,
                     max_tokens_slider,
                     web_search_checkbox,
-                    web_search_text,  # 실제로는 auto search
+                    web_search_text,
                 ],
                 stop_btn=False,
                 title="Vidraft-Gemma-3-27B",
@@ -706,9 +690,11 @@ with gr.Blocks(css=css, title="Vidraft-G3-27B-Multi-Search") as demo:
             gr.Markdown("### Example Inputs (click to load)")
             gr.Examples(
                 examples=examples,
-                inputs=[],  # 링크할 inputs가 없으므로 빈 리스트
+                inputs=[],  # 연결할 inputs가 없으므로 빈 리스트
                 cache_examples=False
             )
 
 if __name__ == "__main__":
-    demo.launch()
+    # share=True 하시면 public URL 사용 가능
+    demo.launch(share=True)
+