Create app.py

app.py

@@ -0,0 +1,40 @@
+import uvicorn
+from fastapi import FastAPI
+from pydantic import BaseModel
+import subprocess
+import os
+
+# Inicializar la aplicación FastAPI
+app = FastAPI()
+
+# Definir la estructura de entrada para el prompt de la API
+class PromptRequest(BaseModel):
+    prompt: str
+
+# Ruta principal para ejecutar el modelo
+@app.post("/generate/")
+async def generate_text(request: PromptRequest):
+    model_path = "/content/executorch/Llama-3.2-1B-Instruct-SpinQuant_INT4_EO8.pte"
+    tokenizer_path = "/content/executorch/tokenizer.model"
+    prompt = request.prompt
+
+    # Ejecutar el modelo llamando a la función que ejecuta el comando
+    result = run_llama_model(model_path, tokenizer_path, prompt)
+    
+    return {"generated_text": result}
+
+def run_command(command):
+    """Ejecutar un comando en el shell."""
+    result = subprocess.run(command, shell=True, text=True, stdout=subprocess.PIPE, stderr=subprocess.PIPE)
+    if result.returncode != 0:
+        return f"Error ejecutando el comando: {result.stderr}"
+    return result.stdout
+
+def run_llama_model(model_path, tokenizer_path, prompt):
+    """Ejecutar el modelo Llama."""
+    cmd = f"cd /content/executorch/cmake-out/examples/models/llama && ./llama_main --model_path={model_path} --tokenizer_path={tokenizer_path} --prompt='{prompt}'"
+    return run_command(cmd)
+
+# Iniciar el servidor Uvicorn directamente desde el código Python
+if __name__ == "__main__":
+    uvicorn.run(app, host="0.0.0.0", port=8000, reload=True)