Other optimisations

app.py

@@ -2,45 +2,35 @@ import gradio as gr
 import transformers
 import torch
 import os
+import time # Para medir el tiempo
 
 # --- 1. Configuración del Modelo ---
-
-# Obtenemos el HF_TOKEN de los "Secrets" del Space.
-# ¡NUNCA escribas tu token directamente en el código!
 HF_TOKEN = os.environ.get("HF_TOKEN")
-
 if not HF_TOKEN:
     print("ADVERTENCIA: No se ha configurado el secret 'HF_TOKEN'.")
-    # Si no hay token, la app puede fallar al cargar el modelo gated.
-    # Para pruebas locales, puedes crear un archivo .env o setear la variable.
-    # raise ValueError("Falta el HF_TOKEN. Configúralo en los secrets del Space.")
 
-# Cargamos el modelo Llama-3.2-1B-Instruct
-# Usamos un pipeline para facilitar la generación de texto
 try:
+    print("Iniciando carga del pipeline...")
+    start_load = time.time()
     generator = transformers.pipeline(
         "text-generation",
         model="meta-llama/Llama-3.2-1B-Instruct",
-        dtype=torch.bfloat16, # Optimización para velocidad y memoria (reemplaza a torch_dtype)
-        device_map="auto",  # Usa GPU si está disponible
-        token=HF_TOKEN      # Token para acceder al modelo gated
+        dtype=torch.bfloat16, 
+        device_map="auto",
+        token=HF_TOKEN
     )
     
-    # --- INICIO DE LA CORRECCIÓN ---
-    # CORRECCIÓN 1: Asegurarse de que pad_token_id esté configurado
-    # Algunos modelos no tienen un pad_token_id por defecto, lo que causa el error 'NoneType'
     if generator.tokenizer.pad_token_id is None:
         generator.tokenizer.pad_token_id = generator.tokenizer.eos_token_id
         print("INFO: pad_token_id no estaba configurado. Se ha establecido en eos_token_id.")
-    # --- FIN DE LA CORRECCIÓN ---
-
-    print("Pipeline de Llama-3.2-1B cargado exitosamente.")
+    
+    end_load = time.time()
+    print(f"Pipeline de Llama-3.2-1B cargado exitosamente en {end_load - start_load:.2f} segundos.")
 except Exception as e:
     print(f"Error cargando el pipeline: {e}")
-    # Si falla aquí, probablemente es por el token o falta de acceso.
-    generator = None # Marcamos que falló
+    generator = None
 
-# --- 2. Lógica de Generación ---
+# --- 2. Lógica de Generación (Modo Simple: una petición a la vez) ---
 
 def generate_title(text_input):
     """
@@ -53,7 +43,6 @@ def generate_title(text_input):
         return "Por favor, introduce un texto."
 
     # Prompt engineering: Damos instrucciones claras al modelo.
-    # Llama 3.2 usa un formato de chat específico.
     system_prompt = "Eres un experto en resumir textos en títulos cortos y llamativos. Te daré un texto o un historial de chat y tú generarás un título de entre 3 y 7 palabras. Responde SOLAMENTE con el título y nada más."
     
     user_prompt = f"Genera un título para el siguiente contenido:\n\n---\n{text_input}\n---"
@@ -63,39 +52,32 @@ def generate_title(text_input):
         {"role": "user", "content": user_prompt},
     ]
 
-    # --- INICIO DE LA CORRECCIÓN ---
-    # CORRECCIÓN 2: Lista de terminadores robusta
-    # El ID para "\n" (nueva línea) en Llama 3 es 13.
-    # generator.tokenizer.eos_token_id es el ID de <|eot_id|>
-    # Usamos una lista explícita de enteros para evitar 'None'.
     terminators_safe = list(set([
         generator.tokenizer.eos_token_id,
         13  # ID del token de nueva línea (\n)
     ]))
-    # --- FIN DE LA CORRECCIÓN ---
 
     try:
+        print("Generando título para una sola petición...")
+        start_gen = time.time()
         outputs = generator(
             messages,
-            max_new_tokens=20,          # Un título no necesita más de 20 tokens
-            eos_token_id=terminators_safe, # Usamos la lista corregida
-            do_sample=False,            # Queremos la respuesta más probable, no creativa
-            temperature=None,           # No necesario si do_sample=False
-            top_p=None,                 # No necesario si do_sample=False
-            pad_token_id=generator.tokenizer.eos_token_id # Ahora es seguro usar esto
+            max_new_tokens=20,
+            eos_token_id=terminators_safe,
+            do_sample=False,
+            temperature=None,
+            top_p=None,
+            pad_token_id=generator.tokenizer.eos_token_id
         )
         
-        # Extraemos la respuesta del asistente
-        # La estructura es: outputs[0]["generated_text"] es una *lista* de mensajes
-        # El último mensaje [-1] es el del asistente
         title = outputs[0]["generated_text"][-1]["content"]
-        
-        # Limpiamos el título (quitar espacios, comillas, etc.)
         title = title.strip().replace('"', '').replace("Título:", "").strip()
         
         if not title:
-            return "No se pudo generar un título."
+            title = "No se pudo generar un título."
             
+        end_gen = time.time()
+        print(f"Título generado en {end_gen - start_gen:.2f} segundos.")
         return title
         
     except Exception as e:
@@ -116,22 +98,22 @@ with gr.Blocks(theme=gr.themes.Soft()) as demo:
         text_input = gr.Textbox(
             lines=15,
             label="Texto o Historial de Chat",
-            placeholder="Pega tu contenido aquí. Por ejemplo:\n\nUser: ¿Qué es la IA?\nAssistant: La IA es...\nUser: ¿Y el machine learning?\n\nO simplemente pega un artículo largo."
+            placeholder="Pega tu contenido aquí..."
         )
         title_output = gr.Textbox(
             label="Título Generado",
-            interactive=False # El usuario no puede editar esto
+            interactive=False
         )
     
     generate_btn = gr.Button("🚀 Generar Título", variant="primary")
     
-    # Conectamos el botón a la función
-    # api_name="generate_title" habilita el endpoint /api/generate_title
+    # --- Evento de Click (Modo Simple) ---
     generate_btn.click(
         fn=generate_title,
         inputs=text_input,
         outputs=title_output,
-        api_name="generate_title" 
+        api_name="generate_title"
+        # No batching, no max_batch_size
     )
 
     gr.Examples(
@@ -147,8 +129,7 @@ with gr.Blocks(theme=gr.themes.Soft()) as demo:
         label="Ejemplos de Entrada"
     )
 
-# Lanzamos la aplicación
+# --- Lanzamiento (Modo Simple) ---
 if __name__ == "__main__":
-    demo.launch()
-
+    demo.launch() # <-- Sin .queue()