Update app.py

app.py

@@ -1,12 +1,11 @@
 import gradio as gr
 from transformers import AutoModelForCausalLM, AutoTokenizer
-import torch
 
 # Cargar el tokenizer del modelo base
 tokenizer = AutoTokenizer.from_pretrained("unsloth/meta-llama-3.1-8b-bnb-4bit")
 
-# Cargar el modelo base sin 4-bit ni CUDA, para que funcione en CPU
-model = AutoModelForCausalLM.from_pretrained("unsloth/meta-llama-3.1-8b-bnb-4bit")
+# Cargar el modelo base sin usar bitsandbytes ni 4-bit
+model = AutoModelForCausalLM.from_pretrained("unsloth/meta-llama-3.1-8b-bnb-4bit", device_map="cpu")
 
 # Cargar el adaptador LoRA
 model.load_adapter("JuanCabs/lapepav1", source="hf")
@@ -25,4 +24,3 @@ interface = gr.Interface(fn=generar_respuesta, inputs="text", outputs="text",
 # Lanzar la aplicación en Hugging Face Spaces
 if __name__ == "__main__":
     interface.launch()
-