Update app.py

app.py

@@ -1,22 +1,27 @@
 import gradio as gr
 from transformers import AutoModelForCausalLM, AutoTokenizer
 import torch
+from accelerate import init_empty_weights
+from transformers import AutoModelForCausalLM, AutoTokenizer
 
 # Charger le modèle
 model_name = "bigcode/starcoder2-15b-instruct-v0.1"
 tokenizer = AutoTokenizer.from_pretrained(model_name)
+
+# Initialisation conditionnelle
+device = "cuda" if torch.cuda.is_available() else "cpu"
 model = AutoModelForCausalLM.from_pretrained(
     model_name,
-    torch_dtype=torch.float16  # Vous pouvez aussi utiliser torch.float32 pour le CPU
-)
+    torch_dtype=torch.float16 if device == "cuda" else torch.float32
+).to(device)
 
 # Fonction pour générer du texte
 def generate_text(prompt):
-    # Utiliser le CPU au lieu du GPU
-    inputs = tokenizer(prompt, return_tensors="pt")
+    inputs = tokenizer(prompt, return_tensors="pt").to(device)
     outputs = model.generate(inputs["input_ids"], max_length=200)
     return tokenizer.decode(outputs[0], skip_special_tokens=True)
 
+
 # Interface utilisateur Gradio
 interface = gr.Interface(
     fn=generate_text,