Update app.py

app.py

@@ -1,30 +1,40 @@
-import openai
-import os
+
+# Запуск
+iface.launch()
+
+
+from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline
+import torch
 import gradio as gr
 
-# Получаем ключ API из переменной окружения
-openai.api_key = os.environ.get("OPENAI_API_KEY")
-
-# Основная функция общения с ChatGPT
-def chatgpt_prompt(prompt):
-    try:
-        client = openai.OpenAI(api_key=openai.api_key)
-        response = client.chat.completions.create(
-            model="gpt-3.5-turbo",
-            messages=[{"role": "user", "content": prompt}]
-        )
-        return response.choices[0].message.content
-    except Exception as e:
-        return f"Ошибка ChatGPT: {str(e)}"
+# Загружаем токенизатор и модель
+model_id = "HuggingFaceH4/zephyr-7b-beta"
+
+tokenizer = AutoTokenizer.from_pretrained(model_id)
+model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.float16, device_map="auto")
+
+# Функция генерации диалогового ответа
+def generate_zephyr_response(prompt):
+    messages = [
+        {"role": "system", "content": "Ты — дружелюбный и умный ассистент."},
+        {"role": "user", "content": prompt}
+    ]
+    prompt_text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
+    inputs = tokenizer(prompt_text, return_tensors="pt").to(model.device)
+
+    with torch.no_grad():
+        outputs = model.generate(**inputs, max_new_tokens=256, do_sample=True, temperature=0.7)
+    result = tokenizer.decode(outputs[0], skip_special_tokens=True)
+    return result.split("assistant")[-1].strip()
 
 # Интерфейс Gradio
 iface = gr.Interface(
-    fn=chatgpt_prompt,
+    fn=generate_zephyr_response,
     inputs=gr.Textbox(label="Введите ваш запрос"),
     outputs=gr.Textbox(label="Ответ от ChatGPT"),
     title="Интерфейс ChatGPT",
     description="Пример взаимодействия с API OpenAI через Hugging Face Space"
 )
 
-# Запуск
 iface.launch()
+