Update app.py

app.py

@@ -1,35 +1,44 @@
-
-from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
+from transformers import AutoTokenizer, AutoModelForCausalLM
+import torch
 import gradio as gr
 
-model_name = "cointegrated/rut5-small"
+# Загрузка модели и токенизатора
+model_name = "sberbank-ai/rugpt3medium_based_on_gpt2"
 tokenizer = AutoTokenizer.from_pretrained(model_name)
-model = AutoModelForSeq2SeqLM.from_pretrained(model_name)
+model = AutoModelForCausalLM.from_pretrained(model_name)
 
+# Функция генерации ответа
 def generate_response(prompt):
-    instruction = f"Ответь кратко: {prompt.strip()}"
-    input_ids = tokenizer.encode(instruction, return_tensors="pt", max_length=512, truncation=True)
+    instruction = f"Ответь кратко и понятно на вопрос: {prompt.strip()}"
+    input_ids = tokenizer.encode(instruction, return_tensors="pt")
 
+    # Генерация ответа
     output = model.generate(
         input_ids,
-        max_new_tokens=80,
+        max_length=150,
         do_sample=True,
-        top_p=0.9,
-        temperature=0.7,
-        repetition_penalty=1.2,
+        top_k=50,
+        top_p=0.95,
+        temperature=0.8,
+        pad_token_id=tokenizer.eos_token_id,
         eos_token_id=tokenizer.eos_token_id
     )
 
+    # Декодирование и удаление излишней части промпта
     response = tokenizer.decode(output[0], skip_special_tokens=True)
-    return response.strip()
+    
+    # Возвращаем только ответ, без дублирования запроса
+    return response.replace(instruction, "").strip()
 
+# Интерфейс Gradio
 iface = gr.Interface(
     fn=generate_response,
     inputs=gr.Textbox(label="Введите ваш вопрос"),
     outputs=gr.Textbox(label="Ответ модели"),
-    title="Интерфейс ChatGPT",
-    description="Пример взаимодействия с API OpenAI через Hugging Face Space"
+    title="Ответ от ruGPT-3 Medium",
+    description="Генерация ответа с помощью модели Sberbank ruGPT-3 Medium"
 )
 
+# Запуск интерфейса
 iface.launch()