Update app.py

app.py

@@ -2,32 +2,33 @@ from transformers import AutoTokenizer, AutoModelForCausalLM
 import torch
 import gradio as gr
 
-# Загрузка модели и токенизатора
+# Название модели
 model_name = "sberbank-ai/rugpt3medium_based_on_gpt2"
+
+# Загрузка модели и токенизатора
 tokenizer = AutoTokenizer.from_pretrained(model_name)
 model = AutoModelForCausalLM.from_pretrained(model_name)
 
-# Функция генерации ответа
+# Функция для генерации ответа
 def generate_response(prompt):
-    instruction = f"Ответь кратко и понятно на вопрос: {prompt.strip()}"
+    instruction = f"Ответь кратко и по существу на вопрос:\n{prompt.strip()}\nОтвет:"
     input_ids = tokenizer.encode(instruction, return_tensors="pt")
 
-    # Генерация ответа
+    # Параметры генерации для уменьшения времени отклика
     output = model.generate(
         input_ids,
-        max_length=150,
+        max_new_tokens=50,  # Уменьшение числа токенов для более короткого ответа
         do_sample=True,
         top_k=50,
         top_p=0.95,
-        temperature=0.8,
+        temperature=0.7,  # Уменьшение случайности
         pad_token_id=tokenizer.eos_token_id,
         eos_token_id=tokenizer.eos_token_id
     )
 
-    # Декодирование и удаление излишней части промпта
     response = tokenizer.decode(output[0], skip_special_tokens=True)
-    
-    # Возвращаем только ответ, без дублирования запроса
+
+    # Убираем часть промпта из начала
     return response.replace(instruction, "").strip()
 
 # Интерфейс Gradio