Update app.py

app.py

@@ -4,30 +4,31 @@ import torch
 import gradio as gr
 
 # Загружаем токенизатор и модель
-tokenizer = AutoTokenizer.from_pretrained("sberbank-ai/rugpt3large_based_on_gpt2")
-model = AutoModelWithLMHead.from_pretrained("sberbank-ai/rugpt3large_based_on_gpt2")
+model_name = "cointegrated/rut5-base"
+tokenizer = AutoTokenizer.from_pretrained(model_name)
+model = AutoModelForSeq2SeqLM.from_pretrained(model_name)
 
-# Основная функция генерации
-def generate_russian_response(prompt):
-    input_ids = tokenizer.encode(prompt, return_tensors="pt")
+# Функция генерации ответа
+def generate_response(prompt):
+    input_ids = tokenizer.encode(prompt, return_tensors="pt", max_length=512, truncation=True)
     with torch.no_grad():
-        output = model.generate(
+        output_ids = model.generate(
             input_ids,
             max_length=200,
+            num_beams=5,
             do_sample=True,
-            top_k=50,
-            top_p=0.95,
-            temperature=0.9,
-            num_return_sequences=1,
-            pad_token_id=tokenizer.eos_token_id
+            top_p=0.9,
+            temperature=0.8,
+            pad_token_id=tokenizer.pad_token_id,
+            eos_token_id=tokenizer.eos_token_id
         )
-    response = tokenizer.decode(output[0], skip_special_tokens=True)
+    response = tokenizer.decode(output_ids[0], skip_special_tokens=True)
     return response
 
-# Интерфейс Gradio
+# Gradio-интерфейс
 iface = gr.Interface(
-    fn=generate_russian_response,
-    inputs=gr.Textbox(label="Введите ваш запрос"),
+    fn=generate_response,
+    inputs=gr.Textbox(lines=4, label="Введите ваш запрос"),
     outputs=gr.Textbox(label="Ответ от ChatGPT"),
     title="Интерфейс ChatGPT",
     description="Пример взаимодействия с API OpenAI через Hugging Face Space"