Update app.py

app.py

@@ -1,35 +1,32 @@
 
-# Запуск
-iface.launch()
-
-
-from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline
+from transformers import AutoTokenizer, AutoModelWithLMHead
 import torch
 import gradio as gr
 
 # Загружаем токенизатор и модель
-model_id = "HuggingFaceH4/zephyr-7b-beta"
-
-tokenizer = AutoTokenizer.from_pretrained(model_id)
-model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.float16, device_map="auto")
-
-# Функция генерации диалогового ответа
-def generate_zephyr_response(prompt):
-    messages = [
-        {"role": "system", "content": "Ты — дружелюбный и умный ассистент."},
-        {"role": "user", "content": prompt}
-    ]
-    prompt_text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
-    inputs = tokenizer(prompt_text, return_tensors="pt").to(model.device)
+tokenizer = AutoTokenizer.from_pretrained("sberbank-ai/rugpt3large_based_on_gpt2")
+model = AutoModelWithLMHead.from_pretrained("sberbank-ai/rugpt3large_based_on_gpt2")
 
+# Основная функция генерации
+def generate_russian_response(prompt):
+    input_ids = tokenizer.encode(prompt, return_tensors="pt")
     with torch.no_grad():
-        outputs = model.generate(**inputs, max_new_tokens=256, do_sample=True, temperature=0.7)
-    result = tokenizer.decode(outputs[0], skip_special_tokens=True)
-    return result.split("assistant")[-1].strip()
+        output = model.generate(
+            input_ids,
+            max_length=200,
+            do_sample=True,
+            top_k=50,
+            top_p=0.95,
+            temperature=0.9,
+            num_return_sequences=1,
+            pad_token_id=tokenizer.eos_token_id
+        )
+    response = tokenizer.decode(output[0], skip_special_tokens=True)
+    return response
 
 # Интерфейс Gradio
 iface = gr.Interface(
-    fn=generate_zephyr_response,
+    fn=generate_russian_response,
     inputs=gr.Textbox(label="Введите ваш запрос"),
     outputs=gr.Textbox(label="Ответ от ChatGPT"),
     title="Интерфейс ChatGPT",