new prompt

app.py

@@ -10,11 +10,11 @@ from huggingface_hub import hf_hub_download
 
 # Указываю имя репозитория и название скачиваемой модели
 
-# model_name = "lmstudio-community/Meta-Llama-3.1-8B-Instruct-GGUF"
-# model_file = "Meta-Llama-3.1-8B-Instruct-Q8_0.gguf"
+model_name = "lmstudio-community/Meta-Llama-3.1-8B-Instruct-GGUF"
+model_file = "Meta-Llama-3.1-8B-Instruct-Q8_0.gguf"
 
-model_name = "lmstudio-community/Mistral-Nemo-Instruct-2407-GGUF"
-model_file = "Mistral-Nemo-Instruct-2407-Q4_K_M.gguf"
+# model_name = "lmstudio-community/Mistral-Nemo-Instruct-2407-GGUF"
+# model_file = "Mistral-Nemo-Instruct-2407-Q4_K_M.gguf"
 
 
 # Загрузка с Hugging Face Hub
@@ -39,12 +39,29 @@ llm = LlamaCpp(
 )
 
 def predict(user_input):
-    prompt_template = """
-    Вопрос: {question_info}
+    # Создаём простой шаблон
+    template = """
+    <|start_header_id|>system<|end_header_id|>
+    Вы личный ассистент по моде.
+    Рассуждаешь логически перед тем как дать ответ
+    Answer the question based only on the context
+    <|eot_id|>
+    <|start_header_id|>user<|end_header_id|>
+    Используй emoji и форматирование markdown текста чтобы иллюстрировать ответ
+    Отвечай на вопрос по пунктам как для новичков
+    Вопрос: {question}
+    <|eom_id|>
+    <|start_header_id|>assistant<|end_header_id|>
     """
-    prompt = PromptTemplate.from_template(prompt_template)
-    llm_chain = prompt | llm
-    output = llm_chain.invoke({'question_info': user_input})
+    # Используйте вашу модель для обработки запроса
+    try:
+        prompt = PromptTemplate.from_template(template)
+        chain = prompt | llm
+
+        output = chain.invoke({'question':user_input})
+    except Exception as e:
+        output = f"Ошибка: {str(e)}"
+    
     return output
 
 # Создание интерфейса Gradio
@@ -52,4 +69,4 @@ demo = gr.Interface(fn=predict,
              inputs="text",
              outputs="text")
 
-demo.launch()
+demo.launch(debug=True)