Update app.py

app.py

@@ -35,7 +35,7 @@ def doc_index_self(open_ai_key, doc):  # 文档向量化
         emb_list.append(get_text_emb(open_ai_key, text))  # 获取向量
     return texts, emb_list, gr.Textbox.update(visible=True), gr.Button.update(visible=True), gr.Markdown.update(
         value="""操作说明 step 3：建立索引（by self）成功！ 🙋 可以开始对话啦~"""), gr.Chatbot.update(visible=True), 1, gr.Audio.update(
-        visible=True)
+        visible=True), gr.Radio.update(visible=True)
 
 
 def doc_index_llama(open_ai_key, txt):  # 建立索引
@@ -60,7 +60,7 @@ def doc_index_llama(open_ai_key, txt):  # 建立索引
     query_engine = index.as_query_engine(text_qa_template=qa_template)  # 建立查询引擎
     return query_engine, gr.Textbox.update(visible=True), gr.Button.update(visible=True), gr.Markdown.update(
         value="""操作说明 step 3：建立索引（by llama_index）成功！ 🙋 可以开始对话啦~"""), gr.Chatbot.update(
-        visible=True), 0, gr.Audio.update(visible=True)
+        visible=True), 0, gr.Audio.update(visible=True), gr.Radio.update(visible=True)
 
 
 def get_response_by_self(open_ai_key, msg, bot, doc_text_list, doc_embeddings):  # 获取机器人回复
@@ -188,7 +188,7 @@ def up_file(files):  # 上传文件
         value="操作说明 step 2：确认PDF解析结果（可修正），点击“建立索引”，随后进行对话")
 
 
-def transcribe_speech(filepath):
+def transcribe_speech_by_self(filepath):
     output = asr_pipe(
         filepath,
         max_new_tokens=256,
@@ -204,6 +204,20 @@ def transcribe_speech(filepath):
     return simplified_text
 
 
+def transcribe_speech_by_openai(filepath):
+    audio_file = open(filepath, "rb")
+    transcript = openai.Audio.transcribe("whisper-1", audio_file)
+    print(transcript)
+    return transcript['text']
+
+
+def transcribe_speech(filepath, a_type):
+    if a_type == 'self':
+        return transcribe_speech_by_self(filepath)
+    else:
+        return transcribe_speech_by_openai(filepath)
+
+
 with gr.Blocks() as demo:
     with gr.Row():
         with gr.Column():
@@ -221,6 +235,7 @@ with gr.Blocks() as demo:
         with gr.Column():
             md = gr.Markdown("""操作说明 step 1：点击左侧区域，上传PDF，进行解析""")  # 操作说明
             chat_bot = gr.Chatbot(visible=False)  # 聊天机器人
+            asr_type = gr.Radio(value='self', options=['self', 'openai'], label='语音识别方式', visible=False)  # 语音识别方式
             audio_inputs = gr.Audio(source="microphone", type="filepath", label="点击录音输入", visible=False)  # 录音输入
             msg_txt = gr.Textbox(label='消息框', placeholder='输入消息', visible=False)  # 消息框
             chat_bu = gr.Button(value='发送', visible=False)  # 发送按钮
@@ -228,10 +243,10 @@ with gr.Blocks() as demo:
     file.change(up_file, [file], [txt, index_self_bu, index_llama_bu, md])  # 上传文件
     index_self_bu.click(doc_index_self, [open_ai_key, txt],
                         [doc_text_state, doc_emb_state, msg_txt, chat_bu, md, chat_bot, index_type,
-                         audio_inputs])  # 提交解析结果
+                         audio_inputs, asr_type])  # 提交解析结果
     index_llama_bu.click(doc_index_llama, [open_ai_key, txt],
-                         [query_engine, msg_txt, chat_bu, md, chat_bot, index_type, audio_inputs])  # 提交解析结果
-    audio_inputs.change(transcribe_speech, [audio_inputs], [msg_txt])  # 录音输入
+                         [query_engine, msg_txt, chat_bu, md, chat_bot, index_type, audio_inputs, asr_type])  # 提交解析结果
+    audio_inputs.change(transcribe_speech, [audio_inputs, asr_type], [msg_txt])  # 录音输入
     chat_bu.click(get_response,
                   [open_ai_key, msg_txt, chat_bot, doc_text_state, doc_emb_state, query_engine, index_type],
                   [chat_bot])  # 发送消息