Update app.py

app.py

@@ -1,5 +1,10 @@
 import streamlit as st
 from chat_client import chat
+from google_function import leggi_gmail
+from google_function import scrivi_bozza_gmail
+from google_function import leggi_calendario_google
+from google_function import connetti_google
+from google_function import crea_documento_google
 import time
 import os
 from dotenv import load_dotenv
@@ -8,27 +13,67 @@ import requests
 from langchain_community.vectorstores import Chroma
 from langchain_community.embeddings import HuggingFaceEmbeddings 
 import json
-from audio_recorder_streamlit import audio_recorder
-import speech_recognition as sr
 from googlesearch import search
 from bs4 import BeautifulSoup
 import PyPDF2
 import pytesseract
 from PIL import Image
 from youtube_transcript_api import YouTubeTranscriptApi
+import webbrowser
+from streamlit_javascript import st_javascript
+import datetime
+from openai import OpenAI
 
 load_dotenv()
+EFFETTUA_LOGIN_GOOGLE = os.getenv('EFFETTUA_LOGIN_GOOGLE')=="1"  
 URL_APP_SCRIPT = os.getenv('URL_APP_SCRIPT')
 URL_PROMPT = URL_APP_SCRIPT + '?IdFoglio=1cLw9q70BsPmxMBj9PIzgXtq6sm3X-GVBVnOB5wE8jr8'
 URL_DOCUMENTI = URL_APP_SCRIPT + '?IdSecondoFoglio=1cLw9q70BsPmxMBj9PIzgXtq6sm3X-GVBVnOB5wE8jr8'
 SYSTEM_PROMPT = ["Sei BonsiAI e mi aiuterai nelle mie richieste (Parla in ITALIANO)", "Esatto, sono BonsiAI. Di cosa hai bisogno?"]
-CHAT_BOTS = {"Mixtral 8x7B v0.1" :"mistralai/Mixtral-8x7B-Instruct-v0.1"}
+CHAT_BOTS = {
+    "Mixtral 8x7B v0.1": {
+        "model": "mistralai/Mixtral-8x7B-Instruct-v0.1",
+        "description": "Un modello avanzato di chatbot con architettura 8x7B sviluppato da Mistral AI. Supporta fino a 30 pagine di input e costa zero",
+        "pagine_contesto": 30, 
+        "richiede_api_key": False
+    },
+    "Mistral 7B v0.2": {
+        "model": "mistralai/Mistral-7B-Instruct-v0.2",
+        "description": "Una versione più leggera del modello Mistral, con architettura 7B, sviluppato da Mistral AI. Supporta fino a 8 pagine di input e costa zero",
+        "pagine_contesto": 8,
+        "richiede_api_key": False
+    },
+    "Gpt 3.5 Turbo": {
+        "model": "gpt-3.5-turbo",
+        "description": "Una versione ottimizzata e performante del modello GPT-3.5 di OpenAI. Supporta 16 Pagine di input e costa 2$ ogni 1000 Pagine",
+        "pagine_contesto": 16,
+        "richiede_api_key": True
+    },
+    "Gpt 4 Turbo": {
+        "model": "gpt-4-turbo",
+        "description": "Una versione avanzata e potenziata del famoso modello GPT-4 di OpenAI, ottimizzata per prestazioni superiori. Supporta fino a 120 Pagine di input e costa 30$ ogni 1000 Pagine",
+        "pagine_contesto": 120,
+        "richiede_api_key": True
+    }
+}
 option_personalizzata = {'Personalizzata': {'systemRole': 'Tu sei BONSI AI, il mio assistente personale della scuola superiore del Bonsignori. Aiutami in base alle mie esigenze', 
                        'systemStyle': 'Firmati sempre come BONSI AI. (scrivi in italiano)', 
                        'instruction': '', 
                        'tipo': '', 
                        'RAG': False}
                         }
+option_leggiemail = {'Leggi Gmail': {'systemRole': 'Tu sei BONSI AI, il mio assistente personale della scuola superiore del Bonsignori. Effettua l operazione richiesta sulla base delle seguenti email: ', 
+                       'systemStyle': 'Firmati sempre come BONSI AI. (scrivi in italiano)', 
+                       'instruction': '', 
+                       'tipo': 'EMAIL', 
+                       'RAG': False}
+                        }
+option_leggicalendar = {'Leggi Calendar': {'systemRole': 'Tu sei BONSI AI, il mio assistente personale della scuola superiore del Bonsignori. Effettua l operazione richiesta sulla base dei seguenti eventi di calendario: ', 
+                       'systemStyle': 'Firmati sempre come BONSI AI. (scrivi in italiano)', 
+                       'instruction': '', 
+                       'tipo': 'CALENDAR', 
+                       'RAG': False}
+                        }
 
 # ----------------------------------------------------------- Interfaccia --------------------------------------------------------------------
 st.set_page_config(page_title="Bonsi A.I.", page_icon="🏫")
@@ -49,6 +94,9 @@ def init_state() :
     if "repetion_penalty" not in st.session_state :
         st.session_state.repetion_penalty = 1
 
+    if "api_key" not in st.session_state :
+        st.session_state.api_key = ""
+
     if "chat_bot" not in st.session_state :
         st.session_state.chat_bot = "Mixtral 8x7B v0.1"
 
@@ -73,14 +121,38 @@ def init_state() :
     if "numero_generazioni" not in st.session_state:
         st.session_state.numero_generazioni = 1
 
+    if "numero_elementi" not in st.session_state:
+        st.session_state.numero_elementi = 5
+    
+    if "data_inizio" not in st.session_state:
+        st.session_state.data_inizio = None
+    
+    if "data_inizio" not in st.session_state:
+        st.session_state.data_inizio = None
+
     if "testo_documenti" not in st.session_state:
         st.session_state.testo_documenti = ''
 
     if "uploaded_files" not in st.session_state:
         st.session_state.uploaded_files = None
 
+    if "client" not in st.session_state:
+        st.session_state.client = None
+
     if "urls" not in st.session_state:
         st.session_state.urls = [""] * 5
+
+    if "creds" not in st.session_state:
+        st.session_state.creds = None        
+    
+    if "login_effettuato" not in st.session_state:
+        st.session_state.login_effettuato = False
+        
+    if "ultimo_messaggio" not in st.session_state:
+        st.session_state.ultimo_messaggio = ""
+        
+    if "tutti_messaggi" not in st.session_state:
+        st.session_state.tutti_messaggi = ""
     
     if "tbs_options" not in st.session_state:
         st.session_state.tbs_options = {
@@ -91,17 +163,26 @@ def init_state() :
             "Ultimo giorno": "qdr:d"
         }
 
-    if not st.session_state.loaded_data:
+    if not st.session_state.loaded_data and (st.session_state.login_effettuato == True or EFFETTUA_LOGIN_GOOGLE == False):
+        place=st.empty()
         place=st.empty()
         with place:
             with st.status("Caricamento in corso...", expanded=True) as status:
                 st.write("Inizializzazione Ambiente")
                 time.sleep(1)
                 st.write("Inizializzazione Prompt")
-                options = requests.get(URL_PROMPT).json()
+                URL_REDIRECT = os.getenv('URL_REDIRECT')
+                options = {}
+                if URL_REDIRECT != "http://localhost:8501/":
+                    options = requests.get(URL_PROMPT).json()
                 st.write("Inizializzazione Documenti")
-                documenti = requests.get(URL_DOCUMENTI).json()
-                st.session_state.options = {**option_personalizzata, **options} 
+                documenti = {}
+                if URL_REDIRECT != "http://localhost:8501/":
+                    documenti = requests.get(URL_DOCUMENTI).json()
+                st.session_state.options = {**option_personalizzata, **options}
+                if EFFETTUA_LOGIN_GOOGLE:
+                    st.session_state.options.update(option_leggiemail)
+                    st.session_state.options.update(option_leggicalendar)
                 st.session_state.documenti = documenti
                 st.session_state.loaded_data = True
                 status.update(label="Caricamento Completato", state="complete", expanded=False)
@@ -124,6 +205,24 @@ def read_text_from_file(file):
             st.write(f"Non è possibile leggere il testo dal file '{file.name}'.")
     return text
 
+def open_new_tab(url):
+    placeholder = st.empty()
+    with placeholder:
+        placeholder.empty()
+        new_tab_js = f'''<script type="text/javascript">window.open("{url}", "_blank");</script>'''
+        st.components.v1.html(new_tab_js, height=1)
+        time.sleep(0.3)
+    placeholder.empty()
+    
+def esporta_testo(tipo, ultimo_messaggio):
+    testo = st.session_state.ultimo_messaggio if ultimo_messaggio else st.session_state.tutti_messaggi
+    if tipo == 'Bozza Email': 
+        url = scrivi_bozza_gmail(testo)
+        open_new_tab(url)
+    if tipo == 'Google Documenti': 
+        url = crea_documento_google(testo)
+        open_new_tab(url)
+
 def sidebar():
     def retrieval_settings() :
         st.markdown("# Impostazioni Prompt")
@@ -134,14 +233,23 @@ def sidebar():
             st.session_state.selected_documento_key = st.selectbox('Documento', list(st.session_state.documenti.keys()))
             st.session_state.selected_documento = st.session_state.documenti.get(st.session_state.selected_documento_key, {})
             st.session_state.instruction = st.session_state.selected_documento.get('instruction', '')['Testo']
-            st.session_state.split = st.slider(label="Pagine Suddivisione", min_value=1, max_value=30, value=30, help='Se il documento ha 100 pagine e suddivido per 20 pagine elaborerà la risposta 5 volte. Più alto è il numero e meno volte elaborerà ma la risposta sarà più imprecisa')            
         else:
             st.session_state.instruction = st.session_state.selected_option.get('instruction', '')
         
+        
+
         st.session_state.systemRole = st.session_state.selected_option.get('systemRole', '')
         st.session_state.systemRole = st.text_area("Descrizione", st.session_state.systemRole, help='Ruolo del chatbot e descrizione dell\'azione che deve svolgere')
         st.session_state.systemStyle = st.session_state.selected_option.get('systemStyle', '')
         st.session_state.systemStyle = st.text_area("Stile", st.session_state.systemStyle, help='Descrizione dello stile utilizzato per generare il testo')
+        if st.session_state.selected_option["tipo"]=='EMAIL':
+            st.session_state.numero_elementi = st.slider(label="Numero Email", min_value=1, max_value=100, value=10)
+            st.session_state.data_inizio = st.date_input("Email dal", value=datetime.date.today()-datetime.timedelta(days=7), format='DD/MM/YYYY')
+            st.session_state.data_fine = st.date_input("Email al", value=datetime.date.today(), format='DD/MM/YYYY')
+        if st.session_state.selected_option["tipo"]=='CALENDAR':            
+            st.session_state.numero_elementi = st.slider(label="Numero Eventi Calendario", min_value=1, max_value=100, value=10)
+            st.session_state.data_inizio = st.date_input("Eventi dal", value=datetime.date.today(), format='DD/MM/YYYY')
+            st.session_state.data_fine = st.date_input("Eventi al", value=datetime.date.today()+datetime.timedelta(days=7), format='DD/MM/YYYY')
         st.session_state.rag_enabled = st.session_state.selected_option.get('tipo', '')=='RAG'
         if st.session_state.selected_option_key == 'Decreti':
             st.session_state.top_k = st.slider(label="Documenti da ricercare", min_value=1, max_value=20, value=4, disabled=not st.session_state.rag_enabled)
@@ -169,49 +277,35 @@ def sidebar():
         st.markdown("---")
     
     def model_settings():
-        st.markdown("# Impostazioni Modello")
-        st.session_state.chat_bot = st.sidebar.radio('Modello:', [key for key, value in CHAT_BOTS.items() ])
+        st.markdown("# Modello")
+        st.session_state.chat_bot = st.sidebar.selectbox('Tipo', list(CHAT_BOTS.keys()))
+        if CHAT_BOTS[st.session_state.chat_bot]["richiede_api_key"] == True:
+            st.session_state.api_key = st.text_input('Api Key', type = 'password', label_visibility='collapsed', placeholder='Inserisci la chiave API')
+            st.session_state.client = OpenAI(api_key=st.session_state.api_key)
+            print('xxxxxxx')
+        st.write(CHAT_BOTS[st.session_state.chat_bot]["description"])
+        st.session_state.split = st.slider(label="Pagine Suddivisione", min_value=1, max_value=CHAT_BOTS[st.session_state.chat_bot]["pagine_contesto"], value=CHAT_BOTS[st.session_state.chat_bot]["pagine_contesto"], help='Se il documento ha 100 pagine e suddivido per 20 pagine elaborerà la risposta 5 volte. Più alto è il numero e meno volte elaborerà ma la risposta sarà più imprecisa')
         st.session_state.numero_generazioni = st.slider(label="Generazioni", min_value = 1, max_value=10, value=1)
         st.session_state.enable_history = st.toggle("Storico Messaggi", value=True)
         st.session_state.temp = st.slider(label="Creatività", min_value=0.0, max_value=1.0, step=0.1, value=0.9)
-        st.session_state.max_tokens = st.slider(label="Lunghezza Output", min_value = 2, max_value=2048, step= 32, value=1024)
+        st.session_state.max_tokens = st.slider(label="Lunghezza Output", min_value = 2, max_value=4096, step= 32, value=1024)
+        st.markdown("---")
+
+    def export_settings():
+        st.markdown("# Esportazione")
+        st.session_state.export_type =  st.selectbox('Tipologia', ('Non Esportare', 'Google Documenti', 'Bozza Email'), help='Seleziona la tipologia di esportazione del testo generato')
+        st.session_state.export_all  = st.toggle("Considera tutte le chat", value=False)
+        if st.button("Esporta", type="primary", use_container_width=True): 
+            esporta_testo(st.session_state.export_type, st.session_state.export_all)
+        st.markdown("---")
 
     with st.sidebar:
         retrieval_settings()
         model_settings()
+        if EFFETTUA_LOGIN_GOOGLE:
+            export_settings()
         st.markdown("""> **Creato da Matteo Bergamelli **""")
 
-def audioRec():
-    st.session_state.audio_bytes = audio_recorder(text='', icon_size="3x")
-    if st.session_state.audio_bytes:
-        with open("./AUDIO.wav", "wb") as file:
-            file.write(st.session_state.audio_bytes)
-        wav = sr.AudioFile("./AUDIO.wav")
-        with wav as source:
-            recognizer_instance = sr.Recognizer() 
-            recognizer_instance.pause_threshold = 3.0
-            audio = recognizer_instance.listen(source)
-            print("Ok! sto ora elaborando il messaggio!")
-        try:
-            text = recognizer_instance.recognize_google(audio, language="it-IT")
-            print(text)
-            js = f"""
-                <script>
-                    var chatInput = parent.document.querySelector('textarea[data-testid="stChatInput"]');
-                    var nativeInputValueSetter = Object.getOwnPropertyDescriptor(window.HTMLTextAreaElement.prototype, "value").set;
-                    nativeInputValueSetter.call(chatInput, "{text}");
-                    var event = new Event('input', {{ bubbles: true}});
-                    chatInput.dispatchEvent(event);
-                    var sendChat = parent.document.getElementsByClassName("st-emotion-cache-1621d17")[0]
-                    sendChat.click();
-                    var x = parent.document.querySelector('[title="st.iframe"]');
-                    x.style.display = "none";
-                </script>
-                """
-            st.components.v1.html(js)
-        except Exception as e:
-            print(e)
-
 def header() :
     st.title("Bonsi A.I.", anchor=False)
     with st.expander("Cos'è BonsiAI?"):
@@ -307,9 +401,9 @@ def gen_online_prompt(prompt, top_k) :
         links.append((str(i) + '. ' + result['title'], result['description'] + '\n\n' + result['url']))
     return context, links
 
-def generate_chat_stream(prompt) :
-    chat_stream = chat(prompt, st.session_state.history,chat_client=CHAT_BOTS[st.session_state.chat_bot] ,
-                    temperature=st.session_state.temp, max_new_tokens=st.session_state.max_tokens)    
+def generate_chat_stream(prompt):
+    chat_stream = chat(prompt, st.session_state.history,chat_client=CHAT_BOTS[st.session_state.chat_bot]["model"],
+                    temperature=st.session_state.temp, max_new_tokens=st.session_state.max_tokens, client_openai = st.session_state.client)    
     return chat_stream
 
 def inserisci_istruzioni(prompt_originale): 
@@ -322,6 +416,14 @@ def inserisci_istruzioni(prompt_originale):
         with st.spinner("Ricerca nei Decreti...."):
             time.sleep(1)
             st.session_state.instruction, links = gen_augmented_prompt(prompt=prompt_originale, top_k=st.session_state.top_k)        
+    if st.session_state.selected_option["tipo"]=='EMAIL':
+        with st.spinner("Ricerca nelle Email...."):
+            time.sleep(1)
+            st.session_state.instruction, links = leggi_gmail(max_results=st.session_state.numero_elementi, data_inizio = st.session_state.data_inizio, data_fine = st.session_state.data_fine)
+    if st.session_state.selected_option["tipo"]=='CALENDAR':
+        with st.spinner("Ricerca nel Calendario...."):
+            time.sleep(1)
+            st.session_state.instruction, links = leggi_calendario_google(max_results=st.session_state.numero_elementi, data_inizio = st.session_state.data_inizio, data_fine = st.session_state.data_fine)
     with st.spinner("Generazione in corso...") :
         time.sleep(1)
     #st.session_state.instruction = instruction_originale + '\n----------------------------------------------\n' + st.session_state.instruction
@@ -330,9 +432,13 @@ def inserisci_istruzioni(prompt_originale):
 def stream_handler(chat_stream, placeholder) :
     full_response = ''
     for chunk in chat_stream :
-        if chunk.token.text!='</s>' :
-            full_response += chunk.token.text
-            placeholder.markdown(full_response + "▌")
+        if CHAT_BOTS[st.session_state.chat_bot]["model"][:3] == 'gpt':
+            if chunk.choices[0].delta and chunk.choices[0].delta.content:
+                full_response += chunk.choices[0].delta.content
+        else:
+            if chunk.token.text!='</s>' :
+                full_response += chunk.token.text
+        placeholder.markdown(full_response + "▌")
     placeholder.markdown(full_response)
     return full_response
 
@@ -342,11 +448,6 @@ def show_source(links) :
             reference, testo = link
             st.info('##### ' + reference.replace('_', ' ') + '\n\n'+ testo)
 
-init_state()
-sidebar()
-header()
-chat_box()
-
 def split_text(text, chunk_size):
     testo_suddiviso = []
     if text == '': 
@@ -357,44 +458,68 @@ def split_text(text, chunk_size):
         testo_suddiviso.append(text[i:i+chunk_size])
     return testo_suddiviso
 
-if prompt := st.chat_input("Chatta con BonsiAI..."):
-    prompt_originale = prompt
-    links = inserisci_istruzioni(prompt_originale)
-    st.session_state.instruction+= ' \n\n' + st.session_state.testo_documenti
-    instruction_suddivise = split_text(st.session_state.instruction, st.session_state.split*2000)
-    ruolo_originale = st.session_state.systemRole
-    ruoli_divisi = ruolo_originale.split("&&")
-    parte=1           
-    i=1 
-    risposta_completa = ''
-    for ruolo_singolo in ruoli_divisi:
-        for instruction_singola in instruction_suddivise:
-            for numgen in range(1, st.session_state.numero_generazioni+1):
-                if i==1:
-                    st.chat_message("user").markdown(prompt_originale + (': Parte ' + str(parte) if i > 1 else ''))
-                i+=1   
-                prompt = formattaPrompt(prompt_originale, ruolo_singolo, st.session_state.systemStyle, instruction_singola)
-                print('------------------------------------------------------------------------------------')
-                print(prompt)
-                st.session_state.messages.append({"role": "user", "content": prompt_originale})
-                chat_stream = generate_chat_stream(prompt)
-                with st.chat_message("assistant"):
-                    placeholder = st.empty()
-                    full_response = stream_handler(chat_stream, placeholder)
-                    if st.session_state.rag_enabled or st.session_state.cerca_online:
-                        show_source(links)  
-                    if st.session_state.options.get(st.session_state.selected_option_key, {})["tipo"]=='DOCUMENTO':
-                        with st.expander("Mostra Documento") :
-                            st.info('##### ' + st.session_state.selected_documento_key + ' (Parte ' + str(parte) +')'+ '\n\n\n' + instruction_singola)
-                            parte+=1
-                st.session_state.messages.append({"role": "assistant", "content": full_response})
-                risposta_completa = risposta_completa + '\n' + full_response
-
-    if st.session_state.enable_history:
-        st.session_state.history.append([prompt_originale, full_response])
-    else:
-        st.session_state.history.append(['', ''])
-    st.success('Generazione Completata')
-    payload = {"domanda": prompt_originale, "risposta": risposta_completa}
-    json_payload = json.dumps(payload)
-    response = requests.post(URL_APP_SCRIPT, data=json_payload)
+init_state()
+if not st.session_state.login_effettuato and EFFETTUA_LOGIN_GOOGLE:
+    connetti_google()
+
+if st.session_state.login_effettuato or not EFFETTUA_LOGIN_GOOGLE:
+    st_javascript("localStorage.removeItem('token');")
+    init_state()
+    sidebar()
+    header()
+    chat_box()
+    
+    if prompt := st.chat_input("Chatta con BonsiAI..."):        
+        prompt_originale = prompt
+        links = inserisci_istruzioni(prompt_originale)
+        st.session_state.instruction+= ' \n\n' + st.session_state.testo_documenti
+        instruction_suddivise = split_text(st.session_state.instruction, st.session_state.split*2000)
+        ruolo_originale = st.session_state.systemRole
+        ruoli_divisi = ruolo_originale.split("&&")
+        parte=1           
+        i=1 
+        risposta_completa = ''
+        full_response = ''
+        errore_generazione = False
+        for ruolo_singolo in ruoli_divisi:
+            for instruction_singola in instruction_suddivise:
+                for numgen in range(1, st.session_state.numero_generazioni+1):
+                    if i==1:
+                        st.chat_message("user").markdown(prompt_originale + (': Parte ' + str(parte) if i > 1 else ''))
+                    i+=1   
+                    prompt = formattaPrompt(prompt_originale, ruolo_singolo, st.session_state.systemStyle, instruction_singola)
+                    print('------------------------------------------------------------------------------------')
+                    print(prompt)
+                    st.session_state.messages.append({"role": "user", "content": prompt_originale})
+                    try:
+                        chat_stream = generate_chat_stream(prompt)
+                        with st.chat_message("assistant"):
+                            placeholder = st.empty()
+                            full_response = stream_handler(chat_stream, placeholder)
+                            if st.session_state.rag_enabled or st.session_state.cerca_online or st.session_state.selected_option["tipo"]=='EMAIL' or st.session_state.selected_option["tipo"]=='CALENDAR':
+                                show_source(links)  
+                            if st.session_state.options.get(st.session_state.selected_option_key, {})["tipo"]=='DOCUMENTO':
+                                with st.expander("Mostra Documento") :
+                                    st.info('##### ' + st.session_state.selected_documento_key + ' (Parte ' + str(parte) +')'+ '\n\n\n' + instruction_singola)
+                                    parte+=1
+                        st.session_state.messages.append({"role": "assistant", "content": full_response})
+                        risposta_completa = risposta_completa + '\n' + full_response
+                    except Exception as e:
+                        print(str(e))
+                        errore_generazione = True
+                        if CHAT_BOTS[st.session_state.chat_bot]["model"][:3] == 'gpt':
+                            st.error('Inserisci una CHIAVE API valida e controlla il CREDITO residuo: https://platform.openai.com/api-keys')  
+                        else:
+                            st.error('Modello AI attualmente non disponibile')    
+
+        if errore_generazione == False: 
+            st.session_state.ultimo_messaggio = full_response
+            st.session_state.tutti_messaggi += '\n\n' + full_response
+            if st.session_state.enable_history:
+                st.session_state.history.append([prompt_originale, full_response])
+            else:
+                st.session_state.history.append(['', ''])
+            st.success('Generazione Completata')
+            payload = {"domanda": prompt_originale, "risposta": risposta_completa}
+            json_payload = json.dumps(payload)
+            response = requests.post(URL_APP_SCRIPT, data=json_payload)