Update app.py

app.py

@@ -1,29 +1,46 @@
-# Turkish NER Demo for Various Models
-
-from transformers import pipeline, AutoModelForTokenClassification, AutoTokenizer, DebertaV2Tokenizer, DebertaV2Model
-import sentencepiece
 import streamlit as st
 import pandas as pd
 import spacy
+from transformers import pipeline, AutoModelForTokenClassification, AutoTokenizer
+import PyPDF2
+import docx
+import io
 
 st.set_page_config(layout="wide")
 
+# Function to read text from uploaded file
+def read_file(file):
+    if file.type == "text/plain":
+        return file.getvalue().decode("utf-8")
+    elif file.type == "application/pdf":
+        pdf_reader = PyPDF2.PdfReader(io.BytesIO(file.getvalue()))
+        return " ".join(page.extract_text() for page in pdf_reader.pages)
+    elif file.type == "application/vnd.openxmlformats-officedocument.wordprocessingml.document":
+        doc = docx.Document(io.BytesIO(file.getvalue()))
+        return " ".join(paragraph.text for paragraph in doc.paragraphs)
+    else:
+        st.error("Unsupported file type")
+        return None
+
+# Rest of your code remains the same
 example_list = [
-    "Mustafa Kemal Atatürk 1919 yılında Samsun'a çıktı.", 
+    "Mustafa Kemal Atatürk 1919 yılında Samsun'a çıktı.",
     """Mustafa Kemal Atatürk, Türk asker, devlet adamı ve Türkiye Cumhuriyeti'nin kurucusudur.
-Birinci Dünya Savaşı sırasında Osmanlı ordusunda görev yapan Atatürk, Çanakkale Cephesi'nde miralaylığa, Sina ve Filistin Cephesi'nde ise Yıldırım Orduları komutanlığına atandı. Savaşın sonunda, Osmanlı Imparatorluğu'nun yenilgisini takiben Kurtuluş Savaşı ile simgelenen Türk Ulusal Hareketi'ne öncülük ve önderlik etti. Türk Kurtuluş Savaşı sürecinde Ankara Hükümeti'ni kurdu, Türk Orduları Başkomutanı olarak Sakarya Meydan Muharebesi'ndeki başarısından dolayı 19 Eylül 1921 tarihinde "Gazi" unvanını aldı ve mareşallik rütbesine yükseldi. Askeri ve siyasi eylemleriyle İtilaf Devletleri ve destekçilerine karşı zafer kazandı. Savaşın ardından Cumhuriyet Halk Partisi'ni Halk Fırkası adıyla kurdu ve ilk genel başkanı oldu. 29 Ekim 1923'te Cumhuriyetin ilanı akabinde Cumhurbaşkanı seçildi. 1938'deki ölümüne dek dört dönem bu görevi yürüterek Türkiye'de en uzun süre cumhurbaşkanlığı yapmış kişi oldu."""
+    # ... (rest of the example text)
+    """
 ]
 
 st.title("Demo for Turkish NER Models")
 
-model_list = ['akdeniz27/bert-base-turkish-cased-ner',
-             'akdeniz27/convbert-base-turkish-cased-ner',
-             # 'akdeniz27/xlm-roberta-base-turkish-ner',
-              'girayyagmur/bert-base-turkish-ner-cased', 
-              'FacebookAI/xlm-roberta-large',
-              'savasy/bert-base-turkish-ner-cased',
-             'xlm-roberta-large-finetuned-conll03-english',
-             'asahi417/tner-xlm-roberta-base-ontonotes5']
+model_list = [
+    'akdeniz27/bert-base-turkish-cased-ner',
+    'akdeniz27/convbert-base-turkish-cased-ner',
+    'girayyagmur/bert-base-turkish-ner-cased',
+    'FacebookAI/xlm-roberta-large',
+    'savasy/bert-base-turkish-ner-cased',
+    'xlm-roberta-large-finetuned-conll03-english',
+    'asahi417/tner-xlm-roberta-base-ontonotes5'
+]
 
 st.sidebar.header("Select NER Model")
 model_checkpoint = st.sidebar.radio("", model_list)
@@ -31,24 +48,31 @@ model_checkpoint = st.sidebar.radio("", model_list)
 st.sidebar.write("For details of models: 'https://huggingface.co/akdeniz27/")
 st.sidebar.write("")
 
-if model_checkpoint == "akdeniz27/xlm-roberta-base-turkish-ner":
-    aggregation = "simple"
-elif model_checkpoint == "xlm-roberta-large-finetuned-conll03-english" or model_checkpoint == "asahi417/tner-xlm-roberta-base-ontonotes5":
+if model_checkpoint in ["akdeniz27/xlm-roberta-base-turkish-ner", "xlm-roberta-large-finetuned-conll03-english", "asahi417/tner-xlm-roberta-base-ontonotes5"]:
     aggregation = "simple"
-    st.sidebar.write("")
-    st.sidebar.write("The selected NER model is included just to show the zero-shot transfer learning capability of XLM-Roberta pretrained language model.")
+    if model_checkpoint != "akdeniz27/xlm-roberta-base-turkish-ner":
+        st.sidebar.write("The selected NER model is included just to show the zero-shot transfer learning capability of XLM-Roberta pretrained language model.")
 else:
     aggregation = "first"
-    
+
 st.subheader("Select Text Input Method")
-input_method = st.radio("", ('Select from Examples', 'Write or Paste New Text'))
+input_method = st.radio("", ('Select from Examples', 'Write or Paste New Text', 'Upload File'))
+
 if input_method == 'Select from Examples':
     selected_text = st.selectbox('Select Text from List', example_list, index=0, key=1)
-    st.subheader("Text to Run")
     input_text = st.text_area("Selected Text", selected_text, height=128, max_chars=None, key=2)
 elif input_method == "Write or Paste New Text":
-    st.subheader("Text to Run")
     input_text = st.text_area('Write or Paste Text Below', value="", height=128, max_chars=None, key=2)
+else:
+    uploaded_file = st.file_uploader("Choose a file", type=["txt", "pdf", "docx"])
+    if uploaded_file is not None:
+        input_text = read_file(uploaded_file)
+        if input_text:
+            st.text_area("Extracted Text", input_text, height=128, max_chars=None, key=2)
+    else:
+        input_text = ""
+
+# Rest of your functions (setModel, get_html, entity_comb) remain the same
 
 @st.cache_resource
 def setModel(model_checkpoint, aggregation):
@@ -61,7 +85,7 @@ def get_html(html: str):
     WRAPPER = """<div style="overflow-x: auto; border: 1px solid #e6e9ef; border-radius: 0.25rem; padding: 1rem; margin-bottom: 2.5rem">{}</div>"""
     html = html.replace("\n", " ")
     return WRAPPER.format(html)
-    
+
 @st.cache_resource
 def entity_comb(output):
     output_comb = []
@@ -74,11 +98,11 @@ def entity_comb(output):
         else:
             output_comb.append(entity)
     return output_comb
-        
+
 Run_Button = st.button("Run", key=None)
 
 if Run_Button and input_text != "":
-    
+    # Your existing processing code remains the same
     ner_pipeline = setModel(model_checkpoint, aggregation)
     output = ner_pipeline(input_text)
     
@@ -109,8 +133,6 @@ if Run_Button and input_text != "":
         else:
             if ent["label"] == "PER": ent["label"] = "PERSON"
     
-    # colors = {'PER': '#85DCDF', 'LOC': '#DF85DC', 'ORG': '#DCDF85', 'MISC': '#85ABDF',}
-    html = spacy.displacy.render(spacy_display, style="ent", minify=True, manual=True, options={"ents": spacy_entity_list}) # , "colors": colors})
+    html = spacy.displacy.render(spacy_display, style="ent", minify=True, manual=True, options={"ents": spacy_entity_list})
     style = "<style>mark.entity { display: inline-block }</style>"
-    st.write(f"{style}{get_html(html)}", unsafe_allow_html=True)
-    
+    st.write(f"{style}{get_html(html)}", unsafe_allow_html=True)