update visu for Portuguese

app.py

@@ -909,7 +909,7 @@ param_visu_langs = {
         "path_sentencepiece_model": f"./{lang_dataset_id}.sp.model",
         "path_kenlm_model": f"./{lang_dataset_id}.arpa.bin",
     }
-    for lang_dataset_id in ["eu", "ca", "zh", "en", "fr", "id", "es"]
+    for lang_dataset_id in ["eu", "ca", "zh", "en", "fr", "id", "pt", "es"]
 }
 
 visualization = Visualization(path_instructions, param_visu_langs)

ar.arpa.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:e5ad5fe3355e9775d0045ac38ee24ef585b373c99350bc612e5bda9cbdd701fe
+size 2824717990

ar.sp.model

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:281e3d75365a1801a8fe5def0b89dd0e5bb73ac0a2451be8bc5a55495760e115
+size 1070890

flagged_words.py

@@ -778,145 +778,33 @@ flagged_words = {
     ],
     "pt": english_flagged_words
     + [
-        "aborto",
-        "amador",
-        "anal",
-        "aparafusar",
-        "aranha",
-        "ariano",
-        "arrebatar",
-        "ass-filho da puta",
-        "asses",
         "balalao",
-        "bastardo",
         "bate uma",
-        "bellend",
-        "bestial",
-        "bestialidade",
-        "bicha",
-        "bichano",
-        "bichanos",
-        "bichas",
-        "biscate",
-        "bissexual",
+        "beijo grego",
         "boceta",
-        "bolas",
-        "bollok",
-        "boob",
         "boquete",
-        "bosta",
-        "braulio de borracha",
         "buceta",
-        "bumbum",
-        "bunda",
-        "burro",
-        "cabrao",
-        "cacete",
-        "cadela",
-        "cadelas",
-        "cagando",
-        "cagar",
-        "calçado",
-        "camisinha",
         "caralho",
-        "cerveja",
         "chochota",
-        "chupar",
-        "cipa",
-        "clitoris",
-        "clitóris",
-        "cobiçoso",
-        "cocaína",
-        "cocô",
         "coito",
-        "colhoes",
-        "com tesão",
-        "comedor de tapetes",
-        "comer",
         "cona",
         "consolo",
-        "coon",
-        "coragem",
         "corno",
         "cu",
-        "cunillingus",
+        "dar a bunda",
         "dar o rabo",
-        "desgraçado",
         "dildo",
         "dildos",
-        "dink",
-        "dog-filho da puta",
-        "droga",
-        "duche",
-        "dum raio",
-        "ejacula",
-        "ejaculado",
-        "ejacular",
-        "ejaculação",
-        "empacotador de fudge",
-        "escroto",
-        "esporra",
-        "estuprador",
-        "estupro",
-        "fagging",
-        "fanny",
-        "fecal",
+        "esporrar",
+        "estrovenga",
         "felação",
-        "felching",
-        "fenda",
         "filho da puta",
         "filhos da puta",
-        "foda",
-        "foda-se",
-        "fode",
-        "foder",
-        "fodido",
-        "frango assado",
-        "galo",
-        "galos",
         "gozada",
-        "gozar",
-        "grelho",
-        "heroína",
-        "homoerótico",
-        "homosexual",
-        "hore",
-        "idiota",
-        "idiotas",
-        "inferno",
-        "kock",
-        "lolita",
-        "luxúria",
-        "lábios",
-        "lésbica",
-        "maldito",
-        "mama",
-        "masoquista",
-        "masturbar",
-        "merda",
-        "merdas",
-        "mesa",
-        "mijando",
-        "mijar",
-        "nazista",
-        "negro",
-        "niggers",
-        "não me chateies",
-        "orgasim",
-        "orgasmo",
-        "orgasmos",
-        "otário",
-        "paneleiro",
-        "passar um cheque",
-        "pau",
-        "peidar",
-        "peitos",
-        "peituda",
+        "jeba",
+        "perereca",
         "pica",
-        "picadas",
-        "pinto",
-        "pisser",
-        "porcaria",
+        "piru",
         "porno",
         "pornografia",
         "pornô",
@@ -924,55 +812,18 @@ flagged_words = {
         "prostituta",
         "pube",
         "punheta",
-        "puta",
-        "puta que pariu",
-        "puta que te pariu",
+        "punheteiro",
         "putaria",
-        "puto",
-        "pênis",
         "queca",
-        "retardar",
-        "reto",
-        "rimming",
-        "sacanagem",
-        "saco",
-        "saco de bola",
-        "sangrento",
-        "sapatona",
         "sexo",
-        "shite",
-        "skank",
-        "smegma",
-        "spac",
-        "sujeira",
-        "sádico",
-        "sêmen",
-        "testículo",
-        "tetas",
-        "titt",
-        "torneira",
-        "transando",
-        "transar",
-        "transsexual",
+        "siririca",
+        "tesão",
         "trepada",
-        "vadia",
-        "vadias",
-        "vagabunda",
-        "vagabundo",
-        "vagina",
-        "vai tomar no cu",
-        "vai-te foder",
-        "veado",
-        "viagra",
+        "verga",
         "vibrador",
-        "vulva",
-        "wang",
-        "x avaliado",
         "xana",
-        "xixi",
         "xochota",
-        "xxx",
-        "ânus",
+        "xoxota",
     ],
     "ta": english_flagged_words
     + [

pt.arpa.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:ad7241c4b11d902fa092506b731f61e5f67177897c2598b750d1a2e519be87ad
+size 3220168756

pt.sp.model

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:1707a7517b61ca9d4d333dabcc5ec7024e44c6466ff6faea9ccc95a0f1b2737c
+size 958101

pt_examples_with_stats.json

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:72a681cc82b2a0f9e11a8fa052143f7eaad5a67d31269bbd96653715e0ff776a
+size 135498651

vi.arpa.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:983460dc00aaaec7325139cd87e89e937fcf5ac0cba4b16f23241fcc52d3c0ca
+size 1414396214

vi.sp.model

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:b1393f7ca703337a5b94f86ddb8e17e3171fc1ca388ca035942f594e0f0d958d
+size 906762