Spaces:
Sleeping
Sleeping
Update app.py
Browse files
app.py
CHANGED
|
@@ -1,5 +1,5 @@
|
|
| 1 |
# 必要なライブラリをインストールしておいてください
|
| 2 |
-
# pip install streamlit transformers torch huggingface_hub
|
| 3 |
|
| 4 |
import streamlit as st
|
| 5 |
from transformers import AutoModelForCausalLM, AutoTokenizer, Trainer, TrainingArguments
|
|
@@ -30,10 +30,10 @@ if st.button("トレーニング開始"):
|
|
| 30 |
model = AutoModelForCausalLM.from_pretrained(model_name)
|
| 31 |
tokenizer = AutoTokenizer.from_pretrained(model_name)
|
| 32 |
|
| 33 |
-
#
|
| 34 |
st.write("データセットのロード中...")
|
| 35 |
from datasets import load_dataset
|
| 36 |
-
dataset = load_dataset(dataset_name, split="
|
| 37 |
|
| 38 |
# トレーニング用のデータセットの準備
|
| 39 |
def tokenize_function(examples):
|
|
|
|
| 1 |
# 必要なライブラリをインストールしておいてください
|
| 2 |
+
# pip install streamlit transformers torch huggingface_hub datasets
|
| 3 |
|
| 4 |
import streamlit as st
|
| 5 |
from transformers import AutoModelForCausalLM, AutoTokenizer, Trainer, TrainingArguments
|
|
|
|
| 30 |
model = AutoModelForCausalLM.from_pretrained(model_name)
|
| 31 |
tokenizer = AutoTokenizer.from_pretrained(model_name)
|
| 32 |
|
| 33 |
+
# データセットの準備(スワヒリ語)
|
| 34 |
st.write("データセットのロード中...")
|
| 35 |
from datasets import load_dataset
|
| 36 |
+
dataset = load_dataset(dataset_name, 'swahili', split="train") # 言語を指定
|
| 37 |
|
| 38 |
# トレーニング用のデータセットの準備
|
| 39 |
def tokenize_function(examples):
|