Update app.py

app.py

@@ -1,25 +1,23 @@
 import gradio as gr
 import pandas as pd
-from datasets import Dataset, load_dataset
-from transformers import GPT2Tokenizer, GPT2LMHeadModel, Trainer, TrainingArguments, HfApi
+from datasets import load_dataset, Dataset
+from transformers import GPT2Tokenizer, GPT2LMHeadModel, Trainer, TrainingArguments
 import torch
 import os
 import matplotlib.pyplot as plt
+from huggingface_hub import HfApi  # ここを修正しました
 import json
 import io
 from datetime import datetime
 
-# Variables globales pour stocker les colonnes détectées
+# グローバル変数で検出された列を保存
 columns = []
 
-# Hugging Faceにアクセスするためのアクセストークン
-hf_token = "YOUR_HUGGINGFACE_ACCESS_TOKEN"
-
-# ファイル読み込み機能
+# ファイル読み込み関数
 def read_file(data_file):
     global columns
     try:
-        # データを読み込む
+        # ファイルをロード
         file_extension = os.path.splitext(data_file.name)[1]
         if file_extension == '.csv':
             df = pd.read_csv(data_file.name)
@@ -28,7 +26,7 @@ def read_file(data_file):
         elif file_extension == '.xlsx':
             df = pd.read_excel(data_file.name)
         else:
-            return "無効なファイル形式です。CSV、JSON、またはExcelファイルをアップロードしてください。"
+            return "無効なファイル形式です。CSV, JSON, Excelファイルをアップロードしてください。"
 
         # 列を検出
         columns = df.columns.tolist()
@@ -36,22 +34,20 @@ def read_file(data_file):
     except Exception as e:
         return f"エラーが発生しました: {str(e)}"
 
-
-# 列のバリデーション
+# 列の選択が正しいかを検証
 def validate_columns(prompt_col, description_col):
     if prompt_col not in columns or description_col not in columns:
         return False
     return True
 
-
-# モデルの訓練
+# モデル訓練関数
 def train_model(data_file, model_name, epochs, batch_size, learning_rate, output_dir, prompt_col, description_col, hf_token):
     try:
-        # 列のバリデーション
+        # 列の検証
         if not validate_columns(prompt_col, description_col):
-            return "選択された列が無効です。データセットに列が存在することを確認してください。"
+            return "無効な列選択です。データセット内の列を確認してください。"
 
-        # データの読み込み
+        # ファイルのロード
         file_extension = os.path.splitext(data_file.name)[1]
         if file_extension == '.csv':
             df = pd.read_csv(data_file.name)
@@ -63,20 +59,20 @@ def train_model(data_file, model_name, epochs, batch_size, learning_rate, output
         # データのプレビュー
         preview = df.head().to_string(index=False)
 
-        # トレーニングテキストの準備
+        # 訓練用テキストの準備
         df['text'] = df[prompt_col] + ': ' + df[description_col]
         dataset = Dataset.from_pandas(df[['text']])
 
-        # GPT-2トークナイザーとモデルの初期化
+        # GPT-2のトークナイザーとモデルを初期化
         tokenizer = GPT2Tokenizer.from_pretrained(model_name)
         model = GPT2LMHeadModel.from_pretrained(model_name)
 
-        # パディングトークンの追加
+        # 必要であればパディングトークンを追加
         if tokenizer.pad_token is None:
             tokenizer.add_special_tokens({'pad_token': '[PAD]'})
             model.resize_token_embeddings(len(tokenizer))
 
-        # データのトークナイズ
+        # データのトークナイズ関数
         def tokenize_function(examples):
             tokens = tokenizer(examples['text'], padding="max_length", truncation=True, max_length=128)
             tokens['labels'] = tokens['input_ids'].copy()
@@ -84,7 +80,7 @@ def train_model(data_file, model_name, epochs, batch_size, learning_rate, output
 
         tokenized_datasets = dataset.map(tokenize_function, batched=True)
 
-        # ハイパーパラメータの設定
+        # 訓練のための設定
         training_args = TrainingArguments(
             output_dir=output_dir,
             overwrite_output_dir=True,
@@ -104,7 +100,7 @@ def train_model(data_file, model_name, epochs, batch_size, learning_rate, output
             metric_for_best_model="eval_loss"
         )
 
-        # Trainerの設定
+        # Trainer設定
         trainer = Trainer(
             model=model,
             args=training_args,
@@ -112,53 +108,65 @@ def train_model(data_file, model_name, epochs, batch_size, learning_rate, output
             eval_dataset=tokenized_datasets,
         )
 
-        # 訓練と評価
+        # 訓練開始
         trainer.train()
         eval_results = trainer.evaluate()
 
-        # Fine-tunedモデルの保存
+        # Fine-tunedモデルを保存
         model.save_pretrained(output_dir)
         tokenizer.save_pretrained(output_dir)
 
-        # トレー���ングと評価の損失グラフ生成
+        # 訓練損失と評価損失のグラフ生成
         train_loss = [x['loss'] for x in trainer.state.log_history if 'loss' in x]
         eval_loss = [x['eval_loss'] for x in trainer.state.log_history if 'eval_loss' in x]
-        plt.plot(train_loss, label='Training Loss')
-        plt.plot(eval_loss, label='Validation Loss')
-        plt.xlabel('Steps')
-        plt.ylabel('Loss')
-        plt.title('Training and Validation Loss')
+        plt.plot(train_loss, label='訓練損失')
+        plt.plot(eval_loss, label='評価損失')
+        plt.xlabel('ステップ数')
+        plt.ylabel('損失')
+        plt.title('訓練と評価の損失')
         plt.legend()
         plt.savefig(os.path.join(output_dir, 'training_eval_loss.png'))
 
-        # Hugging Faceにアップロード
-        upload_response = upload_model_to_huggingface(output_dir, model_name, hf_token)
+        # モデルのHuggingFaceにアップロード
+        hf_api = HfApi()
+        hf_api.upload_folder(
+            folder_path=output_dir,
+            path_in_repo=".",
+            repo_id=model_name,
+            token=hf_token
+        )
 
-        return f"訓練が成功しました。\nデータプレビュー:\n{preview}", eval_results, upload_response
+        return f"訓練が完了しました。\nデータのプレビュー:\n{preview}", eval_results
     except Exception as e:
         return f"エラーが発生しました: {str(e)}"
 
-
-# モデルをHugging Faceにアップロード
-def upload_model_to_huggingface(output_dir, model_name, hf_token):
+# テキスト生成関数
+def generate_text(prompt, temperature, top_k, top_p, max_length, repetition_penalty, use_comma, batch_size):
     try:
-        api = HfApi()
-        repo_url = api.create_repo(model_name, exist_ok=True)  # リポジトリが既にあればそのまま使用
-        api.upload_folder(
-            folder_path=output_dir,
-            repo_id=model_name,
-            path_in_repo=".",
-            use_auth_token=hf_token
-        )
-        return f"モデルがHugging Faceに正常にアップロードされました。\nリポジトリURL: https://huggingface.co/{model_name}"
-    except Exception as e:
-        return f"モデルのアップロード中にエラーが発生しました: {str(e)}"
+        model_name = "./fine-tuned-gpt2"
+        tokenizer = GPT2Tokenizer.from_pretrained(model_name)
+        model = GPT2LMHeadModel.from_pretrained(model_name)
 
+        if use_comma:
+            prompt = prompt.replace('.', ',')
+
+        inputs = tokenizer(prompt, return_tensors="pt", padding=True)
+        attention_mask = inputs.attention_mask
+        outputs = model.generate(
+            inputs.input_ids,
+            attention_mask=attention_mask,
+            max_length=int(max_length),
+            temperature=float(temperature),
+            top_k=int(top_k),
+            top_p=float(top_p),
+            repetition_penalty=float(repetition_penalty),
+            num_return_sequences=int(batch_size),
+            pad_token_id=tokenizer.eos_token_id
+        )
 
-# UI設定
-def generate_text(prompt, temperature, top_k, top_p, max_length, repetition_penalty, use_comma, batch_size):
-    # 生成ロジック（実際のモデル使用コードを挿入）
-    return "生成されたテキスト"
+        return [tokenizer.decode(output, skip_special_tokens=True) for output in outputs]
+    except Exception as e:
+        return f"エラーが発生しました: {str(e)}"
 
 # UI設定
 with gr.Blocks() as ui: