setup

.gitignore

@@ -0,0 +1 @@
+*-conv.json

local/hf_upload.py

@@ -0,0 +1,28 @@
+# %%
+import pandas as pd
+import pickle
+import datasets
+# ファイルパスを指定
+file_path = 'elo_results.pkl'
+
+# 'rb'は「バイナリ読み込みモード」を意味します
+with open(file_path, 'rb') as file:
+    # pickleを使用してファイルの内容を読み込む
+    data = pickle.load(file)
+
+# 読み込んだデータを表示
+print(data)
+
+# %%
+
+data["full"]["elo_rating_final"]
+
+# %%
+
+df2 = data["full"]["leaderboard_table_df"]
+df2 = df2.sort_values("rating", ascending=False)
+ds2 = datasets.Dataset.from_pandas(df2)
+ds2.push_to_hub("kanhatakeyama/chatbot-arena-ja-elo-rating")
+
+
+# %%

local/leaderboard

@@ -0,0 +1,21 @@
+#memo
+#fastchatを入れて､以下のコードを実行
+
+
+#conda activate arena
+while true; do
+    #git
+    cd chatbotarena-ja-log
+    git pull
+    cd ../
+    cp chatbotarena-ja-log/data/*-conv.json server0  #copy
+    rm elo_results.pkl
+    rm clean.json
+    cp ../*-conv.json server0  #copy
+    python3 ../fastchat/serve/monitor/clean_battle_data.py
+    mv clean_battle*.json clean.json
+    python3 ../fastchat/serve/monitor/elo_analysis.py --clean-battle-file clean.json
+    mv elo_results*.pkl elo_results.pkl
+    python3 hf_upload.py
+    sleep 7200
+done

local/local_setup

@@ -1,10 +1,13 @@
-#install ngninx
-sudo apt update
-sudo apt install nginx
-
-
+########################
+#install nginx
+#sudo apt update
+#sudo apt install nginx
+#sudo vi /etc/nginx/sites-available/default  #edit
+#sudo systemctl start nginx
+
+###########################
 #lauch local server
-
+cd /data/2024/1018chatbotarena/llama.cpp/download
 export CUDA_VISIBLE_DEVICES=0
 python -m vllm.entrypoints.openai.api_server --model cyberagent/calm3-22b-chat \
 --max-model-len 4096 --port 8011 \
@@ -16,9 +19,8 @@ python -m vllm.entrypoints.openai.api_server --model cyberagent/calm3-22b-chat \
 export CUDA_VISIBLE_DEVICES=0
 python -m vllm.entrypoints.openai.api_server --model weblab-GENIAC/Tanuki-8B-dpo-v1.0 --max-model-len 4096 --port 8012 --gpu-memory-utilization 0.2 --trust-remote-code --quantization bitsandbytes --load-format bitsandbytes --api-key $VLLM_API_KEY
 
-
-export CUDA_VISIBLE_DEVICES=0
 #llama.cpp swallow 8b
+export CUDA_VISIBLE_DEVICES=0
 ../llama-server -m tokyotech-llm-Llama-3.1-Swallow-8B-Instruct-v0.1-Q8_0.gguf  --n_gpu_layers 100 --port 8010
 
 #llmjp13b
@@ -29,6 +31,6 @@ export CUDA_VISIBLE_DEVICES=0
 export CUDA_VISIBLE_DEVICES=1
 python -m vllm.entrypoints.openai.api_server --model tokyotech-llm/Llama-3.1-Swallow-70B-Instruct-v0.1 --max-model-len 4096 --port 8019 --gpu-memory-utilization 0.6 --trust-remote-code --quantization bitsandbytes --load-format bitsandbytes --api-key $VLLM_API_KEY
 
-
+#########################
 #launch ngrok
 ngrok http http://localhost:8765

serve/gradio_block_arena_named.py

@@ -316,7 +316,7 @@ def flash_buttons():
 
 def build_side_by_side_ui_named(models):
     notice_markdown = f"""
-# ⚔️  Chatbot Arena (formerly LMSYS): Free AI Chat to Compare & Test Best AI Chatbots
+# ⚔️  Chatbot Arena 
 
 {SURVEY_LINK}
 

serve/gradio_web_server.py

@@ -70,7 +70,7 @@ acknowledgment_md = """
 
 - 違法、有害、暴力、人種差別、または性的目的で使用しないでください。
 - 個人情報をアップロードしないでください。
-- このサービスで収集された対話データは今後の大規模言語モデルの開発のほか､適切なマスキング処理を施した上で､クリエイティブ コモンズ アトリビューション (CC-BY) または同様のライセンスの下で配布される可能性があります。
+- このサービスで収集された対話データは今後の大規模言語モデルの開発での使用のほか､適切なマスキング処理を施した上で､クリエイティブ コモンズ アトリビューション (CC-BY) または同様のライセンスの下で配布される可能性があります。
 
 """
 
@@ -821,14 +821,14 @@ def build_single_model_ui(models, add_promotion_links=False):
                 show_label=False,
                 container=False,
             )
-        with gr.Row():
-            with gr.Accordion(
-                f"🔍 Expand to see the descriptions of {len(models)} models",
-                open=False,
-            ):
-                model_description_md = get_model_description_md(models)
-                gr.Markdown(model_description_md,
-                            elem_id="model_description_markdown")
+        # with gr.Row():
+        #    with gr.Accordion(
+        #        f"🔍 Expand to see the descriptions of {len(models)} models",
+        #        open=False,
+        #    ):
+        #        model_description_md = get_model_description_md(models)
+        #        gr.Markdown(model_description_md,
+        #                    elem_id="model_description_markdown")
 
         chatbot = gr.Chatbot(
             elem_id="chatbot",