initial commit

.gitattributes

@@ -0,0 +1,35 @@
+*.7z filter=lfs diff=lfs merge=lfs -text
+*.arrow filter=lfs diff=lfs merge=lfs -text
+*.bin filter=lfs diff=lfs merge=lfs -text
+*.bz2 filter=lfs diff=lfs merge=lfs -text
+*.ckpt filter=lfs diff=lfs merge=lfs -text
+*.ftz filter=lfs diff=lfs merge=lfs -text
+*.gz filter=lfs diff=lfs merge=lfs -text
+*.h5 filter=lfs diff=lfs merge=lfs -text
+*.joblib filter=lfs diff=lfs merge=lfs -text
+*.lfs.* filter=lfs diff=lfs merge=lfs -text
+*.mlmodel filter=lfs diff=lfs merge=lfs -text
+*.model filter=lfs diff=lfs merge=lfs -text
+*.msgpack filter=lfs diff=lfs merge=lfs -text
+*.npy filter=lfs diff=lfs merge=lfs -text
+*.npz filter=lfs diff=lfs merge=lfs -text
+*.onnx filter=lfs diff=lfs merge=lfs -text
+*.ot filter=lfs diff=lfs merge=lfs -text
+*.parquet filter=lfs diff=lfs merge=lfs -text
+*.pb filter=lfs diff=lfs merge=lfs -text
+*.pickle filter=lfs diff=lfs merge=lfs -text
+*.pkl filter=lfs diff=lfs merge=lfs -text
+*.pt filter=lfs diff=lfs merge=lfs -text
+*.pth filter=lfs diff=lfs merge=lfs -text
+*.rar filter=lfs diff=lfs merge=lfs -text
+*.safetensors filter=lfs diff=lfs merge=lfs -text
+saved_model/**/* filter=lfs diff=lfs merge=lfs -text
+*.tar.* filter=lfs diff=lfs merge=lfs -text
+*.tar filter=lfs diff=lfs merge=lfs -text
+*.tflite filter=lfs diff=lfs merge=lfs -text
+*.tgz filter=lfs diff=lfs merge=lfs -text
+*.wasm filter=lfs diff=lfs merge=lfs -text
+*.xz filter=lfs diff=lfs merge=lfs -text
+*.zip filter=lfs diff=lfs merge=lfs -text
+*.zst filter=lfs diff=lfs merge=lfs -text
+*tfevents* filter=lfs diff=lfs merge=lfs -text

README.md

@@ -0,0 +1,14 @@
+---
+title: Llama 3 Karamaru V1
+emoji: 🐻
+colorFrom: pink
+colorTo: green
+sdk: gradio
+sdk_version: 5.22.0
+app_file: app.py
+pinned: false
+license: llama3
+short_description: Classical Japanese Chatbot
+---
+
+Check out the configuration reference at https://huggingface.co/docs/hub/spaces-config-reference

app.py

@@ -0,0 +1,100 @@
+from collections.abc import Iterator
+from threading import Thread
+import gradio as gr
+import spaces
+import torch
+from transformers import AutoModelForCausalLM, AutoTokenizer, TextIteratorStreamer
+
+DESCRIPTION = """\
+# 🐟 Karamaru v1
+🤗 [モデル一覧](https://huggingface.co/SakanaAI) | 📝 [ブログ](https://sakana.ai/karamaru/) | 🐦 [Twitter](https://twitter.com/SakanaAILabs)  
+[からまる v1](https://huggingface.co/SakanaAI/Llama-3-Karamaru-v1)は[Sakana AI](https://sakana.ai/)
+「からまる」はSakana AIが開発した江戸古文風チャットボットです。現代日本語で質問すると、江戸時代の世界観と当時の古文風テキストで回答してくれます。より詳しくは、上記のブログをご参照ください。
+"""
+
+FOOTER = """
+⚠️ 本モデルは実験段階のプロトタイプであり、教育および研究開発の目的でのみ提供されています。商用利用や、障害が重大な影響を及ぼす可能性のある環境（ミッションクリティカルな環境）での使用には適していません。
+本モデルの使用は、利用者の自己責任で行われ、その性能や結果については何ら保証されません。
+Sakana AIは、本モデルの使用によって生じた直接的または間接的な損失に対して、結果に関わらず、一切の責任を負いません。
+また、からまるは、江戸時代の書物をもとに学習されています。これらの文献には、当時の社会的規範、価値観、そして偏見が反映されている可能性があります。そのため、本モデルが生成する応答には、現代の基準から見ると不適切であったり、時代遅れ、または不快と感じられる内容が含まれる場合があります。研究、教育、あるいは一般向けの用途で本モデルを利用する際は、利用者自身がその点に十分注意する必要があります。
+"""
+
+device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
+checkpoint = "SakanaAI/Llama-3-Karamaru-v1"
+
+model = AutoModelForCausalLM.from_pretrained(checkpoint,
+                                            device_map="auto",
+                                            torch_dtype=torch.bfloat16)
+tokenizer = AutoTokenizer.from_pretrained(checkpoint)
+
+if tokenizer.pad_token_id is None:
+    tokenizer.pad_token_id = tokenizer.eos_token_id if tokenizer.eos_token_id is not None else 0
+    model.config.pad_token_id = tokenizer.pad_token_id
+
+model.eval()
+
+@spaces.GPU(duration=90)
+def generate(
+    message: str,
+    chat_history: list[dict],
+    max_new_tokens: int = 500,
+    temperature: float = 0.6,
+    top_p: float = 0.9,
+    top_k: int = 50,
+    repetition_penalty: float = 1.1,
+) -> Iterator[str]:
+    conversation = [*chat_history[-10:], {"role": "user", "content": message}]
+
+    input_ids = tokenizer.apply_chat_template(conversation, add_generation_prompt=True, return_tensors="pt")
+    
+    input_ids = input_ids.to(model.device)
+    attention_mask = torch.ones_like(input_ids).to(model.device)
+    streamer = TextIteratorStreamer(tokenizer, timeout=20.0, skip_prompt=True, skip_special_tokens=True)
+    generate_kwargs = dict(
+        {"input_ids": input_ids},
+        streamer=streamer,
+        max_new_tokens=max_new_tokens,
+        do_sample=True,
+        top_p=top_p,
+        top_k=top_k,
+        temperature=temperature,
+        num_beams=1,
+        repetition_penalty=repetition_penalty,
+        attention_mask=attention_mask,
+        pad_token_id=tokenizer.pad_token_id,
+    )
+    t = Thread(target=model.generate, kwargs=generate_kwargs)
+    t.start()
+    
+    outputs = []
+    for text in streamer:
+        outputs.append(text)
+        yield "".join(outputs)
+    
+examples = [
+    ["あなたの名前は何ですか。"],
+    ["AIにとって大事な物は何ですか。"],
+    ["からまるは暇なとき何をしますか。"],
+    ["からまるの人生の目標は何ですか。"],
+    ["からまるはどんな本が好きです。"],
+    ["江戸の観光地は例えばどこですか。"],
+    ["人生のアドバイスを一つください。"],
+    ["江戸の桜の名所はどこですか。"],
+]
+
+with gr.Blocks(css="style.css") as demo:
+    gr.Markdown(DESCRIPTION)
+    
+    gr.ChatInterface(
+        fn=generate,
+        stop_btn=None,
+        examples=examples,
+        cache_examples=True,
+        type="messages",
+        fill_height=True,
+    )
+
+    gr.Markdown(FOOTER)
+
+if __name__ == "__main__":
+    demo.queue(max_size=20).launch(share=True)

requirements.txt

@@ -0,0 +1,4 @@
+# -e https://download.pytorch.org/whl/cu121
+torch==2.5.1
+accelerate
+transformers==4.46.3

style.css

@@ -0,0 +1,11 @@
+h1 {
+  text-align: center;
+  display: block;
+}
+
+#duplicate-button {
+  margin: auto;
+  color: #fff;
+  background: #1565c0;
+  border-radius: 100vh;
+}