fix

app.py

@@ -1,52 +1,49 @@
 # app.py
 import os
-import torch
 from fastapi import FastAPI, HTTPException
 from pydantic import BaseModel
-from transformers import AutoTokenizer, AutoModelForCausalLM
+from huggingface_hub import hf_hub_download
+from pyllamacpp.model import Model
 
 # -----------------------------------------------------------------------------
-# 設定
+# Hugging Face Hub の設定
 # -----------------------------------------------------------------------------
-MODEL_ID = "google/gemma-3-4b-it"
-HF_TOKEN = os.environ.get("HF_TOKEN", None)
-DEVICE   = torch.device("cpu")  # 無料枠は CPU のみ
+HF_TOKEN = os.environ.get("HF_TOKEN")  # 必要に応じて Secrets にセット
+REPO_ID  = "google/gemma-3-12b-it-qat-q4_0-gguf"
+# 実際にリポジトリに置かれている GGUF ファイル名を確認してください。
+# 例: "gemma-3-12b-it-qat-q4_0-gguf.gguf"
+GGUF_FILENAME = "gemma-3-12b-it-qat-q4_0-gguf.gguf"
 
-# -----------------------------------------------------------------------------
-# トークナイザーのロード
-# -----------------------------------------------------------------------------
-tokenizer = AutoTokenizer.from_pretrained(
-    MODEL_ID,
-    token=HF_TOKEN,
-    trust_remote_code=True
-)
+# キャッシュ先のパス（リポジトリ直下に置く場合）
+MODEL_PATH = os.path.join(os.getcwd(), GGUF_FILENAME)
 
 # -----------------------------------------------------------------------------
-# モデルのロード＋低メモリモード
+# 起動時に一度だけダウンロード
 # -----------------------------------------------------------------------------
-model = AutoModelForCausalLM.from_pretrained(
-    MODEL_ID,
-    token=HF_TOKEN,
-    trust_remote_code=True,
-    torch_dtype=torch.float32,
-    low_cpu_mem_usage=True
-).to(DEVICE)
+if not os.path.exists(MODEL_PATH):
+    print(f"Downloading {GGUF_FILENAME} from {REPO_ID} …")
+    hf_hub_download(
+        repo_id=REPO_ID,
+        filename=GGUF_FILENAME,
+        token=HF_TOKEN,
+        repo_type="model",        # 明示的にモデルリポジトリを指定
+        local_dir=os.getcwd(),    # カレントディレクトリに保存
+        local_dir_use_symlinks=False
+    )
 
 # -----------------------------------------------------------------------------
-# 動的量子化の適用
+# llama.cpp (pyllamacpp) で 4bit GGUF モデルをロード
 # -----------------------------------------------------------------------------
-# - {torch.nn.Linear} を INT8 化
-# - dtype=torch.qint8 で重みのみ量子化
-model = torch.quantization.quantize_dynamic(
-    model,
-    {torch.nn.Linear},
-    dtype=torch.qint8
+llm = Model(
+    model_path=MODEL_PATH,
+    n_ctx=512,       # 必要に応じて調整
+    n_threads=4,     # 実マシンのコア数に合わせて
 )
 
 # -----------------------------------------------------------------------------
-# FastAPI サーバー定義
+# FastAPI 定義
 # -----------------------------------------------------------------------------
-app = FastAPI(title="Gemma3-4B-IT with Dynamic Quantization")
+app = FastAPI(title="Gemma3-12B-IT Q4_0 GGUF API")
 
 class GenerationRequest(BaseModel):
     prompt: str
@@ -58,22 +55,15 @@ class GenerationRequest(BaseModel):
 async def generate(req: GenerationRequest):
     if not req.prompt:
         raise HTTPException(status_code=400, detail="`prompt` は必須です。")
-    # トークナイズして推論
-    inputs = tokenizer(
+    # llama.cpp の generate を呼び出し
+    text = llm.generate(
         req.prompt,
-        return_tensors="pt",
-        truncation=True,
-        padding=True
-    ).to(DEVICE)
-    output_ids = model.generate(
-        **inputs,
-        max_new_tokens=req.max_new_tokens,
-        temperature=req.temperature,
         top_p=req.top_p,
-        do_sample=True,
-        pad_token_id=tokenizer.eos_token_id
+        temp=req.temperature,
+        n_predict=req.max_new_tokens,
+        repeat_last_n=64,
+        repeat_penalty=1.1
     )
-    text = tokenizer.decode(output_ids[0], skip_special_tokens=True)
     return {"generated_text": text}
 
 # -----------------------------------------------------------------------------