Create xgboost_pattern_v2.py

ml_engine/xgboost_pattern_v2.py

@@ -0,0 +1,174 @@
+# ml_engine/xgboost_pattern_v2.py
+# (Pipeline لتجهيز البيانات لنماذج XGBoost V2)
+
+import numpy as np
+import pandas as pd
+import pandas_ta as ta
+import logging
+
+# إعداد التسجيل (Logging) لتتبع الأخطاء الصامتة
+logging.basicConfig(level=logging.WARNING, format='%(asctime)s - %(levelname)s - %(message)s')
+logger = logging.getLogger(__name__)
+
+try:
+    from hurst import compute_Hc
+    HURST_AVAILABLE = True
+except ImportError:
+    logger.warning("مكتبة 'hurst' غير موجودة. سيتم استخدام قيمة افتراضية 0.5 لمؤشر Hurst.")
+    HURST_AVAILABLE = False
+
+# === دوال مساعدة (مطابقة تماماً لما استخدم في التدريب) ===
+
+def _zv(x):
+    """حساب Z-Score الآمن (يتجنب القسمة على صفر)"""
+    with np.errstate(divide='ignore', invalid='ignore'):
+        x = np.asarray(x, dtype="float32")
+        m = np.nanmean(x)
+        s = np.nanstd(x) + 1e-9
+        x_norm = (x - m) / s
+        return np.nan_to_num(x_norm, nan=0.0).astype("float32")
+
+def ema_np_safe(x, n):
+    """حساب المتوسط المتحرك الأسي (EMA) بشكل آمن وسريع باستخدام Numpy"""
+    x = np.asarray(x, dtype="float32")
+    k = 2.0 / (n + 1.0)
+    out = np.empty_like(x)
+    out[0] = x[0] if not np.isnan(x[0]) else 0.0
+    for i in range(1, len(x)):
+        val = x[i] if not np.isnan(x[i]) else out[i-1]
+        out[i] = out[i-1] + k * (val - out[i-1])
+    return out
+
+def mc_simple_fast(closes_np: np.ndarray, target_profit=0.005):
+    """نسخة سريعة وآمنة من محاكاة مونت كارلو البسيطة (للميزات الإحصائية)"""
+    try:
+        if len(closes_np) < 30: return 0.5, 0.0
+        c = closes_np
+        cur = float(c[-1])
+        if cur <= 0: return 0.5, 0.0
+        
+        # حساب العوائد اللوغاريتمية
+        lr = np.diff(np.log1p(c))
+        lr = lr[np.isfinite(lr)]
+        if len(lr) < 20: return 0.5, 0.0
+        
+        mu = np.mean(lr)
+        sigma = np.std(lr)
+        if sigma < 1e-9: return 0.5, 0.0 # تجنب التقلب الصفري
+        
+        # محاكاة سريعة (500 مسار) باستخدام توزيع t-student (كما في التدريب)
+        n_sims = 500
+        drift = (mu - 0.5 * sigma**2)
+        diffusion = sigma * np.random.standard_t(df=10, size=n_sims)
+        sim_prices = cur * np.exp(drift + diffusion)
+        
+        var95 = np.percentile(sim_prices, 5)
+        var95_pct = (cur - var95) / (cur + 1e-9)
+        prob_gain = np.mean(sim_prices >= cur * (1 + target_profit))
+        
+        return float(prob_gain), float(var95_pct)
+    except Exception:
+        return 0.5, 0.0
+
+# ============================================================
+# === الدالة الرئيسية: تجهيز البيانات للنظام الحي (V6 Pipeline) ===
+# ============================================================
+def transform_candles_for_ml(df_window: pd.DataFrame):
+    """
+    تحويل نافذة من الشموع (200 شمعة) إلى متجه ميزات جاهز لنموذج ML.
+    Input: DataFrame (must have columns: 'open', 'high', 'low', 'close', 'volume')
+    Output: Numpy Array shape (1, 3803) or None if failed.
+    """
+    try:
+        # التأكد من وجود بيانات كافية (نحتاج 200 شمعة بالضبط للحفاظ على الشكل)
+        if len(df_window) < 200:
+             # في حالة البيانات الناقصة، يمكننا إما الرفض أو التعبئة بأصفار (الرفض أسلم)
+             # logger.warning(f"بيانات غير كافية للتحويل: {len(df_window)} < 200")
+             return None
+        
+        df = df_window.iloc[-200:].copy() # نضمن أخذ آخر 200 فقط
+
+        # تحويل الأعمدة إلى numpy arrays (float32)
+        o = df["open"].to_numpy(dtype="float32")
+        h = df["high"].to_numpy(dtype="float32")
+        l = df["low"].to_numpy(dtype="float32")
+        c = df["close"].to_numpy(dtype="float32")
+        v = df["volume"].to_numpy(dtype="float32")
+
+        # --- 1. الميزات الأساسية (5 ميزات × 200) ---
+        base = np.stack([o, h, l, c, v], axis=1) # Shape: (200, 5)
+        base_z = _zv(base)
+
+        # --- 2. ميزات إضافية (2 ميزة × 200) ---
+        lr = np.zeros_like(c)
+        lr[1:] = np.diff(np.log1p(c)) # Log Returns
+        rng = (h - l) / (c + 1e-9)    # Range
+        extra = np.stack([lr, rng], axis=1) # Shape: (200, 2)
+        extra_z = _zv(extra)
+
+        # --- 3. المؤشرات الفنية (12 ميزة × 200) - "المحرك المُدرّع V7" ---
+        ema9 = ema_np_safe(c, 9)
+        ema21 = ema_np_safe(c, 21)
+        ema50 = ema_np_safe(c, 50)
+        ema200 = ema_np_safe(c, 200)
+        slope21 = np.concatenate([[0.0], np.diff(ema21)])
+        slope50 = np.concatenate([[0.0], np.diff(ema50)])
+
+        # استخدام try...except لكل مؤشر من مكتبة pandas_ta لضمان المتانة
+        try: rsi = ta.rsi(pd.Series(c), length=14).fillna(50).to_numpy(dtype="float32")
+        except: rsi = np.full_like(c, 50.0, dtype="float32")
+
+        try: 
+            macd_data = ta.macd(pd.Series(c), fast=12, slow=26, signal=9)
+            macd_line = macd_data.iloc[:, 0].fillna(0).to_numpy(dtype="float32")
+            macd_hist = macd_data.iloc[:, 2].fillna(0).to_numpy(dtype="float32")
+        except: 
+            macd_line = np.zeros_like(c, dtype="float32")
+            macd_hist = np.zeros_like(c, dtype="float32")
+
+        try: atr = ta.atr(pd.Series(h), pd.Series(l), pd.Series(c), length=14).fillna(0).to_numpy(dtype="float32")
+        except: atr = np.zeros_like(c, dtype="float32")
+
+        try:
+            bb = ta.bbands(pd.Series(c), length=20, std=2)
+            # BB%B: موقع السعر بالنسبة للنطاق
+            bb_p = ((c - bb.iloc[:, 0]) / (bb.iloc[:, 2] - bb.iloc[:, 0] + 1e-9)).fillna(0.5).to_numpy(dtype="float32")
+        except: bb_p = np.full_like(c, 0.5, dtype="float32")
+
+        try: obv = ta.obv(pd.Series(c), pd.Series(v)).fillna(0).to_numpy(dtype="float32")
+        except: obv = np.zeros_like(c, dtype="float32")
+
+        # تجميع المؤشرات الـ 12 وتطبيق Z-Score عليها
+        indicators = np.stack([
+            ema9, ema21, ema50, ema200, slope21, slope50,
+            rsi, macd_line, macd_hist, atr / (c + 1e-9), bb_p, obv
+        ], axis=1) # Shape: (200, 12)
+        indicators_z = _zv(indicators)
+
+        # --- 4. الدمج والتسطيح (Flattening) ---
+        # الشكل النهائي قبل التسطيح: (200, 5 + 2 + 12) = (200, 19)
+        X_seq = np.concatenate([base_z, extra_z, indicators_z], axis=1)
+        X_seq_flat = X_seq.reshape(1, -1) # Shape: (1, 3800)
+
+        # --- 5. الميزات الثابتة (3 ميزات) ---
+        try: mc_p, mc_var = mc_simple_fast(c[-100:]) # آخر 100 شمعة للمحاكاة السريعة
+        except: mc_p, mc_var = 0.5, 0.0
+        
+        hurst_val = 0.5
+        if HURST_AVAILABLE:
+             try: hurst_val = compute_Hc(c[-100:], kind='price', simplified=True)[0]
+             except: pass
+             
+        X_stat = np.array([[mc_p, mc_var, hurst_val]], dtype="float32") # Shape: (1, 3)
+
+        # --- 6. الدمج النهائي ---
+        X_final = np.concatenate([X_seq_flat, X_stat], axis=1) # Shape: (1, 3803)
+        
+        # استبدال أي NaN متبقي بـ 0 للأمان التام
+        X_final = np.nan_to_num(X_final, nan=0.0, posinf=0.0, neginf=0.0)
+
+        return X_final
+
+    except Exception as e:
+        # logger.error(f"Pipeline Error during transformation: {e}")
+        return None