# ml_engine/xgboost_pattern_v2.py # (Pipeline لتجهيز البيانات لنماذج XGBoost V2) import numpy as np import pandas as pd import pandas_ta as ta import logging # إعداد التسجيل (Logging) لتتبع الأخطاء الصامتة logging.basicConfig(level=logging.WARNING, format='%(asctime)s - %(levelname)s - %(message)s') logger = logging.getLogger(__name__) try: from hurst import compute_Hc HURST_AVAILABLE = True except ImportError: logger.warning("مكتبة 'hurst' غير موجودة. سيتم استخدام قيمة افتراضية 0.5 لمؤشر Hurst.") HURST_AVAILABLE = False # === دوال مساعدة (مطابقة تماماً لما استخدم في التدريب) === def _zv(x): """حساب Z-Score الآمن (يتجنب القسمة على صفر)""" with np.errstate(divide='ignore', invalid='ignore'): x = np.asarray(x, dtype="float32") m = np.nanmean(x) s = np.nanstd(x) + 1e-9 x_norm = (x - m) / s return np.nan_to_num(x_norm, nan=0.0).astype("float32") def ema_np_safe(x, n): """حساب المتوسط المتحرك الأسي (EMA) بشكل آمن وسريع باستخدام Numpy""" x = np.asarray(x, dtype="float32") k = 2.0 / (n + 1.0) out = np.empty_like(x) out[0] = x[0] if not np.isnan(x[0]) else 0.0 for i in range(1, len(x)): val = x[i] if not np.isnan(x[i]) else out[i-1] out[i] = out[i-1] + k * (val - out[i-1]) return out def mc_simple_fast(closes_np: np.ndarray, target_profit=0.005): """نسخة سريعة وآمنة من محاكاة مونت كارلو البسيطة (للميزات الإحصائية)""" try: if len(closes_np) < 30: return 0.5, 0.0 c = closes_np cur = float(c[-1]) if cur <= 0: return 0.5, 0.0 # حساب العوائد اللوغاريتمية lr = np.diff(np.log1p(c)) lr = lr[np.isfinite(lr)] if len(lr) < 20: return 0.5, 0.0 mu = np.mean(lr) sigma = np.std(lr) if sigma < 1e-9: return 0.5, 0.0 # تجنب التقلب الصفري # محاكاة سريعة (500 مسار) باستخدام توزيع t-student (كما في التدريب) n_sims = 500 drift = (mu - 0.5 * sigma**2) diffusion = sigma * np.random.standard_t(df=10, size=n_sims) sim_prices = cur * np.exp(drift + diffusion) var95 = np.percentile(sim_prices, 5) var95_pct = (cur - var95) / (cur + 1e-9) prob_gain = np.mean(sim_prices >= cur * (1 + target_profit)) return float(prob_gain), float(var95_pct) except Exception: return 0.5, 0.0 # ============================================================ # === الدالة الرئيسية: تجهيز البيانات للنظام الحي (V6 Pipeline) === # ============================================================ def transform_candles_for_ml(df_window: pd.DataFrame): """ تحويل نافذة من الشموع (200 شمعة) إلى متجه ميزات جاهز لنموذج ML. Input: DataFrame (must have columns: 'open', 'high', 'low', 'close', 'volume') Output: Numpy Array shape (1, 3803) or None if failed. """ try: # التأكد من وجود بيانات كافية (نحتاج 200 شمعة بالضبط للحفاظ على الشكل) if len(df_window) < 200: # في حالة البيانات الناقصة، يمكننا إما الرفض أو التعبئة بأصفار (الرفض أسلم) # logger.warning(f"بيانات غير كافية للتحويل: {len(df_window)} < 200") return None df = df_window.iloc[-200:].copy() # نضمن أخذ آخر 200 فقط # تحويل الأعمدة إلى numpy arrays (float32) o = df["open"].to_numpy(dtype="float32") h = df["high"].to_numpy(dtype="float32") l = df["low"].to_numpy(dtype="float32") c = df["close"].to_numpy(dtype="float32") v = df["volume"].to_numpy(dtype="float32") # --- 1. الميزات الأساسية (5 ميزات × 200) --- base = np.stack([o, h, l, c, v], axis=1) # Shape: (200, 5) base_z = _zv(base) # --- 2. ميزات إضافية (2 ميزة × 200) --- lr = np.zeros_like(c) lr[1:] = np.diff(np.log1p(c)) # Log Returns rng = (h - l) / (c + 1e-9) # Range extra = np.stack([lr, rng], axis=1) # Shape: (200, 2) extra_z = _zv(extra) # --- 3. المؤشرات الفنية (12 ميزة × 200) - "المحرك المُدرّع V7" --- ema9 = ema_np_safe(c, 9) ema21 = ema_np_safe(c, 21) ema50 = ema_np_safe(c, 50) ema200 = ema_np_safe(c, 200) slope21 = np.concatenate([[0.0], np.diff(ema21)]) slope50 = np.concatenate([[0.0], np.diff(ema50)]) # استخدام try...except لكل مؤشر من مكتبة pandas_ta لضمان المتانة try: rsi = ta.rsi(pd.Series(c), length=14).fillna(50).to_numpy(dtype="float32") except: rsi = np.full_like(c, 50.0, dtype="float32") try: macd_data = ta.macd(pd.Series(c), fast=12, slow=26, signal=9) macd_line = macd_data.iloc[:, 0].fillna(0).to_numpy(dtype="float32") macd_hist = macd_data.iloc[:, 2].fillna(0).to_numpy(dtype="float32") except: macd_line = np.zeros_like(c, dtype="float32") macd_hist = np.zeros_like(c, dtype="float32") try: atr = ta.atr(pd.Series(h), pd.Series(l), pd.Series(c), length=14).fillna(0).to_numpy(dtype="float32") except: atr = np.zeros_like(c, dtype="float32") try: bb = ta.bbands(pd.Series(c), length=20, std=2) # BB%B: موقع السعر بالنسبة للنطاق bb_p = ((c - bb.iloc[:, 0]) / (bb.iloc[:, 2] - bb.iloc[:, 0] + 1e-9)).fillna(0.5).to_numpy(dtype="float32") except: bb_p = np.full_like(c, 0.5, dtype="float32") try: obv = ta.obv(pd.Series(c), pd.Series(v)).fillna(0).to_numpy(dtype="float32") except: obv = np.zeros_like(c, dtype="float32") # تجميع المؤشرات الـ 12 وتطبيق Z-Score عليها indicators = np.stack([ ema9, ema21, ema50, ema200, slope21, slope50, rsi, macd_line, macd_hist, atr / (c + 1e-9), bb_p, obv ], axis=1) # Shape: (200, 12) indicators_z = _zv(indicators) # --- 4. الدمج والتسطيح (Flattening) --- # الشكل النهائي قبل التسطيح: (200, 5 + 2 + 12) = (200, 19) X_seq = np.concatenate([base_z, extra_z, indicators_z], axis=1) X_seq_flat = X_seq.reshape(1, -1) # Shape: (1, 3800) # --- 5. الميزات الثابتة (3 ميزات) --- try: mc_p, mc_var = mc_simple_fast(c[-100:]) # آخر 100 شمعة للمحاكاة السريعة except: mc_p, mc_var = 0.5, 0.0 hurst_val = 0.5 if HURST_AVAILABLE: try: hurst_val = compute_Hc(c[-100:], kind='price', simplified=True)[0] except: pass X_stat = np.array([[mc_p, mc_var, hurst_val]], dtype="float32") # Shape: (1, 3) # --- 6. الدمج النهائي --- X_final = np.concatenate([X_seq_flat, X_stat], axis=1) # Shape: (1, 3803) # استبدال أي NaN متبقي بـ 0 للأمان التام X_final = np.nan_to_num(X_final, nan=0.0, posinf=0.0, neginf=0.0) return X_final except Exception as e: # logger.error(f"Pipeline Error during transformation: {e}") return None