Update app.py

app.py

@@ -190,8 +190,11 @@ async def monitor_market_async():
     except Exception as e:
         print(f"❌ فشل تشغيل مراقبة السوق: {e}")
 
+#
+# 🔴 تم التعديل: الدالة الآن ترجع قاموساً مفصلاً بدلاً من قائمة واحدة
+#
 async def process_batch_parallel(batch, ml_processor, batch_num, total_batches):
-    """معالجة دفعة من الرموز بشكل متوازي"""
+    """معالجة دفعة من الرموز بشكل متوازي وإرجاع نتائج مفصلة"""
     try:
         print(f"   🔄 معالجة الدفعة {batch_num}/{total_batches} ({len(batch)} عملة)...")
         
@@ -204,20 +207,42 @@ async def process_batch_parallel(batch, ml_processor, batch_num, total_batches):
         # انتظار انتهاء جميع مهام الدفعة الحالية
         batch_results = await asyncio.gather(*batch_tasks, return_exceptions=True)
         
-        # تصفية النتائج الناجحة
+        # 
+        # 🔴 تم التعديل: تصفية النتائج إلى ثلاث فئات
+        #
         successful_results = []
-        for result in batch_results:
+        low_score_results = []
+        failed_results = []
+
+        for i, result in enumerate(batch_results):
+            symbol = batch[i].get('symbol', 'unknown') # جلب الرمز من بيانات الدفعة الأصلية
+            
             if isinstance(result, Exception):
-                continue
-            if result and result.get('enhanced_final_score', 0) > 0.4:
+                # فشل على مستوى المهمة (مثل Timeout)
+                failed_results.append({"symbol": symbol, "error": f"Task Execution Error: {str(result)}"})
+            elif result is None:
+                # فشل المعالجة داخل ML.py (سيرجع None)
+                failed_results.append({"symbol": symbol, "error": "ML.py processing returned None (Check logs for internal error)"})
+            elif result.get('enhanced_final_score', 0) > 0.4:
+                # نجاح - درجة عالية
                 successful_results.append(result)
+            else:
+                # نجاح - درجة منخفضة
+                low_score_results.append(result)
         
-        print(f"   ✅ اكتملت الدفعة {batch_num}: {len(successful_results)}/{len(batch)} ناجحة")
-        return successful_results
+        print(f"   ✅ اكتملت الدفعة {batch_num}: {len(successful_results)} نجاح | {len(low_score_results)} منخفض | {len(failed_results)} فشل")
+        
+        # إرجاع قاموس مفصل
+        return {
+            'success': successful_results,
+            'low_score': low_score_results,
+            'failures': failed_results
+        }
         
     except Exception as error:
         print(f"❌ خطأ في معالجة الدفعة {batch_num}: {error}")
-        return []
+        # إرجاع هيكل فارغ في حالة فشل الدفعة بالكامل
+        return {'success': [], 'low_score': [], 'failures': []}
 
 async def run_3_layer_analysis():
     """
@@ -226,6 +251,15 @@ async def run_3_layer_analysis():
     الطبقة 2: MLProcessor - التحليل المتقدم  
     الطبقة 3: LLMService - النموذج الضخم
     """
+    
+    # 🔴 تعريف متغيرات السجل في بداية الدالة
+    layer1_candidates = []
+    layer2_candidates = []
+    all_low_score_candidates = []
+    all_failed_candidates = []
+    final_layer2_candidates = []
+    final_opportunities = []
+    
     try:
         print("🎯 بدء النظام الطبقي المكون من 3 طبقات...")
         
@@ -294,21 +328,28 @@ async def run_3_layer_analysis():
             task = asyncio.create_task(process_batch_parallel(batch, ml_processor, i+1, total_batches))
             batch_tasks.append(task)
         
-        # جمع نتائج جميع الدفعات
-        batch_results = await asyncio.gather(*batch_tasks)
+        # 
+        # 🔴 تم التعديل: تجميع النتائج المفصلة
+        #
+        batch_results_list = await asyncio.gather(*batch_tasks)
         
         # دمج جميع النتائج
         layer2_candidates = []
-        for batch_result in batch_results:
-            layer2_candidates.extend(batch_result)
+        all_low_score_candidates = []
+        all_failed_candidates = []
         
-        print(f"✅ اكتمل التحليل المتقدم: {len(layer2_candidates)}/{len(layer2_data)} عملة تم تحليلها بنجاح")
+        for batch_result in batch_results_list:
+            layer2_candidates.extend(batch_result['success'])
+            all_low_score_candidates.extend(batch_result['low_score'])
+            all_failed_candidates.extend(batch_result['failures'])
+        
+        print(f"✅ اكتمل التحليل المتقدم: {len(layer2_candidates)} نجاح (عالي) | {len(all_low_score_candidates)} نجاح (منخفض) | {len(all_failed_candidates)} فشل")
         
         if not layer2_candidates:
             print("❌ لم يتم العثور على مرشحين في الطبقة 2")
-            return None
+            # 🔴 استمرار لتسجيل السجل
         
-        # ترتيب المرشحين حسب الدرجة المحسنة وأخذ أقوى 10 مرشحين فقط للطبقة 3
+        # ترتيب المرشحين (الناجحين فقط) حسب الدرجة المحسنة وأخذ أقوى 10
         layer2_candidates.sort(key=lambda x: x.get('enhanced_final_score', 0), reverse=True)
         target_count = min(10, len(layer2_candidates))
         final_layer2_candidates = layer2_candidates[:target_count]
@@ -399,22 +440,122 @@ async def run_3_layer_analysis():
                 print(f"❌ خطأ في تحليل النموذج الضخم لـ {candidate.get('symbol')}: {e}")
                 continue
         
+        if final_opportunities:
+            # ترتيب الفرص النهائية حسب الثقة والدرجة
+            final_opportunities.sort(key=lambda x: (x['llm_confidence'] + x['enhanced_score']) / 2, reverse=True)
+            
+            print(f"\n🏆 النظام الطبقي اكتمل: {len(final_opportunities)} فرصة تداول")
+            for i, opportunity in enumerate(final_opportunities[:5]):
+                print(f"   {i+1}. {opportunity['symbol']}: {opportunity['decision'].get('action')} - ثقة: {opportunity['llm_confidence']:.2f} - أطر: {opportunity['timeframes_count']}")
+        
+        # 
+        # 🔴 --- بدء سجل تدقيق التحليل ---
+        #
+        try:
+            # 1. ملخص الـ 10 الأوائل (لـ LLM)
+            top_10_detailed_summary = []
+            for c in final_layer2_candidates: # هذه هي قائمة الـ 10 الأوائل
+                whale_summary = "Not Available"
+                whale_data = c.get('whale_data')
+                if whale_data and whale_data.get('data_available'):
+                    signal = whale_data.get('trading_signal', {})
+                    action = signal.get('action', 'HOLD')
+                    confidence = signal.get('confidence', 0)
+                    reason_preview = signal.get('reason', 'N/A')[:75] + "..." if signal.get('reason') else 'N/A'
+                    whale_summary = f"Action: {action}, Conf: {confidence:.2f}, Alert: {signal.get('critical_alert', False)}, Reason: {reason_preview}"
+                
+                top_10_detailed_summary.append({
+                    "symbol": c.get('symbol'),
+                    "score": c.get('enhanced_final_score', 0),
+                    "timeframes": f"{c.get('successful_timeframes', 'N/A')}/6",
+                    "whale_data_summary": whale_summary,
+                    "strategy": c.get('target_strategy', 'N/A'),
+                    "pattern": c.get('pattern_analysis', {}).get('pattern_detected', 'N/A'),
+                })
+
+            # 2. ملخص باقي الناجحين (الذين لم يتم إرسالهم للنموذج)
+            other_successful_candidates = layer2_candidates[target_count:]
+            other_success_summary = [
+                {
+                    "symbol": c['symbol'], 
+                    "score": c.get('enhanced_final_score', 0),
+                    "timeframes": f"{c.get('successful_timeframes', 'N/A')}/6",
+                    "whale_data": "Available" if c.get('whale_data', {}).get('data_available') else "Not Available"
+                } 
+                for c in other_successful_candidates
+            ]
+            
+            # 3. ملخص الدرجات المنخفضة (نجاح < 0.4)
+            low_score_summary = [
+                {
+                    "symbol": c['symbol'], 
+                    "score": c.get('enhanced_final_score', 0),
+                    "timeframes": f"{c.get('successful_timeframes', 'N/A')}/6",
+                    "whale_data": "Available" if c.get('whale_data', {}).get('data_available') else "Not Available"
+                } 
+                for c in all_low_score_candidates
+            ]
+
+            # 4. تجميع السجل النهائي
+            audit_data = {
+                "timestamp": datetime.now().isoformat(),
+                "total_layer1_candidates": len(layer1_candidates),
+                "total_processed_in_layer2": len(layer2_candidates) + len(all_low_score_candidates) + len(all_failed_candidates),
+                "counts": {
+                    "sent_to_llm": len(final_layer2_candidates),
+                    "success_not_top_10": len(other_successful_candidates),
+                    "success_low_score": len(all_low_score_candidates),
+                    "failures": len(all_failed_candidates)
+                },
+                
+                "top_candidates_for_llm": top_10_detailed_summary,
+                "other_successful_candidates": other_success_summary,
+                "low_score_candidates": low_score_summary,
+                "failed_candidates": all_failed_candidates, # {"symbol": ..., "error": ...}
+            }
+            
+            # 5. حفظ السجل
+            await r2_service_global.save_analysis_audit_log_async(audit_data)
+            print(f"✅ تم حفظ سجل تدقيق التحليل في R2.")
+
+        except Exception as audit_error:
+            print(f"❌ فشل حفظ سجل تدقيق التحليل: {audit_error}")
+            traceback.print_exc()
+        # 
+        # 🔴 --- نهاية سجل تدقيق التحليل ---
+        #
+        
         if not final_opportunities:
             print("❌ لم يتم العثور على فرص تداول مناسبة")
             return None
         
-        # ترتيب الفرص النهائية حسب الثقة والدرجة
-        final_opportunities.sort(key=lambda x: (x['llm_confidence'] + x['enhanced_score']) / 2, reverse=True)
-        
-        print(f"\n🏆 النظام الطبقي اكتمل: {len(final_opportunities)} فرصة تداول")
-        for i, opportunity in enumerate(final_opportunities[:5]):
-            print(f"   {i+1}. {opportunity['symbol']}: {opportunity['decision'].get('action')} - ثقة: {opportunity['llm_confidence']:.2f} - أطر: {opportunity['timeframes_count']}")
-        
         return final_opportunities[0] if final_opportunities else None
         
     except Exception as error:
         print(f"❌ خطأ في النظام الطبقي: {error}")
         traceback.print_exc()
+        
+        # 🔴 تسجيل السجل حتى في حالة الفشل
+        try:
+            audit_data = {
+                "timestamp": datetime.now().isoformat(),
+                "status": "FAILED",
+                "error": str(error),
+                "traceback": traceback.format_exc(),
+                "total_layer1_candidates": len(layer1_candidates),
+                "counts": {
+                    "sent_to_llm": 0,
+                    "success_not_top_10": len(layer2_candidates[target_count:]) if 'target_count' in locals() else 0,
+                    "success_low_score": len(all_low_score_candidates),
+                    "failures": len(all_failed_candidates)
+                },
+                "failed_candidates": all_failed_candidates
+            }
+            await r2_service_global.save_analysis_audit_log_async(audit_data)
+            print("⚠️ تم حفظ سجل تدقيق جزئي بعد الفشل.")
+        except Exception as audit_fail_error:
+            print(f"❌ فشل حفظ سجل التدقيق أثناء معالجة خطأ آخر: {audit_fail_error}")
+            
         return None
 
 async def re_analyze_open_trade_async(trade_data):