Update services/image_service.py

services/image_service.py

@@ -16,46 +16,104 @@ class ImageService:
         self._initialize_ocr_models()
     
     def _initialize_ocr_models(self):
-        """Khởi tạo các model OCR"""
+        """Khởi tạo các model OCR với xử lý lỗi tốt hơn"""
         try:
             print("🔄 Đang khởi tạo OCR models...")
             
-            # Khởi tạo EasyOCR cho đa ngôn ngữ
+            # Khởi tạo EasyOCR với xử lý lỗi ngôn ngữ
             try:
                 import easyocr
+                
+                # Sử dụng danh sách ngôn ngữ an toàn
+                safe_languages = ['en', 'vi']  # Bắt đầu với 2 ngôn ngữ cơ bản
+                
+                # Thử thêm các ngôn ngữ khác nếu có thể
+                try:
+                    safe_languages.append('fr')
+                    safe_languages.append('es') 
+                    safe_languages.append('de')
+                except:
+                    print("⚠️ Một số ngôn ngữ châu Âu không khả dụng")
+                
+                # Thử thêm tiếng Nhật
+                try:
+                    safe_languages.append('ja')
+                except:
+                    print("⚠️ Tiếng Nhật không khả dụng")
+                
+                # Thử thêm tiếng Hàn
+                try:
+                    safe_languages.append('ko')
+                except:
+                    print("⚠️ Tiếng Hàn không khả dụng")
+                
+                # Thử thêm tiếng Trung (sử dụng ch_sim thay vì zh)
+                try:
+                    safe_languages.append('ch_sim')  # Chinese simplified
+                except:
+                    print("⚠️ Tiếng Trung không khả dụng")
+                
+                print(f"🎯 Ngôn ngữ OCR được hỗ trợ: {safe_languages}")
+                
                 self.easy_ocr_reader = easyocr.Reader(
-                    settings.EASYOCR_LANGUAGES,
+                    safe_languages,
                     gpu=torch.cuda.is_available()
                 )
                 print("✅ EasyOCR initialized successfully")
-            except ImportError:
-                print("❌ EasyOCR not installed, installing...")
-                import subprocess
-                subprocess.run(["pip", "install", "easyocr"])
-                import easyocr
-                self.easy_ocr_reader = easyocr.Reader(settings.EASYOCR_LANGUAGES)
-                print("✅ EasyOCR installed and initialized")
                 
-            # Khởi tạo MangaOCR cho tiếng Việt và chữ in
+            except Exception as e:
+                print(f"❌ Lỗi khởi tạo EasyOCR: {e}")
+                print("🔄 Thử khởi tạo chỉ với tiếng Anh...")
+                try:
+                    self.easy_ocr_reader = easyocr.Reader(['en'])
+                    print("✅ EasyOCR initialized with English only")
+                except Exception as e2:
+                    print(f"❌ Không thể khởi tạo EasyOCR: {e2}")
+                    self.easy_ocr_reader = None
+                
+            # Khởi tạo MangaOCR
             try:
                 from manga_ocr import MangaOcr
                 self.ocr_processor = MangaOcr()
                 print("✅ MangaOCR initialized successfully")
             except ImportError:
-                print("⚠️ MangaOCR not available, using EasyOCR only")
+                print("❌ MangaOCR not installed, installing...")
+                import subprocess
+                subprocess.run(["pip", "install", "manga-ocr"], check=True)
+                from manga_ocr import MangaOcr
+                self.ocr_processor = MangaOcr()
+                print("✅ MangaOCR installed and initialized")
+            except Exception as e:
+                print(f"❌ Lỗi khởi tạo MangaOCR: {e}")
+                self.ocr_processor = None
                 
         except Exception as e:
-            print(f"❌ Lỗi khởi tạo OCR: {e}")
+            print(f"❌ Lỗi khởi tạo OCR models: {e}")
     
     def preprocess_image(self, image: np.ndarray) -> np.ndarray:
         """Tiền xử lý ảnh để cải thiện OCR accuracy"""
         try:
+            # Kiểm tra và chuyển đổi kiểu dữ liệu
+            if image.dtype != np.uint8:
+                image = image.astype(np.uint8)
+            
             # Chuyển sang grayscale nếu là ảnh màu
             if len(image.shape) == 3:
+                if image.shape[2] == 4:  # RGBA
+                    image = cv2.cvtColor(image, cv2.COLOR_RGBA2RGB)
                 gray = cv2.cvtColor(image, cv2.COLOR_RGB2GRAY)
             else:
                 gray = image
             
+            # Resize ảnh nếu quá lớn (tối ưu cho OCR)
+            height, width = gray.shape
+            max_dimension = 1600
+            if max(height, width) > max_dimension:
+                scale = max_dimension / max(height, width)
+                new_width = int(width * scale)
+                new_height = int(height * scale)
+                gray = cv2.resize(gray, (new_width, new_height), interpolation=cv2.INTER_AREA)
+            
             # Áp dụng filters để cải thiện chất lượng
             # Noise reduction
             denoised = cv2.medianBlur(gray, 3)
@@ -74,36 +132,46 @@ class ImageService:
             return image
     
     def extract_text_easyocr(self, image: np.ndarray) -> List[Dict[str, Any]]:
-        """Trích xuất text sử dụng EasyOCR"""
+        """Trích xuất text sử dụng EasyOCR với xử lý lỗi"""
+        if self.easy_ocr_reader is None:
+            print("❌ EasyOCR chưa được khởi tạo")
+            return []
+        
         try:
+            print("🔍 EasyOCR đang xử lý ảnh...")
+            
             # Tiền xử lý ảnh
             processed_image = self.preprocess_image(image)
             
-            # Chuyển đổi numpy array sang PIL Image cho phù hợp
-            if processed_image is not None:
-                pil_image = Image.fromarray(processed_image)
-                image_np = np.array(pil_image)
-            else:
-                image_np = image
+            # Đảm bảo ảnh là uint8
+            if processed_image.dtype != np.uint8:
+                processed_image = processed_image.astype(np.uint8)
             
-            # Chạy OCR
+            # Chạy OCR với tham số tối ưu
             results = self.easy_ocr_reader.readtext(
-                image_np,
+                processed_image,
                 detail=1,
                 paragraph=True,
+                batch_size=4,
                 contrast_ths=0.3,
-                adjust_contrast=0.7
+                adjust_contrast=0.5,
+                text_threshold=0.5,
+                link_threshold=0.4
             )
             
             # Format kết quả
             extracted_texts = []
             for bbox, text, confidence in results:
-                extracted_texts.append({
-                    'text': text,
-                    'confidence': float(confidence),
-                    'bbox': bbox
-                })
+                clean_text = text.strip()
+                if clean_text and len(clean_text) > 1:  # Loại bỏ text quá ngắn
+                    extracted_texts.append({
+                        'text': clean_text,
+                        'confidence': float(confidence),
+                        'bbox': bbox,
+                        'source': 'easyocr'
+                    })
             
+            print(f"📊 EasyOCR tìm thấy {len(extracted_texts)} vùng văn bản")
             return extracted_texts
             
         except Exception as e:
@@ -112,39 +180,75 @@ class ImageService:
     
     def extract_text_mangaocr(self, image: np.ndarray) -> List[Dict[str, Any]]:
         """Trích xuất text sử dụng MangaOCR (tốt cho tiếng Việt)"""
+        if self.ocr_processor is None:
+            print("❌ MangaOCR chưa được khởi tạo")
+            return []
+        
         try:
-            if self.ocr_processor is None:
-                return []
+            print("🔍 MangaOCR đang xử lý ảnh...")
             
             # Chuyển numpy array sang PIL Image
-            pil_image = Image.fromarray(image)
+            if len(image.shape) == 3:
+                pil_image = Image.fromarray(image)
+            else:
+                pil_image = Image.fromarray(image).convert('RGB')
             
             # Chạy OCR
             text = self.ocr_processor(pil_image)
             
-            return [{
-                'text': text,
-                'confidence': 0.9,  # MangaOCR không trả về confidence
-                'bbox': None,
-                'source': 'manga_ocr'
-            }]
+            if text and len(text.strip()) > 1:
+                return [{
+                    'text': text.strip(),
+                    'confidence': 0.8,  # MangaOCR không trả về confidence
+                    'bbox': None,
+                    'source': 'manga_ocr'
+                }]
+            else:
+                return []
             
         except Exception as e:
             print(f"❌ Lỗi MangaOCR: {e}")
             return []
     
-    def merge_ocr_results(self, easyocr_results: List, mangaocr_results: List) -> str:
+    def extract_text_pytesseract(self, image: np.ndarray) -> List[Dict[str, Any]]:
+        """Trích xuất text sử dụng pytesseract (fallback)"""
+        try:
+            import pytesseract
+            
+            # Tiền xử lý ảnh
+            processed_image = self.preprocess_image(image)
+            
+            # Cấu hình pytesseract
+            custom_config = r'--oem 3 --psm 6 -l vie+eng'
+            
+            # Chạy OCR
+            text = pytesseract.image_to_string(processed_image, config=custom_config)
+            
+            if text and len(text.strip()) > 1:
+                return [{
+                    'text': text.strip(),
+                    'confidence': 0.7,
+                    'bbox': None,
+                    'source': 'pytesseract'
+                }]
+            else:
+                return []
+                
+        except ImportError:
+            print("⚠️ pytesseract chưa được cài đặt")
+            return []
+        except Exception as e:
+            print(f"❌ Lỗi pytesseract: {e}")
+            return []
+    
+    def merge_ocr_results(self, results_list: List[List]) -> str:
         """Kết hợp và chọn lọc kết quả từ nhiều OCR engine"""
         all_texts = []
         
-        # Ưu tiên kết quả từ EasyOCR với confidence cao
-        for result in easyocr_results:
-            if result['confidence'] > 0.5:  # Ngưỡng confidence
-                all_texts.append(result['text'])
-        
-        # Thêm kết quả từ MangaOCR nếu có
-        for result in mangaocr_results:
-            all_texts.append(result['text'])
+        for results in results_list:
+            for result in results:
+                if result['confidence'] > 0.4:  # Ngưỡng confidence thấp hơn
+                    all_texts.append(result['text'])
         
         # Loại bỏ trùng lặp và kết hợp
         unique_texts = []
@@ -152,11 +256,20 @@ class ImageService:
         
         for text in all_texts:
             clean_text = text.strip()
-            if clean_text and len(clean_text) > 1 and clean_text not in seen_texts:
+            # Loại bỏ text quá ngắn hoặc chỉ có ký tự đặc biệt
+            if (clean_text and 
+                len(clean_text) > 2 and 
+                any(c.isalnum() for c in clean_text) and
+                clean_text not in seen_texts):
                 unique_texts.append(clean_text)
                 seen_texts.add(clean_text)
         
-        return "\n".join(unique_texts) if unique_texts else "Không phát hiện được văn bản trong ảnh."
+        if unique_texts:
+            combined_text = "\n".join(unique_texts)
+            print(f"✅ Văn bản trích xuất: {combined_text[:200]}...")
+            return combined_text
+        else:
+            return "Không phát hiện được văn bản trong ảnh."
     
     def extract_text_from_image(self, image: np.ndarray) -> str:
         """Trích xuất văn bản từ ảnh sử dụng nhiều OCR engine"""
@@ -166,17 +279,24 @@ class ImageService:
         try:
             print("🔍 Đang trích xuất văn bản từ ảnh...")
             
-            # Chạy cả hai OCR engine
+            # Chạy tất cả OCR engine có sẵn
+            all_results = []
+            
+            # EasyOCR
             easyocr_results = self.extract_text_easyocr(image)
+            all_results.append(easyocr_results)
+            
+            # MangaOCR
             mangaocr_results = self.extract_text_mangaocr(image)
+            all_results.append(mangaocr_results)
             
-            print(f"📊 EasyOCR found {len(easyocr_results)} text regions")
-            print(f"📊 MangaOCR found {len(mangaocr_results)} text regions")
+            # Pytesseract (fallback)
+            pytesseract_results = self.extract_text_pytesseract(image)
+            all_results.append(pytesseract_results)
             
             # Kết hợp kết quả
-            merged_text = self.merge_ocr_results(easyocr_results, mangaocr_results)
+            merged_text = self.merge_ocr_results(all_results)
             
-            print(f"✅ Extracted text: {merged_text[:100]}...")
             return merged_text
             
         except Exception as e:
@@ -186,10 +306,16 @@ class ImageService:
     def analyze_text_with_llm(self, extracted_text: str, user_description: str = "") -> str:
         """Phân tích văn bản trích xuất được bằng LLM"""
         try:
-            if not extracted_text or extracted_text == "Không phát hiện được văn bản trong ảnh.":
+            if not extracted_text or "Không phát hiện" in extracted_text:
+                # Nếu không có văn bản, yêu cầu LLM mô tả ảnh
                 prompt = """
                 Tôi đã tải lên một hình ảnh nhưng không thể trích xuất được văn bản từ đó.
-                Hãy mô tả tổng quan về hình ảnh này và đưa ra các phán đoán về nội dung có thể có.
+                Đây có thể là ảnh chụp, hình minh họa, hoặc ảnh không có chữ.
+                
+                Hãy:
+                1. Mô tả tổng quan về loại hình ảnh này có thể là gì
+                2. Đưa ra các phán đoán về nội dung dựa trên đặc điểm chung
+                3. Gợi ý loại ảnh nào thường chứa văn bản để trích xuất
                 """
             else:
                 if user_description:
@@ -199,21 +325,21 @@ class ImageService:
                     VĂN BẢN TRÍCH XUẤT TỪ ẢNH:
                     {extracted_text}
                     
-                    Dựa trên mô tả của người dùng và văn bản trích xuất được, hãy:
-                    1. Phân tích và tóm tắt nội dung chính
-                    2. Giải thích ý nghĩa của văn bản trong ngữ cảnh
-                    3. Đưa ra thông tin bổ sung hữu ích
+                    Hãy phân tích bằng tiếng Việt:
+                    1. Tóm tắt nội dung chính của văn bản
+                    2. Giải thích ý nghĩa trong ngữ cảnh người dùng mô tả
+                    3. Đưa ra thông tin bổ sung hoặc gợi ý liên quan
                     """
                 else:
                     prompt = f"""
                     VĂN BẢN TRÍCH XUẤT TỪ ẢNH:
                     {extracted_text}
                     
-                    Hãy phân tích và cung cấp thông tin về:
-                    1. Nội dung chính của văn bản
-                    2. Loại văn bản (tài liệu, quảng cáo, tin nhắn, etc.)
-                    3. Ngữ cảnh và ý nghĩa
-                    4. Thông tin hữu ích khác
+                    Hãy phân tích bằng tiếng Việt:
+                    1. Loại văn bản này là gì? (tài liệu, quảng cáo, tin nhắn, v.v.)
+                    2. Nội dung chính và thông tin quan trọng
+                    3. Ngữ cảnh có thể và ý nghĩa
+                    4. Thông tin hữu ích khác từ văn bản
                     """
             
             # Gọi LLM để phân tích
@@ -222,14 +348,14 @@ class ImageService:
                 messages=[
                     {
                         "role": "system", 
-                        "content": "Bạn là trợ lý phân tích hình ảnh và văn bản. Hãy trả lời bằng tiếng Việt tự nhiên, rõ ràng và hữu ích."
+                        "content": "Bạn là chuyên gia phân tích hình ảnh và văn bản. Hãy trả lời bằng tiếng Việt tự nhiên, rõ ràng và hữu ích. Nếu không có văn bản, hãy mô tả ảnh một cách thông minh."
                     },
                     {
                         "role": "user",
                         "content": prompt
                     }
                 ],
-                max_tokens=500,
+                max_tokens=800,
                 temperature=0.7
             )
             
@@ -261,36 +387,11 @@ class ImageService:
 {analysis_result}
 
 ---
-*Phân tích sử dụng OCR và AI - Độ chính xác có thể thay đổi tùy thuộc vào chất lượng ảnh.*"""
+*Hệ thống sử dụng đa OCR engine (EasyOCR, MangaOCR) kết hợp AI*
+*Độ chính xác phụ thuộc vào chất lượng ảnh và độ phức tạp của văn bản*"""
             
             return result
             
         except Exception as e:
             print(f"❌ Lỗi phân tích ảnh: {e}")
-            return f"❌ Lỗi trong quá trình phân tích: {str(e)}"
-    
-    def detect_image_type(self, image: np.ndarray) -> str:
-        """Nhận diện loại ảnh (tài liệu, ảnh chụp, meme, etc.)"""
-        try:
-            # Phân tích đơn giản dựa trên đặc điểm ảnh
-            height, width = image.shape[:2]
-            aspect_ratio = width / height
-            
-            # Phân tích màu sắc
-            if len(image.shape) == 3:
-                color_variance = np.var(image, axis=(0,1))
-                is_colorful = np.mean(color_variance) > 100
-            else:
-                is_colorful = False
-            
-            # Phân tích sơ bộ loại ảnh
-            if aspect_ratio > 2.0 or aspect_ratio < 0.5:
-                return "document"  # Tài liệu thường có tỷ lệ khác thường
-            elif not is_colorful:
-                return "document"  # Ít màu sắc -> có thể là tài liệu
-            else:
-                return "photo"  # Ảnh chụp
-                
-        except Exception as e:
-            print(f"⚠️ Lỗi nhận diện loại ảnh: {e}")
-            return "unknown"
+            return f"❌ Lỗi trong quá trình phân tích: {str(e)}"