›
›

Đồ án Tìm hiểu bài toán đánh giá sự tương quan giữa hai ảnh

pdf 52 trang huongle 2780
Download
Bạn đang xem 20 trang mẫu của tài liệu "Đồ án Tìm hiểu bài toán đánh giá sự tương quan giữa hai ảnh", để tải tài liệu gốc về máy bạn click vào nút DOWNLOAD ở trên

Tài liệu đính kèm:

  • pdfdo_an_tim_hieu_bai_toan_danh_gia_su_tuong_quan_giua_hai_anh.pdf

Nội dung text: Đồ án Tìm hiểu bài toán đánh giá sự tương quan giữa hai ảnh

  1. MỤC LỤC PHẦN MỞ ĐẦU 3 Chƣơng 1: KHÁT QUÁT VỀ TƢƠNG QUAN VÀ ĐỘ ĐỌ TƢƠNG QUAN GIỮA HAI ẢNH 5 1.1. Tính “ghép đúng” và tính “tƣơng quan” 5 1.1.1. Khái niệm về độ tƣơng quan giữa hai ảnh 5 1.1.2. Độ đo tƣơng quan 6 1.2. Xác định độ đo nội dung ảnh 10 1.2.1. Độ đo thuộc tính màu sắc 11 1.2.1.1. Histogram 11 1.2.1.2. Moment màu 14 1.2.1.3. Vectơ gắn kết màu 15 1.2.1.4. Tƣơng quan màu 15 1.2.2. Độ đo thuộc tính hình dạng 16 1.2.2.1. Cơ sở vùng 16 1.2.2.2. Cơ sở biên 20 1.2.3. Độ đo thuộc tính cấu trúc bề mặt 22 1.2.3.1. Các phƣơng pháp không gian 22 1.2.3.2. Phƣơng pháp tần số 24 1.2.3.2. Phƣơng pháp moment 25 Chƣơng 2: MỘT SỐ KỸ THUẬT ĐÁNH GIÁ ĐỘ TƢƠNG QUAN 27 2.1. Mô hình không gian vector VSM 27 2.1.1. Phép so sánh histogram 27 2.1.1.1. So sánh ngang các bin histogram (bin-by-bin) 27 2.1.1.2. So sánh chéo các bin histogram (cross-bin) 30 2.1.1.3. Phép so sánh qua giá trị điểm ảnh 32 2.2. Mô hình Vector 34 2.2.1. SVM 34 1
  2. 2.2.2. SVM trong kỹ thuật tra cứu ảnh 36 2.3. Mô hình k-phần tử kề cận (k-NN) 39 2.3.1. Thuật toán k-NN 39 2.3.2. k-NN trong so khớp điểm ảnh 42 Chƣơng 3: CHƢƠNG TRÌNH THỬ NGHIỆM 44 3.1. Bài toán 44 3.2. Xây dựng chƣơng trình 44 3.2.1. Lựa chọn môi trƣờng 44 3.2.2. Phân tích về lôgô 44 3.2.3. Đánh giá độ tƣơng quan về lôgô 45 3.2.3.1. Trích chọn các đặc trƣng cho lôgô 45 3.2.3.2. So sánh độ đo tƣơng quan giữa các cặp lôgô 45 3.2.4. Một số kết quả 46 PHẦN KẾT LUẬN 51 TÀI LIỆU THAM KHẢO 52 2
  3. PHẦN MỞ ĐẦU Trong những năm gần đây, lĩnh vực xử lý ảnh số ngày càng đƣợc nhiều ngƣời quan tâm, sự phát triển nhanh chóng của các thiết bị đồ hoạ cũng nhƣ dung lƣợng của các thiết bị lƣu trữ ngày càng tăng nhanh là những nhân tố tích cực thúc đẩy nghiên cứu các ứng dụng thực tế từ công nghệ xử lý ảnh. Nhận dạng ảnh chính là việc dùng chƣơng trình máy tính để phân tích nội dung của ảnh. Có rất nhiều các hƣớng nghiên cứu xác định nội dung của ảnh cũng nhƣ phân định các đối tƣợng thuộc bức ảnh. Các kết quả đạt đƣợc ở mỗi phƣơng pháp đều có thể đƣợc đƣa vào ứng dụng trong thực tiễn để giải quyết một vấn đề cụ thể nào đó. Với việc không còn bị hạn chế về độ lớn của bộ nhớ dùng để lƣu trữ, vấn đề đặt ra là khai thác kho dữ liệu ảnh nhƣ thế nào cho hiệu quả. Bằng trực quan con nguời có thể dễ dàng hiểu đƣợc nội dung một bức ảnh, nhƣng để máy tính cũng hiểu đƣợc nội dung đó thì quả thực là một vấn đề khó. Ngay cả khi chúng ta hạn chế vấn đề ở chỗ chỉ đem so sánh nội dung các bức ảnh với nhau theo góc độ đánh giá tính tƣơng quan thì cũng đã đặt ra nhiều vấn đề lớn cho việc nghiên cứu: so sánh dựa trên các đặc trƣng nào, giống nhau hay khác nhau ở mức độ bao nhiêu? Để tìm hiểu sâu hơn vấn đề này, thực tế đặt ra cho chúng ta bài toán là hãy xác định xem liệu một đối tƣợng (đƣợc mô tả dƣới dạng ảnh – có thể là trích một phần từ một bức ảnh lớn hơn) có xuất hiện ở một ảnh nào trong tập ảnh (cơ sở dữ liệu đầu vào) cho trƣớc hay không? Trong các nghiên cứu khoa học hiện nay, vấn đề này đƣợc xếp vào nhóm các kỹ thuật tra cứu ảnh theo nội dung. Các kỹ thuật này cho phép trích chọn đặc điểm dựa vào nội dung trực quan bao gồm màu sắc, kết cấu, hình dạng, bố cục không gian của ảnh, từ đó làm cơ sở cho việc tra cứu, sắp xếp, tổ chức cơ sở dữ liệu ảnh. Nghiên cứu - tìm hiểu - đánh giá các phƣơng pháp đã có để đi tìm lời giải cho bài toán trên đây chính là nội dung của đề tài “Tìm hiểu bài toán đánh giá sự tƣơng quan giữa hai ảnh”. Để đánh giá đƣợc độ tƣơng quan của ảnh nhƣ đã phân tích, trƣớc hết là phải xác định đƣợc các độ đo nội dung cần thiết để so sánh, sau đó phải xây dựng đƣợc hàm đánh giá. Đó chính là hai mục tiêu cơ bản đƣợc nghiên cứu trong đề tài này. Trên cơ sở các nghiên cứu đó, đề tài sẽ thử nghiệm một phƣơng pháp cụ thể để xây dựng một chƣơng trình phần mềm cho phép tra cứu một mẫu 3
  4. lôgô thƣơng mại xem nó đã có hay chƣa có trong kho cơ sở dữ liệu về ảnh lôgô thƣơng mại đã lƣu trữ (đã đăng ký) bằng cách liệt kê ra 20 mẫu lôgô có nội dung ảnh gần giống nhất với mẫu lôgô đƣa vào, qua đó cho phép ngƣời dùng quan sát và quyết định có cho đăng ký (lƣu trữ) mẫu lôgô đó hay không. Vì vậy, nội dung chính của đồ án đƣợc trình bày bao gồm Phần mở đầu, Phần kết luận và ba chƣơng nội dung, cụ thể: Chƣơng 1: KHÁT QUÁT VỀ TƢƠNG QUAN VÀ ĐỘ ĐỌ TƢƠNG QUAN GIỮA HAI ẢNH Nội dung chƣơng này đi vào phân tích các chi tiết cấu thành nội dung của bức ảnh theo khía cạnh nhận thức của thị giác con ngƣời. Đồ án giới thiệu các phƣơng pháp cũng nhƣ các vector đặc trƣng dùng để mô tả nội dung của một bức ảnh. Đây chính là cơ sở để chúng ta thực hiện các phép tính toán so sánh các bức ảnh với nhau ở chƣơng 2. Chƣơng 2: MỘT SỐ KỸ THUẬT ĐÁNH GIÁ ĐỘ TƢƠNG QUAN Đƣa ra các kỹ thuật đánh giá độ tƣơng quan giữa các bức ảnh dựa trên độ đo nội dung ảnh (vector đặc trƣng). Tính đến nay, đã có rất nhiều các kỹ thuật đƣợc giới thiệu. Để hệ thống hoá và phân loại, các kỹ thuật này sẽ đƣợc trình bày theo tiêu chí phân loại các mô hình độ tƣơng quan. Chƣơng 3: CHƢƠNG TRÌNH THỬ NGHIỆM Giới thiệu chƣơng trình phần mềm tự xây dựng nhằm mô phỏng cho các lý thuyết đã đề cập trong đồ án. 4
  5. Chƣơng 1: KHÁT QUÁT VỀ TƢƠNG QUAN VÀ ĐỘ ĐỌ TƢƠNG QUAN GIỮA HAI ẢNH 1.1. Tính “ghép đúng” và tính “tƣơng quan” Việc so sánh hai bức ảnh với nhau không dừng lại ở chỗ chỉ so sánh các điểm ảnh với nhau, nó cần phải đƣợc xem xét dựa trên sự nhìn nhận trực quan của con ngƣời, tức là quan tâm đến nội dung trực quan của ảnh. Quá trình đánh giá độ tƣơng quan giữa các ảnh có thể phân chia thành hai bƣớc chính. Trƣớc tiên là xác định định lƣợng một độ đo về nội dung của bức ảnh dựa trên tập các đặc trƣng đƣợc hình thành từ việc mã hoá các thuộc tính của ảnh. Tập các đặc trƣng đó hình thành nên vector đặc trƣng hay độ đo nội dung của ảnh trên không gian các đặc trƣng. Bƣớc thứ hai sau đó là đánh giá so sánh độ tƣơng quan dựa trên các định lƣợng về số đo ở bƣớc trƣớc. Nếu cùng một không gian đặc trƣng mà cho một độ đo khác biệt lớn thì có thể kết luận chúng không tƣơng quan nhau hay chúng không đƣợc xếp trong cùng một lớp. Thông thƣờng, khi “so sánh” hai bức ảnh thì hoặc là ta quan tâm đến việc đánh giá “độ giống nhau” hay “độ tƣơng quan” giữa chúng là bao nhiêu hoặc cũng có thể quan tâm đến khía cạnh hai bức ảnh đó khác biệt nhau đến mức độ nào. Ở đây ta thấy có một khái niệm mang ý nghĩa hẹp hơn, sâu hơn khái niệm “tƣơng quan”, đôi khi mập mờ, đó là “khớp đúng” hay “ghép đúng”(matching). Tính tƣơng phản của hai khái niệm này có thể phân biệt đƣợc qua các ứng dụng của chúng. Các kỹ thuật ghép đúng đƣợc phát triển chủ yếu cho các ứng dụng về nhận dạng đối tƣợng biến đổi hình dạng, trong khi các kỹ thuật về độ tƣơng quan thì lại thấy chủ yếu trong các ứng dụng sử dụng cơ sở dữ liệu về nội dung trực quan của ảnh, đặc biệt là các ứng dụng về tra cứu ảnh. 1.1.1. Khái niệm về độ tƣơng quan giữa hai ảnh Gọi {F(x, y); x, y 1,2, , N} là mảng hai chiều mô tả các điểm ảnh của một bức ảnh. Giá trị hàm F(x, y) là giá trị màu của điểm ảnh có vị trí xác định tại toạ độ (x, y) . Giả sử ảnh xây dựng trên hệ màu RGB thì hàm F(x, y) có thể viết: 5
  6. F(x, y) {FR (x, y),FG (x, y),FB (x, y)}. Với ảnh đen trắng thì giá trị hàm F(x, y) mô tả giá trị xám của điểm ảnh tại toạ độ (x, y) . Gọi f là ánh xạ từ không gian ảnh vào không gian các đặc trƣng N chiều của ảnh, X {x1 , x2 , , xn } tức là: f : F X trong đó n là số các đặc trƣng trích chọn trong ảnh. Sự khác biệt nhau giữa hai ảnh F1 và F2 có thể hiểu nhƣ là khoảng khác biệt D đo đƣợc giữa các vector đặc trƣng tƣơng ứng X 1 và X 2 . Khi đó việc mô tả quá trình tra cứu ảnh đƣợc thể hiện nhƣ sau: Cho biết một ảnh cần tra cứu P , hãy tra cứu ra một ảnh M trong cơ sở dữ liệu ảnh S thoả mãn: D( f (P), f (M)) D( f (P), f (F)) với mọi F thuộc S và F khác M . Hiệu quả của hệ tra cứu ảnh phụ thuộc vào sự thể hiện các vector đặc trƣng cụ thể và sự lựa chọn mô hình đánh giá độ tƣơng quan. 1.1.2. Độ đo tƣơng quan Trong phần này trình bày một số cách nhìn nhận của con ngƣời về tính tƣơng quan qua một số phân tích của các nhà tâm lý học, chúng ta cũng sẽ đề cập đến các ƣu -khuyết điểm của một số cách tiếp cận nghiên cứu khác nhau. Các lý thuyết này đƣợc gom lại theo một khung nhìn thống nhất. Các tiên đề về đo Một số đo về độ tƣơng quan đƣa ra là để giải thích về tính tƣơng quan đƣợc coi là khoảng cách trong không gian các đặc trƣng đó, và nó đƣợc coi là không gian độ đo. Nhận thức tính tƣơng quan thông qua khoảng cách d , còn đo tính tƣơng quan thông qua độ tƣơng quan . Nếu A và B là đại diện cho các tác nhân a và b và d(A, B) là khoảng cách mang tính tri giác giữa hai tác nhân đó thì đánh giá khoảng cách (đo) sẽ là: (A, B) g[d(A, B)] 6
  7. trong đó g là hàm không giảm đơn điệu thích hợp với tham số của nó. Lƣu ý rằng chỉ có giá trị của là có thể sử dụng đƣợc cho thực nghiệm. Các tác nhân đƣợc thể hiện ở đây chính là các điểm trong không gian độ đo, và d(A, B) chính là hàm khoảng cách trong không gian này. Mô hình này thừa nhận rằng khoảng cách tri giác d thoả mãn tiên đề độ đo. Các ràng buộc mang tính kinh nghiệm đƣợc thay đổi thực tế theo một số nhà nghiên cứu. Tiên đề thứ nhất đối với hàm khoảng cách đó là: d(A, A) d(B, B) đối với mọi tác nhân (tính thống nhất của tự tƣơng quan). Giả thiết này có thể đƣợc dùng đề kiểm tra thử việc đánh giá độ đo tƣơng quan, nó ngụ ý (A, A) (B, B) . Tiên đề nói nên tính thống nhất của tự tƣơng quan. Tiên đề thứ hai về mô hình khoảng cách là tính tối thiểu: d(A, B) d(A, A) Lần nữa, giả thiết này đƣa ra cách để kiểm tra thực nghiệm. Do tính quan hệ đơn điệu giữa d và , nó chỉ ra (A, B) (A, A) . Tversky thì lại chỉ ra rằng giả giả thiết này vi phạm một số thực nghiệm về nhận dạng. Tiên đề thứ ba nói rằng khoảng cách giữa các tác nhân có tính đối xứng: d(A, B) d(A, B) Cũng nhƣ tiên đề trƣớc, nó cũng mang hàm nghĩa kiểm tra thực nghiệm. Cũng ngụ ý rằng (A, B) (A, B) . Một số nghiên cứu đã kiểm chứng giả thiết này bằng các thực nghiệm tƣơng quan trực tiếp và quan sát tính không đối xứng của các ma trận hỗn độn. Hiện tƣợng này thƣờng đƣợc quy kết cho tính khác biệt nổi trội hoặc mạnh mẽ của các tác nhân. Nói chung thì độ tƣơng quan của tác nhân ít trội với tác nhân trội nhiều (nguyên bản hơn) lớn hơn so với độ tƣơng quan của tác nhân trội nhiều so với tác nhân trội ít. Tiên đề cuối cùng là bất đẳng thức tam giác: d(A, B) d(B, SC ) d(A, SC ) 7
  8. Về mặt trực quan rõ là tiên đề này là yếu nhất. Hàm tƣơng quan giữa d và không đảm bảo đƣợc rằng đồng ý hay bác bỏ bất đẳng thức tam giác ứng với d sẽ chuyển sang tƣơng quan cho ứng với . Thứ tự trong quan hệ khoảng cách là bất biến với tất cả các biến đổi trong kiểu (A, B) g[d(A, B)] nếu g là tăng đơn điệu. Một hệ quả của nó là bất đẳng thức tam giác không thể đƣợc thử mà chỉ dựa trên thứ tự đo. Tuy nhiên ít ra trong một số loại tác nhân, bất đẳng thức tam giác là không ổn. Tversky và Krantz chứng minh rằng nếu các tiên đề về khoảng cách đã đƣợc kiểm chứng và các khoảng cách là dƣơng dọc theo các đƣờng thẳng trong không gian đặc trƣng, chẳng hạn d là khoảng cách Minkowski, nó có dạng: 1 p p d p (A, B) (Ai Bi ) i trong đó A {A1 , , AN }, B {B1 , , BN }và p 0 là một hằng số đặc trƣng cho hàm khoảng cách. Tập các lý thuyết về độ tƣơng quan Trong một bài báo công bố năm 1977, Amos Tvesky giới thiệu mô hình độ tƣơng phản đặc trƣng rất nổi tiếng. Thay vào việc xem xét các tác nhân nhƣ là các điểm trong không gian độ đo, Tvesky đã đặc trƣng hoá các tác nhân đó nhƣ là các tập đặc trƣng nhị phân. Nói cách khác một tác nhân là một tập các đặc trƣng của bản thân tác nhân đó. Nghĩa là, một tập đặc trƣng là một tập hợp các dự đoán logic đƣợc xem là đúng đối với tác nhân đó. Gọi a,b là 2 tác nhân. A, B là 2 bộ đặc trƣng tƣơng ứng của chúng và s(a,b) là mức độ giống nhau giữa a và b . Lý thuyết của Tvesky dựa trên các giả thuyết sau: Hình 1.1. Bất đẳng thức tam giác 8
  9. Hình 1.1. cho thấy đƣờng dẫn từ góc x1 y1 x3 y1 x3 y3 dài hơn từ x1 y1 x2 y2 x3 y3 khi x2 y 2 nằm trong hình chữ nhật. Tính ghép đúng: s(a,b) F(A B, A B, B A) Tính đơn điệu: s(a,b) s(a,c) bất cứ khi nào mà A B A B, A B A C, B A C A Một hàm mà thoả tính ghép đúng và tính đơn điệu thì đƣợc gọi là hàm ghép đúng. Biểu thức F(X,Y,Z) đƣợc xác định bất cứ khi nào có A, B mà X A B,Y A B,Z B A. Xác định V W nếu tồn tại X,Y, Z mà ít nhất một trong các biểu thức sau đúng: F(V,Y,Z) F(W, Y, Z) F(X,V,Z) F(Z,W, Z) F(X,Y,V) F(X,Y,W) Các cặp tác nhân (a,b) và (c,d) đƣợc gọi là đồng nhất trong một (hai, ba) thành phần khi một (tƣơng ứng, hai, ba) những biểu thức sau đây đúng: (A B) (C D) (A B) (C D) (B A) (D C) Dựa trên các định nghĩa này, Tvesky thừa nhận một thuộc tính thứ 3 của độ đo tƣơng quan, tính độc lập. Tính độc lập: Giả sử cặp và (c,d) tựa cho các cặp (a',b') và (c',d') đồng nhất trên 2 thành phần trong khi các cặp và (a',b') tựa cho và (c',d') đồng nhất trên thành phần thứ 3 còn lại, khi đó: s(a,b) s(a',b') s(c,d) s(c',d') 9
  10. Một ví dụ về tính độc lập đƣợc cho ở 0. Trong trƣờng hợp này thuộc tính độc lập cho thấy là nếu (a,b) là “gần đúng” hơn (c,d) thì (a',b') là “gần đúng” hơn (c',d') . Giả thuyết này (với một số các dữ kiện đã biêt trƣớc về sự lựa chọn các đặc trƣng) có thể kiểm tra qua thực tế. Hình 1.2. Ví dụ về tính độc lập Hình 1.2. cho thấy, nếu a và b đƣợc coi là tƣơng quan hơn so với a' và b' thì c và d sẽ tƣơng quan hơn so với c' và d' . 1.2. Xác định độ đo nội dung ảnh Để có thể đánh giá độ tƣơng quan giữa các ảnh, trƣớc hết phải xác định độ đo nội dung ảnh. Các đặc trƣng đƣợc trích chọn để xác định nên nội dung cần phải lựa chọn giống nhƣ trong giai đoạn nhận thức chú tâm của con ngƣời. Cảm nhận của giác quan là rộng lớn, các thuộc tính có thể chia thành các mức thấp và cao. Các thuộc tính mức thấp bao gồm màu sắc, cấu trúc, hình dạng, bố cục không gian còn ở mức cao - mức ngữ nghĩa đó là khái niệm, từ khoá. Việc chỉ sử dụng các đặc trƣng mức thấp có thể không đƣa ra đƣợc kết quả nhƣ ý muốn, do đó có thể đƣa thêm ngữ nghĩa ở mức cao vào để nâng cao kết quả trong việc xác định nội dung ảnh. Ngữ nghĩa có thể hoặc là các ghi chú thủ công, hoặc đƣợc cấu trúc tự động từ các đặc trƣng ở mức thấp. Trong phạm vi nghiên cứu này chúng ta chỉ tập trung vào việc xác định các độ đo dựa trên các đặc trƣng ở dạng mức thấp của thuộc tính ảnh. 10
  11. 1.2.1. Độ đo thuộc tính màu sắc Màu sắc là một trong những thuộc tính trực quan quan trọng nhất trên một bức ảnh. Các hệ tra cứu ảnh nổi tiếng nhƣ QBIC, Netra, VisualSEEK cho thấy việc sử dụng thuộc tính màu sắc là tốt nhất. Nghiên cứu thuộc các ngành tâm lý học và nghệ thuật đều đã chứng tỏ rằng sự hiện diện và phân bố màu sắc đem lại cảm giác và mang chuyển ý nghĩa đến cho ngƣời quan sát một cách hiệu quả nhất. Phƣơng pháp phân tích màu phổ biến nhất là dùng Histogram. Histogram màu phản ánh sự phân bố mang tính thống kê, hay sự ghép nối xác suất các cƣờng độ của 3 kênh màu. Histogram màu đƣợc tính toán qua việc thống kê rời rạc màu sắc trong phạm vi ảnh và đếm số lƣợng của các điểm ảnh theo mỗi màu. Nhân tố về màu sắc nhìn chung mô tả điểm ảnh trong không gian màu 3 chiều. Trƣớc khi xây dựng nên histogram, không gian màu thƣờng đƣợc định hƣớng chuyển đổi thành một số không gian màu đồng nhất chẳng hạn nhƣ hệ HSV (hue, saturation,value). Hue mô tả bƣớc sóng thực của màu sắc nhận thức qua tri giác, saturation (độ bão hoà) chỉ ra lƣợng ánh sáng trắng trong sắc màu và value (giá trị) là độ sáng biểu thị cƣờng độ của sắc màu. 1.2.1.1. Histogram Histogram là thống kê về điểm ảnh, nó mô tả đặc trƣng về mật độ của ảnh. Histogram cung cấp thông tin về độ tƣơng phản và cƣờng độ phát tán nói chung trên một bức ảnh. Nó đơn giản là một đồ thị thanh về mật độ các điểm ảnh. Cƣờng độ sáng điểm ảnh đƣợc vẽ dọc theo trục x và số lƣợng các điểm ảnh cho mỗi giá trị cƣờng độ sáng thể hiện trên trục y. 0 cho thấy một ví dụ về histogram của một bức ảnh đơn giản. Ảnh sẫm màu có histogram phân tán lệch về phía trái, ảnh sáng hơn sẽ cho ta histogram phân tán lệch về phía phải. Một ảnh lý tƣởng, sự phân bố điểm ảnh trên histogram là đồng đều. Một số thao tác trên Histogram vẫn thƣờng dùng trong xử lý ảnh có thể đƣợc áp dụng cho việc xác định độ đo cho ảnh nhƣ sau. 11
  12. 6 4 4 3 3 5 4 4 3 3 4 3 4 1 2 3 2 0 1 2 3 1 1 2 3 4 5 6 7 Image Pixel intensity Hình 1.3. Ảnh và histogram của ảnh Histogram cân bằng Histogram cân bằng hoá hay phép cân bằng histogram là một trong những xử lý quan trọng trong một phần mềm về bất cứ công việc xử lý ảnh nào. Để cải thiện độ tƣơng phản tức là nhằm đạt đƣợc một histogram đồng đều cho ảnh chính là mục đích của việc cân bằng histogram. Kỹ thuật này có thể sử dụng trong toàn bộ bức ảnh hoặc có thể chỉ trên phạm vi một phần nhỏ của bức ảnh. Cân bằng histogram sẽ không có nghĩa là “san bằng” ảnh. Nó chỉ có nghĩa là phân bố lại mật độ ảnh. Nếu nhƣ histogram của bất cứ một ảnh nào có nhiều các đỉnh và các vũng, nó sẽ vẫn giữ nguyên các đỉnh và vũng sau khi cân bằng, nhƣng các đỉnh và vũng lúc này đã đƣợc dịch chuyển. Vì vậy, dùng khái niệm “dàn trải” sẽ là tốt hơn dùng khái niệm “san bằng” để mô tả cho cân bằng histogram. Do cân bằng histogram là việc xử lý điểm, quá trình xử lý không đƣa thêm giá trị cƣờng độ mới vào trong ảnh. Các giá trị đã có sẽ đƣợc ghép với các giá trị mới nhƣng số lƣợng thực sự về các giá trị cƣờng độ trong bức ảnh kết quả sẽ vẫn bằng hoặc ít hơn so với số lƣợng về giá trị cƣờng độ trong bức ảnh ban đầu. Các thao tác chính khi cân bằng histogram: + Tính toán histogram + Tính toán chuẩn hoá tổng của các histogram + Biến đổi ảnh vào thành ảnh kết quả 12
  13. Bƣớc đầu tiên là đếm mỗi giá trị khác nhau của các điểm ảnh trong ảnh. Ta có thể bắt đầu với một mảng các số 0. Với điểm ảnh 8-bit, kích cỡ của một mảng là 256 phần tử (0-255). Phân tích ảnh và tăng mỗi phẩn tử mảng tƣơng ứng với mỗi điểm ảnh khi xét đến. Bƣớc thứ 2 đòi hỏi một mảng khác để lƣu tổng của tất cả các giá trị histogram. Trong mảng này phần tử 1 sẽ lƣu tổng histogram của các phần tử 1 và 0. Phần tử 255 sẽ lƣu tổng histogram của các phần tử 255, 254, , 1, 0. Mảng này sau đó sẽ đƣợc chuẩn hoá bằng cách nhân mỗi phần tử với giá trị tính: = giá trị điểm ảnh lớn nhất/tổng số các điểm ảnh. (Chẳng hạn ảnh 8-bit cỡ 512x512 sẽ có giá trị đó là 255/262144). Kết quả của bƣớc 2 cho ta một ảnh LUT mà ta có thể sử dụng để chuyển dịch vào ảnh ban đầu. 0 cho thấy bƣớc 2 và 3 của tiến trình xử lý và ảnh kết quả. Từ tổng chuẩn hoá trong 0(a) ta có thể xác định các giá trị ánh xạ bằng cách làm tròn tới giá trị nguyên gần nhất. 0 sẽ ghép với 0; 1 sẽ ghép với 1; 2 sẽ ghép với 2; 3 sẽ ghép với 5 Cân bằng histogram cho phép các chi tiết rõ ràng hơn trong vùng tối. Trong một số trƣờng hợp ngƣời ta thực hiện cân bằng histogram trên tất cả các bức ảnh trƣớc khi tiến hành các thao tác xử lý ảnh khác. Thực tế đó không nên thực hiện việc làm này khi mà chất lƣợng của các bức ảnh đã cho là tốt. Sử dụng đúng lúc, cân bằng histogram có thể là một công cụ rất mạnh. Hình 1.4. (a) Ảnh gốc; (b) Histogram gốc; (c) Ảnh cân bằng ; (d) Histogram cân bằng 13
  14. Histogram đặc tả Cân bằng hoá histogram xấp xỉ tới một histogram đồng nhất. Khi một histogram đồng nhất không mang lại kết quả nhƣ ý muốn, hoặc có lúc ta muốn làm sáng hoặc tối một ảnh hoặc ta cần một ảnh có độ tƣơng phản tốt hơn. Thay đổi này có thể thực hiện thông qua histogram đặc tả. Để có đƣợc Histogram đặc tả, ngƣời ta dùng các thông số đầu vào là histogram và ảnh gốc và nó đƣợc thực hiện theo 2 bƣớc đơn giản nhƣ sau: Đầu tiên bức ảnh ban đầu đƣợc tính histogram cân bằng. Sau đó tính histogram nghịch đảo của histogram cân bằng. Khi tính nghịch đảo của histogram cân bằng đòi hỏi phải sinh đƣợc ảnh LUT sau đó tính biến đổi nghịch đảo cho LUT. Biến đổi nghịch đảo đƣợc tính bằng cách phân tích các đầu ra của LUT. Đầu ra gần nhất đối với đầu vào cụ thể sẽ là giá trị nghịch đảo. 1.2.1.2. Moment màu Môment màu đƣợc sử dụng rất thành công trong rất nhiều hệ tra cứu ảnh (chẳng hạn nhƣ hệ QBIC, đặc biệt khi mà ảnh bao gồm chỉ các đối tƣợng). Các thành phần của môment màu bao gồm: + thứ nhất : trung vị (mean) + thứ hai : biến trạng (variance) + thứ ba : độ lệch (skewness) của môment màu Các thành phần này tỏ ra rất có hiệu quả trong việc thể hiện sự phân bố màu sắc của ảnh. Về mặt toán học, 3 thành phần môment đầu tiên đƣợc định nghĩa nhƣ sau: 1 N i f ij N j 1 N 1 1 2 2 i ( ( f ij i ) ) N j 1 N 1 1 3 3 si ( ( f ij i ) ) N j 1 14
  15. trong đó f ij là giá trị của thành phần màu thứ i của điểm ảnh j, và N là số các điểm ảnh của ảnh. Thông thƣờng môment màu thể hiện tốt hơn nếu nó đƣợc xác định bởi cả không gian L*u*v* và L*a*b*. Ngƣợc lại không gian HSV chỉ đơn độc sử dụng môment thành phần thứ ba có thể làm tăng hiệu năng tra cứu so với việc sử dụng chỉ môment thành phần thứ nhất và thứ hai. Tuy nhiên, môment thành phần thứ ba này đôi khi tạo ra các đặc trƣng quá nhạy cảm đối với sự thay đổi cảnh quan và vì vậy làm giảm hiệu năng. Do chỉ có 9 con số (3 môment cho mỗi trong số 3 thành phần màu) đƣợc dùng để thể hiện màu cho ảnh nên các thành phần môment thể hiện khá cô đọng so với các đặc trƣng khác của màu. Do tính cô đọng nhƣ vậy, nó có thể hạ thấp hơn mức năng lƣợng nhận biết. Thông thƣờng các môment màu đƣợc dùng trong quá trình tiền nghiên cứu trƣớc khi sử dụng các đặc tính phức tạp khác về màu sắc cho quá trình tra cứu. 1.2.1.3. Vectơ gắn kết màu Đây là cách để tích hợp thêm các thông tin về tƣơng quan không gian vào trong histogram màu (CCV – color coherence vectors). Mỗi bin màu trong histogram đƣợc phân đoạn thành 2, một phần là gắn kết (các điểm ảnh mang tính mạch lạc) – nó thuộc về một vùng màu rộng lớn đồng nhất, phần kia là không gắn kết (thiếu mạch lạc). Gọi i , i tƣơng ứng là số các điểm ảnh gắn kết và không gắn kết trong bin màu i thì vector gắn kết màu CCV của ảnh sẽ là ( 1 , 1 ),( 2 , 2 ), , ( N , N ) và nên nhớ rằng ( 1 1 ),( 2 2 ), , ( N N ) chính là histogram màu của ảnh. Do tích hợp đƣợc thêm các thông tin về tƣơng quan không gian nên vector gắn kết màu hiệu quả hơn so với histogram màu trong việc tra cứu ảnh, đặc biệt là đối với những ảnh có màu sắc hoặc cấu trúc chủ đạo (tính đồng nhất cao). 1.2.1.4. Tƣơng quan màu Tƣơng quan màu đƣợc dùng để mô tả đặc trƣng không chỉ về sự phân bố màu của các điểm ảnh mà nó còn mô tả tƣơng quan không gian của từng cặp điểm ảnh. Thành phần thứ nhất và thứ hai trong histogram ba chiều mô tả màu sắc của mọi cặp điểm ảnh, thành phần thứ ba mô tả khoảng cách tƣơng quan giữa chúng. Một vector tƣơng quan màu là một bảng chỉ số về các cặp màu, trong đó số của cặp (i,j) là xác suất tìm một điểm màu j với khoảng cách k tới điểm màu i trong ảnh. Với 15
  16. ảnh I, gọi I c(i) là tập các điểm ảnh của I có màu c(i) thì tƣơng quan màu đƣợc định nghĩa nhƣ sau: (k ) i, j Pr P2 I c( j) | P1 P2 | k P1 Ic(i ) ,P2 P2 I trong đó i, j 1,2, , N , k 1,2, , d và | P1-P2| là khoảng cách giữa điểm P1 và P2. Nếu tính cho kết hợp tất cả các cặp màu thì vector tƣơng quan màu sẽ rất lớn (O(N2d)). Trong thực tế ngƣời ta sử dụng phiên bản tƣơng quan gọi là vector màu tƣơng quan tự động, nó chỉ xét đến tƣơng quan không gian của những điểm nhất định và do đó giảm đƣợc độ lớn xuống còn (O(Nd)). So với histogram màu và vector gắn kết màu CCV thì vector tƣơng quan màu cho kết quả tốt hơn trong tra cứu nhƣng tính toán thì lại phức tạp hơn. 1.2.2. Độ đo thuộc tính hình dạng Hình dạng của đối tƣợng là một ảnh nhị phân thể hiện hình dáng của đối tƣợng. Nhận thức thị giác và hiểu biết của con ngƣời về đối tƣợng tập trung nhiều vào thuộc tính hình dạng, các đặc trƣng về hình dạng đóng một vai trò quan trọng trong việc nghiên cứu quá trình phân tích nội dung ảnh. Trƣớc kia ngƣời ta coi hình dạng bao gồm bộ của mảng hai chiều, mang đầy đủ thông tin vùng miền, sau này thể hiện hình dạng theo hình dáng đƣờng nét ngoài (đƣờng biên). Xác định các độ đo dựa trên hình dáng đƣờng biên ngoài này thƣờng cho các vector ngắn gọn hơn và do đó các thuật toán tìm kiếm sau đó cũng đơn giản hơn, tuy nhiên nếu xét về khía cạnh nội dung cũng nhƣ hiệu quả cho các phép tra cứu thì chúng không tốt bằng. Theo góc độ phân loại trên, việc xác định độ đo nội dung thuộc tính hình dạng sẽ tiếp cận theo hai hƣớng tƣơng ứng là cơ sở vùng và cơ sở biên. 1.2.2.1. Cơ sở vùng Đo các đặc tính hình học cơ bản Việc mô tả các tính chất hình học của vùng có thể đƣa ra đƣợc các độ đo tính chất các điểm ảnh thuộc phạm vi trong vùng xét đến. Các đặc tính đó là: Vùng: Có thể đo đƣợc bằng cách đếm số điểm trong vùng. 16
  17. Đƣờng viền chữ nhật: Là hình chữ nhật nhỏ nhất gần đúng với đối tƣợng. Tỉ lệ hình dạng: Là sự thay đổ về tỉ lệ của đối tƣợng, do nó đƣợc tính là tỉ lệ giữa chiều rộng trên chiều dài của hình chữ nhật. Độ tròn Độ tròn còn gọi là dáng tròn, đƣợc định nghĩa: trong đó P là chu vi của đƣờng biên và A là diện tích của vùng. Độ cô đọng: Tƣơng quan độ tròn định nghĩa ở trên. Nó đƣợc định nghĩa nhƣ là tỉ lệ của chu vi hình tròn trên chu vi thực của đối tƣợng: Độ dãn dài: Đƣợc định nghĩa nhƣ là tỉ lệ giữa bình phƣơng chu vi với diện tích. Độ lồi: Một khoảng lồi là phần lồi tối thiểu bao bọc đƣợc đối tƣợng. Nó có thể đƣợc hình dung nhƣ là một miếng ruybăng co dãn đƣợc bao bọc vòng quanh đối tƣợng. Độ lồi có thể vì vậy đƣợc định nghĩa là tỉ lệ của đƣờng kính của vỏ lồi trên chu vi thực của đối tƣợng: Tỉ số trục chính: 17
  18. Các trục chính đƣợc định nghĩa là duy nhất là các đoạn thẳng giao vuông góc với nhau tại trung tâm của đối tƣợng. Độ dài của các trục chính là bằng eigenvalues λ1,2 của ma trận đồng khả năng C. Độ biến dạng tròn: Mô tả hình dạng tròn đến mức độ nào. Tỉ lệ cân xứng hay sai số đối với hình tròn hay độ tròn đƣợc định nghĩa là: trong đó là bán kính trung bình, pi = (xi, yi) là điểm biên thứ i , là tâm của vùng và N là số các điểm trên đƣờng biên. Độ elip: Là mở rộng của độ biến dạng tròn, nó cho thấy độ kéo dãn dài của hình dạng, tức là hình elip điền khít có ma trận đồng khả năng C và đo sai số khớp evar: trong đó Các thuộc tính hình học đƣợc sử dụng rộng rãi trong tra cứu ảnh. Các bộ mô tả đơn giản, chẳng hạn nhƣ là đo diện tích và độ lệch tâm, với trọng số hàm khoảng cách Euclidean đƣợc dùng trong QBIC. Các bộ mô tả hình dạng đơn giản rất mạnh trong việc xử lý nhiễu và thƣờng cũng rất mạnh đối với việc thể hiện hƣớng, góc quay và tỉ lệ. Hơn nữa các thuộc tính hình dạng thƣờng rất dễ tính toán và kết quả cho ta là các vector ngắn gọn. Tuy nhiên các bộ mô tả này thƣờng không ổn định, do nhận biết về sự thay đổi không đáng kể trong hình dạng có thể dẫn đến kết quả là những thay đổi lớn về tín hiệu trong một số bộ mô tả. Đo các môment bất biến Cho hàm 2D liên tục f(x,y), môment của (p+q) đƣợc định nghĩa: 18
  19. Môments mpq là duy nhất đƣợc định nghĩa theo hàm hình dạng f(x,y), và môments mpq là đủ để tái cấu trúc lại hàm miền ban đầu f(x,y). Nói cách khác, mô tả hình dạng trên cơ sở môment chính là việc duy trì bảo tồn thông tin. Môment trung tâm đƣợc định nghĩa: trong đó xc=M10(R)/M00(R) và yc=M01(R)/M00(R) xác định trung tâm của vùng lớn (trọng tâm) và R là vùng quan tâm đến. Nếu f(x,y) là ảnh số , thì Mpq sẽ là: Đó chính là yếu tố quan trọng để bộ mô tả hình dạng có thể là bất biến với tỉ lệ, chuyển vị và góc quay. Tuy nhiên một chuẩn hoá định nghĩa về môment là cần thiết: Một bộ môment 7 bất biến có thể đƣợc dẫn xuất ra từ các môment chuẩn hoá thứ tự thứ 2 và thứ 3 nhƣ sau: 19
  20. Các môment này là bất biến với sự thay đổi về chuyển dịch, góc quay và tỉ lệ. Ƣu điểm chính khác nữa là ảnh không cần phải đƣợc phân mảnh thứ tự nhằm mô tả hình dạng. Các môment bất biến có thể có đƣợc bằng cách tích hợp trực tiếp từ giá trị cƣờng độ thực sự của ảnh (f(x,y)). Do ƣu thế đó của các môment bất biến, chúng đã đƣợc dùng trong các hệ CBIR chẳng hạn nhƣ QBIC. 1.2.2.2. Cơ sở biên Đƣờng biên đƣợc hiểu là đƣờng viền của đối tƣợng. Khi đi từ vùng miền của đối tƣợng này sang vùng miền của đối tƣợng khác sẽ gặp biên giữa hai đối tƣợng. Nhận diện hai đối tƣợng dựa trên sự khác biệt về độ sáng của màu sắc giữa hai đối tƣợng, tại ranh giới giữa hai đối tƣợng luôn có sự biến đổi đột ngột về độ sáng. Do đó, hầu hết các thuật toán dò biên sẽ đều phải dựa trên đặc điểm qui định đƣờng biên này. Đƣờng biên thể hiện hình dạng đối tƣợng. Thông thƣờng có 2 bƣớc để thể hiện đƣờng biên. Đầu tiên, một hàm 1D đƣợc xây dựng để tham số hóa đƣờng viền của hình dạng 2D. Sau đó cấu trúc hàm 1D đó đƣợc dùng để trích ra vector các đặc trƣng mô tả hình dạng của đối tƣợng. Mã vòng (chain code) Mã vòng đƣợc dùng để thể hiện đƣờng biên bằng một thứ tự kết nối chiều dài và hƣớng của các đoạn thẳng. Thƣờng thì nó đƣợc dựa trên 4 hoặc 8 liên kết của các đoạn. Tạo ra các mã vòng dùng tất cả các cặp điểm ảnh sẽ dẫn đến hai bất lợi. Một là mã vòng đạt đƣợc sẽ dài, và thứ hai là sự nhiễu loạn trên đƣờng biên có thể dẫn đến thay đổi mã. Tuy nhiên có một cách để tránh những vấn đề này là tái tạo lại đƣờng biên qua việc lựa chọn không gian lƣới lớn hơn. Mã vòng của biên phụ thuộc vào điểm bắt đầu. Mã có thể chuẩn hoá dễ dàng bằng cách sử dụng một số hàm dƣới đây. Mã vòng đƣợc coi nhƣ là chuỗi vòng các con số và điểm bắt đầu đƣợc xác định lại sao cho chuỗi thu đƣợc có biên độ nguyên tối thiểu. Tuy nhiên cách chuẩn hoá chỉ chính xác khi và chỉ khi đƣờng biên là bất biến với sự thay đổi của góc quay và tỉ lệ. Hàm mô tả Fourier (FD) Đƣờng biên của đối tƣợng có thể đƣợc biểu diễn nhƣ là thứ tự của các trục u(k)=[x(k), y(k)], với k = 0, 1, 2, , K-1. Hơn thế nữa mỗi cặp trục có thể đƣợc coi nhƣ là một bộ số phức để cho: 20
  21. Hàm biến đổi rời rạc Fourier (DFT) của u(k) và nghịch đảo của nó đƣợc viết nhƣ sau: trong đó K là số các mẫu đƣờng biên và M(n) là độ lớn của các ký hiệu mô tả Fourier. Các hệ số phức F(n) đƣợc gọi là các hàm mô tả Fourier của đƣờng biên. Thay tất cả F(n) và chỉ dùng hệ số đầu tiên M, dẫn đến kết quả sau: Mặc dù chỉ có M là đƣợc dùng để tính đƣợc mỗi phần tử của û(k), k vẫn trong phạm vi từ 0 tới K-1. Điều đó có nghĩa là cùng với một số các điểm tồn tại trong biên xấp xỉ, nhƣng có ít hơn các điểm cần cho việc tái cấu trúc cho mỗi điểm. Bởi thực tế các thành phần tần số cao tính toán cho các chi tiết nhỏ mịn và các thành phần tần số thấp xác định hình dáng tổng thể, M càng nhỏ thì các chi tiết càng khuyết hơn trên đƣờng biên. Ƣu điểm chính của FD là ở chỗ nó dễ dàng ứng dụng, khá tốt đối với nhiễu và bất biến đối với các biến đổi hình học. Theo công thức trên, phƣơng pháp mô tả Fourier không có hiệu quả trong tra cứu độ tƣơng quan. Lý do có thể là do cảm nhận về tần số qua thị giác của con ngƣời là không đƣợc rõ ràng. Một nhƣợc điểm khác với FD đƣợc thấy ở chỗ: các hàm cơ bản là các hàm sin tổng quát, nó có thể đƣa ra sai số về vị trí ở các hệ số cụ thể nào đó, vấn đề này xảy ra khi thực hiện tra cứu đối với các ảnh có vùng che khuất. Xấp xỉ đa giác Nhƣ đã đề cập, thị giác của con ngƣời chia đối tƣợng bằng cách phát hiện các đƣờng biên nơi có biến đổi cao về cƣờng độ sáng. Việc xấp xỉ đƣờng biên bởi các đƣờng thẳng liên kết các điểm cong cao (HCP) đảm bảo đầy đủ các thông tin cần 21
  22. thiết cho việc nhận dạng thành công hình dạng. Vì vậy việc xấp xỉ đa giác của đƣờng biên tại các điểm cong cao thu đƣợc các thông tin hình dạng một cách hiệu quả trong một số lĩnh vực, nó có thể đƣợc ứng dụng trong kỹ thuật nhận dạng hình dạng dựa trên biến đổi Wavelet cực đại module. 1.2.3. Độ đo thuộc tính cấu trúc bề mặt Mặc dù không có định nghĩa chính thức về cấu trúc bề mặt, nhƣng có một số trực giác về đặc điểm của cấu trúc bề mặt, có thể tạm hiểu khái niệm này nhƣ là các biến đổi vùng của nền ảnh về cƣờng độ mang tính lặp đi lặp lại và nhìn nhận chung đó là cấu trúc bề mặt. Cấu trúc bề mặt là thuộc tính vùng, định nghĩa nó phải bao hàm giá trị độ xám trong không gian kề cận. Kích cỡ của xung quanh phục thuộc vào kiểu của cấu trúc hoặc kích cỡ cơ sở xác định nên cấu trúc. Cấu trúc bề mặt bao gồm cả sự phân bố không gian của mức xám và do đó histogram 2D hoặc ma trận đồng khả năng đều có thể là các công cụ tốt để phân tích cấu trúc bề mặt. Có một số đặc tính, chẳng hạn nhƣ độ thô, độ tƣơng phản, độ định hƣớng đóng vai trò quan trọng trong việc mô tả cấu trúc. Độ đo độ thô (kích cỡ trung bình của vùng có cùng cƣờng độ), độ đo độ tƣơng phản (phụ thuộc vào sự biến thiên về histogram mức xám) và độ định hƣớng cho ta hƣớng chính của cấu trúc bức ảnh. Phân tích cấu trúc bề mặt là rất quan trọng bởi vì cấu trúc bề mặt là rất hữu ích trong các ứng dụng nhƣ kiểm duyệt tự động, xử lý ảnh trong y học, phán đoán từ xa, tự động dò tìm, đánh giá độ tƣơng quan. Trong các nghiên cứu từ trƣớc đến nay, ngƣời ta đƣa ra một số đặc tính cho khái niệm cấu trúc trên cở sở phân chia thành các nhóm nhƣ: đặc tính về không gian, đặc tính về tần số, đặc tính trên cơ sở môment 1.2.3.1. Các phƣơng pháp không gian Ma trận đồng khả năng Ban đầu, ma trận đồng khả năng mức xám (GLCM) đƣợc Haralick giới thiệu cho phép ƣớc lƣợng các thuộc tính ảnh liên quan đến các thống kê mức thứ cấp, nó tính đến việc sắp xếp không gian theo các mức xám cơ bản. Mỗi đầu vào (i,j) trong GLCM tƣơng ứng với số các sự kiện của cặp mức xám mức i và j chính là khoảng cách d trong ảnh gốc. Các thống kê về xác suất cùng xảy ra đƣợc dùng để đặc trƣng hoá các thuộc tính của vùng cấu trúc. Hàm tƣơng quan tự động Một đặc tính quan trọng của cấu trúc bề mặt là tính lặp đi lặp lại tự nhiên của các phần tử cấu trúc. Hàm tƣơng quan tự động của ảnh có thể đƣợc dùng để đánh giá chỉ số độ hạt và đƣợc coi là độ mịn và độ thô của bề mặt. Nếu nhƣ bề mặt là thô 22
  23. thì hàm tƣơng quan tự động sẽ giảm chậm theo khoảng cách; ngƣợc lại nó sẽ giảm rất nhanh. Công thức về hàm tƣơng quan tự động của ảnh I(x,y) đƣợc định nghĩa nhƣ sau: trong đó x,y là vị trí khác nhau trên các hƣớng u,v và M,N là kích thƣớc của ảnh. Phân mảnh Kích cỡ phân mảnh (fractal) có thể đƣợc đo bởi độ nhám bề mặt. Trƣớc tiên chúng ta định nghĩa một thuyết phân số nhằm giới thiệu một số khái niệm cơ bản. Tính tự tƣơng quan theo tỷ lệ trong hình học đƣợc coi là một khái niệm chính. Một phân mảnh nguyên tố đƣợc xác định nhƣ sau: Nếu A đƣợc bao bọc trong không gian Euclidean n chiều, A đƣợc gọi là tự tƣơng quan khi A là liên kết của N các mảnh khác biệt của chính nó, mỗi trong chúng đƣợc nén xuống với tỉ lệ r. Kích cỡ phân mảnh D liên quan đến N và tỉ lệ r: Có một số phƣơng pháp để ƣớc lƣợng kích cỡ phân mảnh D. Hai phƣơng pháp đƣa ra ở đây mô tả nhƣ sau: Giả sử rằng ta đang tính kích cỡ phân mảnh của một ảnh A. Gọi P(m,L) là xác suất mà m điểm trong hình chữ nhật dài L trọng tâm tại một điểm bất kỳ trên bề mặt A. Gọi M là tổng số điểm ảnh của ảnh. Khi phủ ảnh bởi các hình vuông kích cỡ dài L thì (M/m)P(m,L) là số các hộp có m điểm bên trong. Số các hình hộp cần để phủ một ảnh là: -D Giá trị của N(L) là cân xứng với L và do đó nó có thể đƣợc dùng để tính toán kích cỡ phân mảnh D. Tuy nhiên, kích cỡ phân mảnh tự nó không đủ để sao chụp tất cả các thuộc tính cấu trúc bề mặt. Bởi vậy ngƣời ta còn đƣa ra một độ đo khác gọi là lacunarity để phân biệt giữa tính mịn và thô của cấu trúc có cùng kích cỡ phân mảnh. 23
  24. 1.2.3.2. Phƣơng pháp tần số Phổ năng lƣợng Giải pháp cho phƣơng pháp cơ sở tần số là phân chia ảnh thành tập các khối không chồng đè ( nxn khối) sau đó tính toán phổ năng lƣợng cho từng khối này. Độ lớn cực đại của phổ có thể dùng để làm tham số cho mô hình các thuộc tính của cấu trúc. Mỗi mẫu hình có chu kỳ nhất định trong vùng không gian ban đầu đƣợc thể hiện bởi một đỉnh (peak) trong phổ năng lƣợng. Với các ảnh mà các mẫu không theo chu kỳ hoặc ngẫu nhiên thì việc xác định đƣợc đỉnh của phổ sẽ không đơn giản. Phân tích hàm bƣớc sóng Gabor có thể đồng thời xác định tiềm năng của cả phạm vi không gian và tần số. Việc giải mã bƣớc sóng Gabor có thể đồng thời xác định tiềm năng của vùng không gian và vùng tần số. Cách xác định này cho thấy có thể tối ƣu trong nhận thức về tính tối thiểu của liên kết hai chiều không chắc chắn trong không gian và tần số. Hàm Gabor đƣợc dùng là phần cơ bản trong chuẩn MPEG-7, nó sử dụng “Bộ mô tả duyệt qua dấu trúc” và “Bộ mô tả cấu trúc thuần nhất”. Nhƣ tâm lý học lôgic cho thấy, hệ trực quan của con ngƣời phân tích các ảnh cấu trúc theo kiểu giải mã ảnh thành các ảnh lọc, mỗi trong chúng có sự thay đổi về cƣờng độ sáng khi qua các vùng tần số hẹp có độ định hƣớng thấp. Tuy nhiên phƣơng pháp lọc đa kênh là xu hƣớng của trực giác bởi vì nó cho phép chúng ta khám phá tính định hƣớng và kích cỡ trội khác nhau. Bộ lọc Gabor đã đƣợc dùng trong một số ứng dụng phân tích ảnh nhƣ phân chia cấu trúc, dò tìm khuyết tật, nhận dạng khuôn mặt, giám sát máy móc và tra cứu ảnh. Nghiên cứu thêm về hàm Gabor ta thấy, hàm Gabor là một hàm Gausian điều chỉnh số mũ phức tạp. Nói chung, một hàm Gabor g(x,y) dạng 2D và biến đổi Fourier G(u,v) của nó có thể đƣợc viết nhƣ sau: 24
  25. trong đó W đại diện cho tần số của hàm Gabor. Hằng số không gian σ và σ x y xác định hình bao Gausian dọc theo trục x và y. Có thể xác định σ =1/(2πσ ) và u x σ =1/(2πσ ). Một lớp các hàm tự tƣơng quan liên quan đến bƣớc sóng Gabor đã v y đƣợc dùng trong việc tra cứu ảnh sẽ. Biểu thức tính g(x,y) trên gọi là bƣớc sóng mẹ, kho bộ lọc tự tƣơng quan có thể có đƣợc bằng cách giãn nở xấp xỉ và phép quay cho g(x,y) qua hàm sinh: m, n = integer -m trong đó θ=nπ/K và K là số các hƣớng. Thừa số a cho thấy năng lƣợng không phụ thuộc vào m. 1.2.3.2. Phƣơng pháp moment Xác định độ đo qua phƣơng pháp môment Trong phƣơng pháp cơ sở môment, các đặc trƣng có đƣợc trực tiếp từ hàm mức xám f(x,y) qua bƣớc tính các môment ảnh trong phạm vi các vùng cục bộ. Các thành phần môment thứ (p+q) của hàm 2 biến f(x,y) đối với thành phần gốc đƣợc xác định theo biểu thức (*). Gọi (i,j) là toạ độ điểm ảnh đã tính môment. Một cửa sổ độ rộng W, các chiều đƣợc chuẩn hoá trong phạm vi [-1,1] và toạ độ chuẩn hóa (xm, yn) đƣợc cho bởi: Các môment trong phạm vi cửa sổ trung tâm tại điểm (i,j) đƣợc tính toán bởi xấp xỉ tổng rời rạc sử dụng toạ độ chuẩn (xm, yn): Do tính toán rời rạc của các tập môment đối với điểm ảnh đã cho trên cửa sổ hình chữ nhật xác định, phép tính đó tƣơng ứng với toán tử lân cận và nó có có thể xem giống nhƣ việc nhân chập với một mặt lạ. Dƣới đây là các mặt lạ tƣơng ứng với các môment với kích cỡ cửa sổ là 3: 25
  26. Trƣớc khi tính toán các môment, tỉ lệ cần phải đƣợc lựa chọn bằng cách chọn kích cỡ của cửa sổ. Nếu chọn kích cỡ của sổ càng lớn thì các đặc trƣng đƣợc trích chọn càng tổng thể hơn. Ảnh với dấu hiệu cấu trúc rộng hơn sẽ đòi hỏi kích cỡ cửa sổ lớn hơn trong khi các cấu trúc mịn hơn sẽ có đƣợc từ các cửa sổ nhỏ hơn. Tập các giá trị cho mỗi môment trên ảnh đƣa vào có thể đƣợc coi nhƣ một ảnh đặc trƣng mới. Tuy nhiên chỉ các môment không thôi thì không đủ để tạo ra đƣợc các đặc trƣng cho một ảnh nhất định. Một số nghiên cứu đã đề xuất sử dụng một bộ chuyển đổi không tuyến tính để ghép các môment với các đặc trƣng cấu trúc. Chẳng hạn hàm lƣợng giác tan có thể đƣợc dùng cho việc chuyển đổi không tuyến tính, nó chuyển các ảnh môment Mk với thành phần trung vị thành các ảnh đặc trƣng cấu tƣơng ứng. Phép chuyển đổi có thể viết nhƣ sau: trong đó N là số lƣợng điểm ảnh trong cửa sổ Wi,j, (i,j) là trung tâm của cửa sổ và σ điều khiển hình dạng của hàm lôgíc. Môment Zernike Sử dụng hàm cơ bản Zernike để thay thế hàm cơ bản không trực giao chúng ta sẽ có đƣợc cách xác định các môment Zernike trực giao thành phần n và sự lặp lại l: trong đó Vnl(x,y) là hàm cơ bản Zernike của thành phần thứ n và sự lặp lại l: trong đó (ρ,θ) là toạ độ cực của (x,y), n = 0, 1, 2, , ∞, và l lấy các giá trị dƣơng và âm tuỳ theo trạng thái. 26
  27. Chƣơng 2: MỘT SỐ KỸ THUẬT ĐÁNH GIÁ ĐỘ TƢƠNG QUAN Các mô hình độ tƣơng quan về ảnh đều có thể nghiên cứu dựa trên bài toán tra cứu ảnh trong một tập ảnh cho trƣớc. Bài toán yêu cầu đƣa ra kết quả là bảng xếp hạng về độ đo tính tƣơng quan của tập ảnh so với ảnh tra cứu. Với bài toán này, chúng ta sẽ tiến hành nghiên cứu một số kỹ thuật đánh giá độ tƣơng quan dựa trên những mô hình tiêu biểu dƣới đây. 2.1. Mô hình không gian vector VSM Trong mô hình này, nội dung mỗi ảnh đƣợc trích chọn thành vector đặc trƣng, cơ sở dữ liệu ảnh là cơ sở dữ liệu lƣu trữ các vector đặc trƣng. Phần lớn các đặc trƣng của ảnh đều có thể đƣợc xác định qua histogram (color histogram, texture histogram, invariant feature histogram, local feature histogram, gabor feature histogram). Trong mô hình không gian vector, các histogram đƣợc chuẩn hoá tức là các bin có giá trị tới hạn là 1. Từ trƣớc đến nay, trong các bài toán tính toán độ tƣơng quan giữa 2 ảnh dựa trên histogram, việc sử dụng chuẩn l1 có dạng N 1 | h ( j) h ( j) | trong đó phép tổng đƣợc tính trên tất cả các bin, luôn cho kết j 0 1 2 quả tốt. Vì dạng chuẩn đƣợc định nghĩa là không gian vector cho nên chúng đƣợc đặt cái tên là mô hình không gian vector (VSM). 2.1.1. Phép so sánh histogram 2.1.1.1. So sánh ngang các bin histogram (bin-by-bin) Việc so sánh histogram (vector đặc trƣng ảnh) theo kiểu bin-by-bin thƣờng đƣợc tính toán nhanh chóng bởi phép so sánh chỉ tính đến độ lớn của bin mà không tính đến vị trí của bin. Hình 2.1. cho thấy nếu so sánh kiểu bin-by-bin thì phép so sánh histogram của hình a) và b) so với của a) và c) là tƣơng quan nhau, song về trực quan rõ ràng là độ tƣơng quan của hình a) và b) lớn hơn so với a) và c) – (xét trên góc độ đây là histgram màu của ảnh xám chẳng hạn). 27
  28. Hình 2.1. Độ tƣơng quan giữa a) và b) phải lớn hơn giữa b) và c) Độ tƣơng quan qua histogram đồng nhất (histogram intersection) Nhƣ ta đã biết, dựa vào không gian màu của ảnh, histogram của ảnh đƣợc xác định bằng cách tách biệt các màu sắc của ảnh theo các thành phần màu sắc (3 thành phần màu sắc trên hệ 3 chiều) và đếm số lƣợng có đƣợc từ ảnh của các màu này. Vì vậy, màu của bức ảnh đƣợc ánh xạ tới không gian màu gồm bộ n màu. Histogram màu của một ảnh I là một véc tơ n chiều H i ( j) , trong đó mỗi phần tử đại diện cho tần suất xuất hiện của màu j trong ảnh I . Phép chỉ số hoá màu sắc cho phép nhận dạng ảnh hoặc các thành phần ảnh dựa trên sự phân bố histogram màu của các điểm ảnh, Swain và Ballard giới thiệu phƣơng pháp đối sánh histogram và gọi là histogram intersection. Cho cặp histogram H(I) và H(I') của các ảnh I và I' tƣơng ứng, mỗi trong chúng gồm n bin. Histogram intersection định nghĩa nhƣ sau: n H (I) H (I') min(H j (I),H j (I')) j 1 Với hai ảnh, giá trị của histogram intersection càng lớn thì độ tƣơng quan của hai ảnh càng cao. Một số nghiên cứu thêm cho thấy rằng, hiệu quả của phƣơng pháp histogram intersection chịu ảnh hƣởng của các yếu tố nhƣ: hệ màu lựa chọn là gì và số lƣợng bin màu chọn là bao nhiêu. Với lựa chọn hệ RGB, cách xây dựng công thức đánh giá độ tƣơng quan của một cặp ảnh nhƣ sau: Gọi I R , I G , I B là các histogram màu chuẩn hoá của một ảnh trong cơ sở dữ liệu và tƣơng ứng QR ,QG ,QB là các histogram màu chuẩn hoá của ảnh dùng để tra cứu. Độ tƣơng quan giữa 2 ảnh trên là SHI C (I,Q) đƣợc tính theo công thức sau: 28
  29. min(I R (r),QR (r)) min(I G (g),QG (g)) min(I B (b),QB (b)) SHI (I,Q) r g b C min(| I |,| Q |) *3 Lƣu ý rằng giá trị đo độ tƣơng quan trên nằm trong khoảng [0,1]. Nếu các histogram I và Q là nhƣ nhau thì rõ ràng giá trị trên là 1. Rõ ràng rằng, nếu một trong 2 ảnh trên nằm trong ảnh còn lại thì giá trị độ tƣơng quan cũng sẽ là 1. Độ tƣơng quan qua khoảng cách Minkowski Nếu mỗi chiều của vector đặc trƣng của ảnh phụ thuộc vào chiều khác và cùng đóng vai trò quan trọng nhƣ nhau thì khoảng cách Minkowski sẽ xấp xỉ cho tính toán khoảng cách giữa hai ảnh. Khoảng cách này đƣợc định nghĩa là: P 1/ P D(I, J) ( | f i (I) f i (J) | ) i khi p 1,2 và thì D(I, J) là các khoảng cách L1 , L2 (cũng còn gọi là khoảng cách Euclidean) và L tƣơng ứng. Độ tƣơng quan qua khoảng cách Euclidean Khoảng cách Euclidean đƣợc dùng nhƣ là độ đo tính toán khoảng cách giữa các vector đặc trƣng, nó chính là dạng đặc biệt của khoảng cách Minkowski (p=2) thƣờng đƣợc sử dụng phổ biến để tính toán độ tƣơng quan giữa hai ảnh. Mô tả phƣơng pháp này, chúng ta lấy lại ví dụ tra cứu ảnh ở phần trƣớc. Gọi I R , I G , I B là các histogram màu chuẩn hoá của một ảnh trong cơ sở dữ liệu và tƣơng ứng QR ,QG ,QB là các histogram màu chuẩn hoá của ảnh dùng để tra cứu. Độ tƣơng quan giữa 2 ảnh I và Q theo phƣơng pháp Euclidean là SEDC (I,Q) đƣợc tính theo công thức sau: 2 2 2 (I R (r) QR (r)) (I G (g) QG (g)) (I B (b) QB (b)) SED (I,Q) 1.0 r g b C 2 *3 Lƣu ý rằng giá trị đo độ tƣơng quan trên cũng nằm trong khoảng [0,1] và nếu các histogram và là nhƣ nhau thì rõ ràng giá trị trên sẽ là 1. 29
  30. 2.1.1.2. So sánh chéo các bin histogram (cross-bin) Độ tƣơng quan qua khoảng cách toàn phƣơng (QF) Khoảng cách Minkowski coi tất cả các bin màu trong histogram hoàn toàn độc lập và thực tế không tính đến các cặp bin nhất định tƣơng ứng với các đặc trƣng mà đƣợc xác nhận là có tính tƣơng quan hơn cặp bin khác. Khoảng cách toàn phƣơng là cách để giải quyết vấn đề này, nó đƣợc định nghĩa nhƣ sau: T D(I, J ) (FI FJ ) A(FI FJ ) trong đó A [ai, j ] là ma trận độ tƣơng quan, và ai, j biểu thị độ tƣơng quan giữa bin i và bin j. FI , FJ là các vector mà liệt kê tất cả các đầu vào dạng f I (I) và f i (J ) . Khoảng cách toàn phƣơng đƣợc dùng trong rất nhiều hệ tra cứu ảnh dựa trên việc tra cứu theo màu sắc, histogram. Nó có thể đƣa ra kết quả về trực quan tốt hơn so với khoảng cách Euclidean và histogram intersection khi chúng ta tính đến độ tƣơng quan về màu sắc. Độ tƣơng quan qua khoảng cách Mahalanobis Tính toán đo khoảng cách Mahalanobis sẽ là thích hợp khi mỗi chiều trong vector đặc trƣng của ảnh phụ thuộc vào các chiều khác và chiều đó là khá khác biệt. Nó đƣợc định nghĩa nhƣ sau: T 1 D(I, J ) (FI FJ ) C (FI FJ ) trong đó C là ma trận đồng khả năng của các vector đặc trƣng. Khoảng cách Mahalanobis có thể đƣợc làm đơn giản hơn nếu các chiều đặc trƣng là độc lập. Trong trƣờng hợp này, chỉ có một sự thay đổi của một thành phần đặc trƣng C i đƣợc tính đến: N D(I, J ) (F F ) 2 / c i 1 I J i Độ tƣơng quan qua khoảng cách Earth Movers EMD Phƣơng pháp EMD là phƣơng pháp ƣớc lƣợng độ khác biệt giữa hai phân bố đa chiều thuộc không gian các đặc trƣng trong đó độ đo khoảng cách giữa các đặc 30
  31. trƣng đơn lẻ đã biết trƣớc (còn gọi là khoảng cách nền). EMD “nâng” khoảng cách này từ các đặc trƣng riêng biệt thành các phân bố đầy đủ. Về mặt trực quan, cho trƣớc hai phân bố, một có thể coi nhƣ một khối đất dàn trải đều trong không gian, phần kia nhƣ một loạt các lỗ hổng và chúng cùng trong một không gian. Gọi EMD là số đo khối lƣợng tối thiểu công việc để lấp đầy đất vào các lỗ hổng. Khi đó một đơn vị khối lƣợng công việc tƣơng đƣơng với việc dịch chuyển một đơn vị đất trên một đơn vị khoảng cách “nền”. Một phân bố có thể đƣợc coi là một tập các cụm mà mỗi cụm đƣợc đặc trƣng bởi các tính chất (phƣơng thức) của chính nó và bởi các phần tử của phân bố cùng cụm. Ta gọi đó là ký số của phân bố. Hai ký số có thể có kích cỡ khác nhau, các phân bố đơn giản có ký số ngắn hơn các phân bố phức tạp. Tính toán EMD dựa trên cách giải quyết nổi tiếng cho bài toán vận chuyển. Giả sử có một số nhà cung cấp, mỗi nhà cung cấp có một lƣợng hàng nhất định, họ có nhiệm vụ phải cung cấp hàng cho các nhà tiêu dùng. Mỗi nhà tiêu dùng chỉ có thể chứa một lƣợng hàng nhất định. Mỗi cặp nhà cung cấp – tiêu dùng xác định đƣợc trƣớc giá thành vận chuyển của một đơn vị hàng. Yêu cầu của bài toán ở đây là tìm ra luồng phân phối hàng có chi phí rẻ nhất từ các nhà cung cấp tới các nhà tiêu dùng đảm bảo đáp ứng đƣợc hết các nhu cầu tiêu dùng. Việc khớp đúng các ký số có ý nghĩa tƣơng quan nhƣ bài toán vận chuyển hàng bằng cách coi một ký số là phía nhà cung cấp và một ký số khác là phía nhà tiêu dùng, sau đó đặt giá thành vận chuyển của một cặp cung cấp - tiêu dùng này bằng khoảng cách nền giữa một phần tử trong ký số thứ nhất và một phần tử trong ký số thứ hai. Rõ ràng rằng lời giải sẽ đƣa ra kết quả khối lƣợng “việc” tối thiểu đòi hỏi đề vận chuyển hàng từ ký số vào ký số kia. Ta có thể công thức hoá nhƣ sau: Gọi P (p1,wp1 ), ,(pm ,wpm ) là ký số thứ nhất với m cụm, trong đó pi ,wpi tƣơng ứng là cụm và trọng số của cụm i. Q (q1,wq1 ), ,(qn ,wqn ) là ký số thứ hai với n cụm và D [dij ] là ma trận khoảng cách nền với dij là khoảng cách nền giữa cụm pi và q j . Ta cần xác định luồng F [ fij ] với fij là luồng giữa và có giá thành tối thiểu: m n WORK (P,Q, F) fij dij i 1 j 1 31
  32. thoả mãn các ràng buộc sau: fij 0 với 1 i m,1 j n n f ij w pi với 1 i m j 1 m fij wqi với 1 j n i 1 m n m n fij min wpi , wqj i 1 j 1 i 1 j 1 Ràng buộc thứ nhất cho phép chỉ có dịch chuyển “cung” từ P sang Q và không có chiều ngƣợc lại. Hai ràng buộc tiếp theo giới hạn số lƣợng hàng có thể gửi từ các cụm trong P không thể lớn hơn trọng số của nó và các cụm trong Q cũng không thể nhận số hàng nhiều hơn trọng số của nó. Ràng buộc cuối cùng bắt buộc phải vận chuyển số hàng lớn nhất có thể. Ta gọi lƣợng hàng này là tổng luồng vận chuyển. Khi giải đƣợc bài toán ta sẽ tìm ra đƣợc luồng tối ƣu F, khoảng cách EMD đƣợc xác định theo chuẩn hoá khối lƣợng công việc và theo tổng luồng: m n f d i 1 j 1 ij ij EMD(P,Q) n n f i 1 j 1 ij 2.1.1.3. Phép so sánh qua giá trị điểm ảnh Trong nhận dạng đối tƣợng, đôi khi ngƣời ta dùng so sánh trực tiếp giá trị điểm ảnh trên các ảnh với nhau. Hiện nay phƣơng pháp này đã đƣợc sử dụng trong một số hệ tra cứu ảnh. Độ tƣơng quan qua khoảng cách Euclidean Hầu hết các tiếp cận theo hƣớng so sánh ảnh trực tiếp đều sử dụng khoảng cách Euclidean hoặc các khoảng cách thuộc nhóm khoảng cách Minkowski (nhƣ ta đã biết, khoảng cách Euclidean là trƣờng hợp đặc biệt của khoảng cách Minkowski). Để có thể so sánh ảnh dùng khoảng cách Euclidean, trƣớc hết sử dụng các thuật toán co dãn để chuẩn hoá kích cỡ cho ảnh. Có thể nhận thấy rằng đây chính là thao tác trừ ảnh có trong xử lý ảnh. 32
  33. Độ tƣơng quan qua khoảng cách đƣờng tiếp tuyến Các đối tƣợng trong ảnh thƣờng bị tác động bởi một số các phép toán biến đổi nhƣ biến dạng, dịch chuyển, co dãn, phép xoay. Phƣơng pháp khoảng cách Euclidean không thể dùng đƣợc khi tính tới các biến đổi này. Phƣơng pháp khoảng cách đƣờng tiếp tuyến đƣợc Keysers và Macherey đề xuất nhằm tổng hợp các bất biến đối với các phép biến đổi trên vào trong một hệ thống phân loại. Ở đây tính bất biến mang ý nghĩa là nó không làm thay đổi phân loại lớp của ảnh, tức là khi xét độ đo khoảng cách thì nó không đƣợc lớn. Hình 2.2. Khoảng cách đƣờng tiếp tuyến Một ảnh x R IxJ bị biến đổi (chẳng hạn co dãn hoặc xoay) bởi một hàm biến đổi t(x, ) tuỳ thuộc vào không gian tham số L : RL (chẳng hạn nhƣ độ co dãn, hoặc góc xoay). Tập của tất cả các mẫu biến đổi theo không gian L bây giờ bao gồm ^ L IxJ các bản sao M x t(x, ) : R R trong không gian mẫu. Khoảng khác biệt giữa hai mẫu có thể đƣợc xác định là khoảng cách tối thiểu giữa các bản sao M x của mẫu x và các bản sao M của lớp mẫu , nó thực sự mang tính bất biến trên không gian biến đổi L: d(x, ) min | t(x, ) t( , ) |2 , R L Tuy nhiên việc tính toán khoảng cách này có độ phức tạp phi tuyến tính, hơn nữa các bản sao xét đến nói chung không có biểu thức giải tích mô tả. Để giải quyết ^ vấn đề này, các bản sao có thể đƣợc xấp xỉ bởi một không gian con tiệm cận M . Vector tiệm cận xl tiệm cận không gian con và là đạo hàm từng phần của phép biến đổi t(x, ) theo tham số l , tức là xl t(x, ) / l . Do đó phép biến đổi có thể đƣợc xấp xỉ bởi hàm mở rộng Taylor xung quanh 0 : 33
  34. L L 2 t(x, ) x l xl ( l ) l 1 l 1 Chúng ta thu đƣợc thành phần xấp xỉ thứ nhất của Mx : ^ L L IxJ M x x l xl : R R l 1 ^ Việc tính toán trên xấp xỉ M có lợi là tính đƣợc khoảng cách theo phƣơng pháp bình phƣơng tối thiểu. Độ phức tạp tính toán của phép tính là chấp nhận đƣợc. Phép xấp xỉ là thoả với giá trị là nhỏ. 2.2. Mô hình Vector 2.2.1. SVM SVM (Support Vector Machine) đƣợc xây dựng dựa trên khái niệm mặt phẳng quyết định hay đƣờng biên quyết định. Một mặt phẳng quyết định sẽ phân tách một tập các đối tƣợng bao gồm nhiều phần tử thành các lớp khác nhau. Trong ví dụ 0 các đối tƣợng sẽ thuộc hoặc lớp màu xanh (nhạt), hoặc lớp màu đỏ (đậm). Đƣờng thẳng phân chia các đối tƣợng màu đỏ nằm bên trái, màu xanh nằm bên phải gọi là đƣờng quyết định. Hình 2.3. Phân lớp tuyến tính Trên đây là một ví dụ điển hình cho việc phân lớp tuyến tính, tức là đƣờng phân lớp có dạng đƣờng thẳng. Tuy nhiên, phần lớn các bài toán lại không đơn giản nhƣ vậy, cấu trúc tập đối tƣợng phức tạp hơn (0) dẫn đến đƣờng phân lớp phức tạp hơn và rõ ràng rằng trong trƣờng hợp này đòi hỏi phải dùng đƣờng có nhiều đoạn cong để phân lớp. Việc phân lớp bằng cách vẽ ra các đƣờng phân chia tập đối tƣợng thành các lớp đƣợc hình dung nhƣ là các siêu phẳng phân lớp, khi đó SVM đặc biệt phù hợp cho việc giải quyết công việc này. 34
  35. Hình 2.4. Phân lớp phi tuyến tính Hình 2.4. diễn tả cho thấy ý tƣởng của SVM. Phần bên trái là mô tả sơ đồ tập các đối tƣợng ban đầu (phía bên trái - không gian đầu vào). Sử dụng một số các hàm toán học, đƣợc biết nhƣ là các hàm nhân, để sắp xếp lại các đối tƣợng giống nhƣ phép ánh xạ hay còn gọi là phép biến đổi. Trong tập đối tƣợng mới, các đối tƣợng (phía bên phải) có thể đƣợc phân tách bằng phân lớp thẳng thay vì phải dùng phân lớp cong phức tạp (nhƣ phía bên trái). Phần công việc còn lại chỉ là tìm ra đƣờng thẳng tối ƣu để phân chia các đối tƣợng thành 2 lớp màu đỏ và màu xanh. Hình 2.5. Ý tƣởng cho mô hình SVM Mô tả toán học của mô hình SVM nhƣ sau: Ban đầu một tập dữ liệu không thể phân lớp tuyến tính đƣợc, biểu diễn dƣới dạng vector x trong không gian R n , giả sử tìm đƣợc ánh xạ phi tuyến tính từ không gian R n vào không gian R m , với m>n: : R n R m Khi đó vector xi trong không gian sẽ tƣơng ứng với vector (xi ) trong không gian và điều cơ bản là trong không gian này, tập các vector có thể phân lớp tuyến tính đƣợc. Thay các giá trị của bởi (xi ) trong không gian ta đƣợc bài toán OP2 (bài toán đối ngẫu), các tích vô hƣớng xi .x j sẽ đƣợc thay thế bởi (xi ). (x j ) . Tuy 35
  36. nhiên việc tính toán trực tiếp (xi ) là rất phức tạp, nhƣng tích vô hƣớng (xi ). (x j ) m trong không gian R có thể tính đƣợc nếu tìm đƣợc hàm nhân (Kernel) K(xi , x j ) : K(xi , x j ) (xi ). (x j ) Việc xác định hàm nhân K có một số điều kiện ràng buộc và việc lựa chọn nó nhƣ thế nào tất nhiên sẽ ảnh hƣởng đến kết quả vector siêu phẳng thu đƣợc. 2.2.2. SVM trong kỹ thuật tra cứu ảnh Xét bài toán phân lớp một tập các vector đặc trƣng ảnh (mỗi vector đặc trƣng là một ảnh) thành hai lớp: N (xi , yi ) i 1 , yi 1/ 1 trong đó x i là ảnh đầu vào thứ i, yi là nhãn; +1, -1 tƣơng ứng đại diện cho phân lớp mẫu dƣơng và phân lớp mẫu âm. Nếu tập các vector mẫu đầu vào này có thể phân lớp tuyến tính thì siêu phẳng có thể xác định từ phƣơng trình: T w x b 0 trong đó w là vector trọng số, b là hệ số nghiêng. Mục đích của SVM là xác định tham số w0 và b0 cho siêu phẳng để cực đại hóa khoảng cách giữa siêu phẳng với các phần tử gần nhất: T w x b 1 với yi 1 T w x b 1 với yi 1 36
  37. Hình 2.6. Tối ƣu hoá siêu phẳng cho phân lớp tuyến tính Hình 2.6. là một ví dụ về phân lớp tuyến tính trong không gian 2D (vector đặc trƣng ảnh chỉ gồm hai thành phần). Đây là một bài toán tìm siêu phẳng tối ƣu nên nó thƣờng đƣợc giải quyết theo các mô hình mạng nơron. Dựa trên chức năng phân lớp, ta có thể ứng dụng SVM trong việc phân loại ảnh, điều đó hàm nghĩa đánh giá độ tƣơng quan của ảnh. Khi áp dụng cho các ứng dụng ảnh, vector phần tử đầu vào cũng nhƣ các vector huấn luyện chính là các vector đặc trƣng nội dung của mỗi bức ảnh. Khoảng cách từ phần tử x đến siêu phẳng tối ƣu đƣợc định nghĩa: T | w0 x b0 | d(w0 ,b0 , x) || w0 || Khoảng cách trên là định lƣợng để đánh giá phần tử x thuộc về một phân lớp. Về mặt trực quan thấy rằng phần tử thuộc một phân lớp mà càng cách xa siêu phẳng thì chúng càng có độ khác biệt lớn so với phân lớp còn lại. Vì vậy, đối với các phần tử nhƣ thế thì khi huấn luyện ta nên chọn giá trị trọng số lớn hơn (miền giá trị của trọng số thƣờng đƣợc chuẩn hoá, chẳng hạn từ 10-100). Thƣờng thì quan hệ giữa khoảng cách trên đối với vector trọng số là hàm tuyến tính nhƣng nó cũng có thể mở rộng ra thành quan hệ thành hàm phi tuyến. Thực tế trong lĩnh vực về ảnh đã có nhiều ứng dụng dùng SVM trong việc đánh giá độ tƣơng quan. Dƣới đây là một ứng dụng tra cứu ảnh trong đó nội dung đƣợc trích chọn dựa trên các đặc tính màu sắc và kết cấu. 37
  38. Hình 2.7. Tra cứu ảnh chỉ dựa trên phản hồi mẫu dƣơng Hình 2.7. chỉ ra 20 kết quả từ truy vấn một ảnh mang nội dung là bông hoa trên nền cây xanh, các kết quả đƣợc sắp xếp theo thứ tự từ trái sang phải, từ trên xuống dƣới. Phƣơng pháp này chỉ sử dụng cách truy cứu phản hồi mẫu dƣơng, số lƣợng mẫu dƣơng là 4 bao gồm các ảnh (1, 2, 3 và 6). Hình 2.8. đƣa ra kết quả của phép tra cứu dựa trên phƣơng pháp sử dụng SVM. Vẫn sử dụng 4 mẫu dƣơng trên, ngoài ra chọn thêm 4 mẫu âm mà một trong các mẫu đó là mẫu (19) ở 0, 3 mẫu còn lại không nhìn thấy trên hình. 2 mẫu dƣơng (3 và 6) và 2 mẫu âm đƣợc lựa chọn là vector hỗ trợ (support vector), các trọng số sẽ đƣợc chọn dựa trên tính toán khoảng cách đầu ra của máy huấn luyện SVM. Mẫu ảnh (1) trong 0 có khoảng cách tới siêu phẳng lớn nhất, chúng đƣợc gán giá trị trọng số lớn nhất là 100. Các mẫu (3 và 6) trong 0 đƣợc lựa chọn là vector hỗ trợ nên đƣợc gán giá trị trọng số nhỏ nhất là 10. Kết quả cho thấy số lƣợng các ảnh có bông hoa trên nền cây xanh đƣợc tìm thấy là nhiều hơn. 38
  39. . Hình 2.8. Tra cứu ảnh dựa trên SVM 2.3. Mô hình k-phần tử kề cận (k-NN) 2.3.1. Thuật toán k-NN Xét không gian n chiều R n . Khái niệm các phần tử kề cận đƣợc mô tả trong chuẩn hình học Euclidean (khoảng cách giữa các điểm trong không gian n chiều). Cụ thể hơn, nếu x thuộc thì nó sẽ đƣợc mô tả bởi vector đặc trƣng a1 (x),a2 (x), , an (x) trong đó ar (x) là giá trị của đặc trƣng thứ r của x. Khi đó khoảng cách giữa hai điểm xi và x j đƣợc qua công thức: n 2 d(xi , x j ) ar (xi ) ar (x j ) r 1 Trong cách học huấn luyện các phần tử kề cận, hàm mục tiêu có thể là rời rạc hoặc cũng có thể là liên tục. Hàm rời rạc sẽ có dạng f : R n V trong đó V v1 ,v2 , , vs là tập hữu hạn và là không gian thực n chiều. Khi đó thuật toán k-phần tử kề cận hay viết tắt là thuật toán k-NN đƣợc mô tả nhƣ sau: 39
  40. Huấn luyện: Với mỗi mẫu x, f (x) , đƣa mẫu vào tập ví dụ huấn luyện. Phân lớp: Cho phần tử xq cần đƣợc phân lớp. Bƣớc 1: Xét danh sách x1.x2 , , xk là k phần tử thuộc tập ví dụ huấn luyện mà gần nhất với . Bƣớc 2: Thực hiện ^ k f (xq ) arg max (v, f (xi )) v V i 1 1 if (a b) trong đó , (argmax là hàm cực đại) 0 if (a b) Đối với hàm liên tục, thuật toán tƣơng quan nhƣ vậy ngoại trừ ở bƣớc 2 sẽ đƣợc thay thế bằng biểu thức: k f (x ) ^ i f (x ) i 1 q k 0 là một ví dụ về tập không gian Euclidean 2 chiều, trong đó: A=(1,6), B=(4,3) khi đó khoảng cách giữa A và B đƣợc xác định: d(A, B) (4 1)2 (3 6)2 4,24 40
  41. Hình 2.9 Khoảng cách Euclidean trong không gian 2D Hình 2.10. 1-NN và 2-NN Dựa vào cách tính khoảng cách giữa 2 điểm thì việc phân lớp (tra cứu) phần tử xq trong tập {A, B, C, D} theo thuật toán k-NN đƣợc mô tả trong 0. Với k=1 ta có 1- NN đƣợc biểu diễn bởi hình tròn nhỏ; k=2 ta có 2-NN đƣợc biểu diễn bằng hình tròn lớn (2 vòng tròn này đồng tâm tại ). 41
  42. 2.3.2. k-NN trong so khớp điểm ảnh Sử dụng khoảng cách trọng số k NN . Để xếp hạng cho ảnh i đã chúng ta xác định các ảnh này từ 2 bộ ảnh dƣơng (P) và âm (N) mà theo đó k phần tử láng giềng kề cận của i (kề cận nhất đƣợc xác định theo chuẩn l1 ). Sử dụng các phần tử láng giềng này chúng ta xác định độ khác biệt: dist 1 (i, n) d(i) n N dist 1 (i, P) p P Trong thực tế, ngƣời ta cộng một lƣợng nhỏ vào khoảng cách có trong công thức để tránh phép chia cho 0. Trong tất cả thực nghiệm số k đƣợc chọn là 5, số các ảnh tích cực và không tích cực tƣơng ứng đƣợc chọn là 4 và 10. Hình 2.11. So khớp các điểm “quan trọng” (matching) Hãy xem Hình 2.11, chúng ta đã có đƣợc tập các điểm ảnh quan trọng, ý tƣởng nảy sinh ở đây là cần thiết phải “so khớp các đỉnh góc tƣơng quan từ một cặp ảnh cùng cảnh nhằm đạt đƣợc một thể hiện 3D của khung cảnh”. Công việc này đƣợc thực hiện đƣợc bằng cách dựa vào tính ràng buộc cục bộ của các điểm ảnh lân cận. Cặp điểm sẽ “khớp” đƣợc với nhau nếu tất cả các điểm lân cận xung quanh nó từng cặp cũng khớp với nhau, đồng thời phải thoả thêm bộ điều kiện là có sự tƣơng quan nhau từng cặp về khoảng cách và tỉ lệ khoảng cách (Hình 2.12). 42
  43. Hình 2.12. Mô tả điều kiện có thể “ghép đúng” đƣợc theo 3 phần tử kề cận 43
  44. Chƣơng 3: CHƢƠNG TRÌNH THỬ NGHIỆM 3.1. Bài toán Trong bối cảnh kinh tế phát triển hiện nay, số lƣợng các doanh nghiệp, công ty ngày càng nhiều. Hàng ngày luôn có các hồ sơ xin đăng ký cấp giấy phép mở mới công ty và kèm theo đó là việc đăng ký lôgô cho hoạt động thƣơng mại của công ty. Bài toán đặt ra là phải kiểm tra xem mẫu lôgô mà công ty đƣa ra đăng ký có phải là một mẫu mới hay không, hay nó có gần giống (tƣơng quan) với mẫu lôgô của một doanh nghiệp hay công ty nào đó đã đăng ký trƣớc rồi hay không? Giả thiết là trƣớc khi đi đến công đoạn kiểm tra tính tƣơng quan này, lôgô đó đã đƣợc qua các khâu kiểm tra đảm bảo không vi phạm tính pháp lý, nói cách khác phạm vi của bài toán chỉ trong giới hạn đi sâu về mặt phân tích nội dung dựa trên các đặc trƣng thuần tuý có trên bức ảnh lấy có trong các thuộc tính màu sắc, hình dạng, cấu trúc Mô tả một cách đầy đủ cho bài toán ở đây sẽ là “xây dựng một chƣơng trình phần mềm quản lý việc đăng ký mới cho một mẫu lôgô thƣơng mại bằng cách liệt kê và hiển thị ra màn hình khoảng 20 mẫu lôgô trong cơ sở dữ liệu về lôgô đã đăng ký trƣớc, đƣợc sắp xếp theo thứ tự giảm dần về độ tƣơng quan tính dựa trên nội dung trực quan của ảnh lôgô để ngƣời dùng kiểm tra lại lần cuối trƣớc khi đi đến kết luận có cho đăng ký hay từ chối đối với mẫu lôgô đƣa ra đó. Nếu việc đăng ký cho phép, lôgô mới đƣợc nhập vào cơ sở dữ liệu của các lôgô đã đăng ký.” 3.2. Xây dựng chƣơng trình 3.2.1. Lựa chọn môi trƣờng OS: Windows XP Ngôn ngữ: Visual C++ 6.0 3.2.2. Phân tích về lôgô Theo nhìn nhận trực quan về ảnh của lôgô nói chung thì 2 yếu tố thuộc tính là màu sắc và hình dạng mang nhiều thông tin hơn so với các thuộc tính khác nhƣ cấu 44
  45. trúc bề mặt, tƣơng quan không gian Cả 2 thuộc tính này đề mang các thông tin dàn trải trên toàn bộ lôgô (tính tổng thể). Do đó việc trích chọn vector đặc trƣng sẽ đƣợc ấn định là dùng bộ mô tả vector đặc trƣng tổng thể (descriptor of global feature) dựa trên màu sắc và hình dạng. Nội dung phong phú và đa dạng của lôgô đòi hỏi chƣơng trình phải ổn định trƣớc những biến đổi về góc xoay, tỉ lệ co giãn (các bất biến về hình dạng). Để đảm bảo cho các bất biến này thì phƣơng pháp chung trong việc trích chọn màu sắc và hình dạng là dùng histogram. Ngoài ra kích cỡ của lôgô cũng cần đƣợc qui chuẩn trƣớc, chẳng hạn sử dụng kích thƣớc chuẩn chung là 256x256 điểm ảnh. Hệ màu sử dụng lựa chọn hệ RGB. 3.2.3. Đánh giá độ tƣơng quan về lôgô 3.2.3.1. Trích chọn các đặc trƣng cho lôgô Trích chọn màu sắc theo histogram Với kích thƣớc của ảnh là 256x256 và bộ màu RGB (3 kênh màu) thì có thể lựa chọn số bin mỗi kênh màu là 16, tức là ta sẽ chia giải giá trị từ 0 – 255 thành 16 phân đoạn tƣơng ứng với 16 bin, giá trị kênh màu thuộc phân đoạn nào thì sẽ thuộc bin đó. Trích chọn hình dạng theo histogram Để tính đƣợc histogram hình dạng của lôgô, trƣớc tiên phải xác định biên cho các đối tƣợng trên ảnh lôgô. Hiện nay có rất nhiều các thuật toán dò biên mà mỗi thuật toán dựa trên các phƣơng pháp riêng. Trƣớc khi ảnh đƣa vào dò biên ngƣời ta đều biến đổi ảnh về ảnh mức xám. Ở đây ta lựa chọn thuật toán Canny edge. 3.2.3.2. So sánh độ đo tƣơng quan giữa các cặp lôgô Có thể dùng một trong các phƣơng pháp tính toán khoảng cách nhƣ Euclidean, Mahalanobis, đặc biệt là ở bƣớc xây dựng vector đặc trƣng chúng ta đã sử dụng phƣơng pháp histogram trên các thuộc tính màu sắc và hình dạng thì cách tính toán độ tƣơng quan theo histogram Euclidean đã giới thiệu trong chƣơng trƣớc sẽ là sự lựa chọn đầu tiên. Lựa chọn 1- độ đo tƣơng quan qua histogram intersection Nhƣ đã giới thiệu trong chƣơng trƣớc, giả sử ta đã có các thành phần I R , I G , I B là các histogram màu chuẩn hoá của một ảnh ảnh lôgô có trong cơ sở dữ liệu và 45
  46. tƣơng ứng ta phải tính các thành phần QR ,QG ,QB là các histogram màu chuẩn hoá của ảnh lôgô đƣa vào kiểm tra. Độ tƣơng quan giữa 2 ảnh lôgô là SHI C (I,Q) đƣợc tính theo công thức sau: min(I R (r),QR (r)) min(I G (g),QG (g)) min(I B (b),QB (b)) SHI (I,Q) r g b C min(| I |,| Q |) *3 Các giá trị đo độ tƣơng quan nằm trong khoảng [0,1]. Lựa chọn 2 - độ đo tƣơng quan qua khoảng cách Euclidean Tƣơng quan theo phƣơng pháp Euclidean độ tƣơng quan giữa 2 ảnh lôgô là SEDC (I,Q) đƣợc tính theo công thức sau: 2 2 2 (I R (r) QR (r)) (I G (g) QG (g)) (I B (b) QB (b)) SED (I,Q) 1.0 r g b C 2 *3 Và giá trị đo độ tƣơng quan cũng nằm trong khoảng [0,1] 3.2.4. Một số kết quả Lựa chọn các tham số Vào menu Image Retrieval -> Method’s Option (0) Các tham số lựa chọn bao gồm: + Similarity Method: Lựa chọn phƣơng pháp đo độ tƣơng quan cho màu sắc và hình dạng. + Các lựa chọn cho tra cứu theo: By Color (màu sắc), By Shape (hình dạng), By Both (màu sắc và hình dạng) + Top N Result: N số kết quả hiển thị (có độ tƣơng quan lớn nhất) + Kích cỡ ảnh chuẩn: Widht (rộng), Height (cao) + Threshold: giá trị ngƣỡng cho phép biến đổi ảnh xám + Canny: các tham số cho việc thực hiện dò biên theo thuật toán Canny (xem phần thuật toán Canny) Cách sử dụng chƣơng trình và một số kết quả 46
  47. Thứ tự trình bày các màn hình dƣới đây chỉ rõ các bƣớc sử dụng chƣơng trình và một số màn hình kết quả. Vào menu Image Retrieval -> Method’s Option Hình 3.1. Màn hình lựa chọn các tham số cho chƣơng trình Hình 3.2. Màn hình lựa chọn menu mở file ảnh lôgô đƣa vào tra cứu 47
  48. Hình 3.3. Màn hình hiển thị ảnh lôgô đƣa vào cùng histogram màu và hình dạng Hình 3.4. Lựa chọn menu Image Retrieval -> By Color (tra cứu theo màu sắc) 48
  49. Hình 3.5. Màn hình hiển thị kết quả 10 ảnh lôgô gần giống nhất theo màu sắc Hình 3 6. Lựa chọn menu Image Retrieval -> By Shape để tra cứu theo hình dạng 49
  50. Hình 3.7. Màn hình hiển thị kết quả 10 ảnh lôgô gần giống nhất theo hình dạng 50
  51. PHẦN KẾT LUẬN Mô tả nội dung của ảnh đúng nhƣ trực quan cảm nhận của con ngƣời thông qua tri giác thực sự là mong muốn của ngành khoa học máy tính hiện nay. Đây là một chủ đề lớn và tƣơng đối rộng, tất cả các khía cạnh của nó đều đã đƣợc quan tâm nghiên cứu trong các dự án, các công trình khoa học. Với cùng mối quan tâm nhƣ trên, nội dung bản đồ án đã nhấn mạnh đến 2 vấn đề chính nhƣ sau: Một là: tìm hiểu về các phƣơng pháp trích chọn đặc tính dựa trên các thuộc tính của ảnh bao gồm màu sắc, hình dạng, cấu trúc làm cơ sở để mô tả nội dung của ảnh. Tiêu chí chung trong cách trích chọn các đặc tính là bám sát vào thực tế nhận thức tri gác của con ngƣời đối với đối tƣợng ảnh. Kết quả của phép trích chọn này đƣợc mô tả dƣới dạng các vector đặc trƣng ngắn gọn phù hợp với việc lƣu trữ - khai thác thông tin đứng trên góc độ quản trị một cơ sở dữ liệu về hình ảnh. Hai là: tìm hiểu và giới thiệu một số mô hình đánh giá độ tƣơng quan hiện đã và đang đƣợc giới khoa học nghiên cứu ứng dụng. Nhìn chung về bản chất các kỹ thuật đánh giá - so sánh độ tƣơng quan hay độ khác biệt đều dựa trên các hàm đánh giá ƣớc lƣợng về “khoảng cách” giữa 2 vector đặc trƣng mô tả nội dung của 2 bức ảnh. Tuy nhiên, cũng nhƣ nhiều vấn đề khác, để đƣa vào ứng dụng thực tế thì không có phƣơng pháp nào là tuyệt đối. Trên cơ sở các kiến thức tìm hiểu đƣợc em đã phát triển một chƣơng trình ứng dụng để tra cứu quản lý ảnh lôgô thƣơng mại, tuy rằng hiện mới chỉ dừng lại ở góc độ trình diễn cho các nghiên cứu đã tiến hành, song cũng mong muốn nếu có điều kiện phát triển, có thể trở thành sản phẩm thực sự mang tính thƣơng mại. 51
  52. TÀI LIỆU THAM KHẢO [1]. Đỗ Năng Toàn, Phạm Việt Bình (2008), Giáo trình xử lý ảnh – ĐH Thái Nguyên, Nhà xuất bản KH&KT, 2008. [2]. Mari Partio, “Content-based Image Retrieval using Shape and Texture Attributes”, Master of Science Thesis,Tampere University of Technology, April 2002. [3]. S. M. Lee, J. H. Xin, S. Westland, “Evaluation of Image Similarity by Histogram Intersection”, Hong Kong Polytechnic University, January 2005. [4]. Konstantinos G. Derpanis, “The Harris Corner Detector”, kosta@cs.yorku.ca, October 2004. [5]. Anil K. Jain, Aditaya Vailaya, “Image retrieval using color and shape”, Department of Computer Science Michigan State University East Lansing, May 1995. [6]. V. Gouet N. Boujemaa, “Object-based queries using color points of interest”, Valerie.Gouet@inria.fr, Nozha.Boujemaa@inria.fr, April 2001. [7]. Chaur-Chin Chen, Hsueh-Ting Chu, “Similarity Measurement Between Images”, Department of Computer Science National, Tsing Hua University, Taiwan, 2003. [8]. Norio Katayama and Shin’ichi Satoh, “Similarity Image Retrieval with Significane-Sensitive Nearest-Neighbor Search”, National Institute of Informatics, 2004. [9]. Pengyu Hong, Qi Tian, Thomas S. Huang, “Incorporate Support Vector Machine to Content-Based Image Retrieval With Relevant Feedback”, IFP Group, Beckman Institute - University of Illinois at Urbana-Champaign, Urbana, USA, 2000. [10]. Kerry Rodden, Wojciech Basalaj,David Sinclair, Kenneth Wood, “A comparison of measures for visualising image similarity”, University of Cambridge Computer Laboratory. [11]. Pinar Duygulu, “Interest Points”, Computer Vision, Bilkent University, Spring 2006. 52