Nhiệm vụ của hệ thống nhận dạng biển báo là xử lý tự động thông tin từ các ảnh để tìm ra độ tương tự giữa các biển báo và đưa ra quyết định về tính đồng nhất giữa chúng. Cấu trúc của hệ thống nhận dạng biển báo được thể hiện như hình

• Tiền xử lý (Pre-Processing): Chức năng này để chuẩn hóa ảnh cần tìm giúp cho việc tìm kiếm được hiệu quả hơn. Các công việc trong bước tiền xử lý có thể là: Chuẩn hóa kích cỡ giữa ảnh trong CSDL và ảnh cần tìm, hiệu chỉnh độ sáng, tối của ảnh, lọc nhiễu.
• Tách biển báo: Chức năng này làm nhiệm vụ xác định vị trí, kích cỡ của một hoặc nhiều biển báo trên ảnh chụp từ đó tách ra phần biển báo. Phần biển báo được tách ra thường nhỏ hơn nhiều so với ảnh chụp ban đầu, nó sẽ là các biển báo cần tìm và chức năng trích chọn đặc trưng sẽ sử dụng các ảnh được tách ra này.
• Trích chọn đặc trưng: Tìm ra các đặc trưng chính của ảnh biển báo, từ các đặc trưng này hình thành các vector đặc trưng, các vector này sẽ được sử dụng để đối sánh sự giống nhau giữa ảnh biển báo cần tìm và ảnh biển báo trong CSDL.
• Đối sánh (Comparison): Thực hiện việc so sánh giữa các vector đặc trưng để chọn ra độ tương tự giữa ảnh cần tìm và ảnh trong CSDL.

Hệ thống nhận dạng biển báo cần đảm bảo các yêu cầu:

• Độ chính xác nhận dạng có thể chấp nhận được đối với yêu cầu của bài toán nhận dạng.
• Tốc độ vận hành cao đối với các CSDL lớn và số lượng các yêu cầu có thể giải quyết được.
• Đơn giản trong việc cài đặt, lựa chọn thiết bị và vận hành. An toàn với người sử dụng.