1. ĐẶT VẤN ĐỀ

Trong nhiều thập kỷ qua, giao tiếp giữa con người và máy tính chủ yếu dựa trên các phương thức truyền thống như bàn phím, chuột, giao diện dòng lệnh hoặc giao diện đồ họa (GUI). Mặc dù hiệu quả, các phương thức này vẫn tồn tại những hạn chế nhất định về tính tự nhiên và mức độ thân thiện với người dùng. Sự phát triển của thị giác máy tính và trí tuệ nhân tạo đã thúc đẩy sự ra đời của các phương thức tương tác mới, trong đó máy tính có thể “hiểu” và phản hồi lại các hành động, cử chỉ hoặc ngôn ngữ cơ thể của con người.

Điều khiển thiết bị điện bằng cử chỉ tay là một trong những hướng tiếp cận tiêu biểu của tương tác người – máy tự nhiên. Phương pháp này không chỉ giúp nâng cao trải nghiệm người dùng mà còn mang lại nhiều lợi ích thiết thực trong các ứng dụng nhà thông minh, robot dịch vụ, hỗ trợ người khuyết tật và môi trường giáo dục. Người dùng có thể điều khiển thiết bị mà không cần tiếp xúc vật lý, qua đó tăng tính tiện nghi, an toàn và vệ sinh trong sử dụng.

Trong thời gian gần đây, nhiều nghiên cứu đã tập trung vào việc nhận dạng cử chỉ tay dựa trên các thuật toán xử lý ảnh và học máy. Một số công trình sử dụng OpenCV để phát hiện và phân loại cử chỉ tay cơ bản, trong khi các nghiên cứu khác áp dụng mạng nơ-ron tích chập (CNN), mô hình YOLO hoặc các kỹ thuật ước lượng tư thế (pose estimation) để nâng cao độ chính xác và khả năng mở rộng ứng dụng. Tuy nhiên, không phải nghiên cứu nào cũng đi sâu vào việc xây dựng một mô hình hoàn chỉnh, tích hợp cả phần mềm nhận dạng và phần cứng điều khiển thiết bị.

Xuất phát từ nhu cầu giảng dạy và học tập trong lĩnh vực kỹ thuật điện – điện tử, nghiên cứu này hướng đến mục tiêu xây dựng một mô hình điều khiển thiết bị điện đơn giản nhưng trực quan, dễ triển khai, dựa trên công nghệ xử lý ảnh với OpenCV-Python và Mediapipe, kết hợp với bo mạch Arduino. Mô hình không chỉ có ý nghĩa minh họa cho các khái niệm lý thuyết mà còn giúp sinh viên tiếp cận, thực hành và ứng dụng các công nghệ mới vào các bài toán thực tế.

2. PHƯƠNG PHÁP NGHIÊN CỨU

2.1. Tổng quan mô hình hệ thống

Mô hình nghiên cứu được thiết kế theo cấu trúc gồm hai khối chức năng chính: khối xử lý hình ảnh và nhận dạng cử chỉ tay trên máy tính, và khối điều khiển thiết bị điện dựa trên bo mạch vi điều khiển Arduino.

Máy tính đóng vai trò trung tâm xử lý, sử dụng camera (webcam) để thu nhận hình ảnh bàn tay người dùng theo thời gian thực. Các khung hình thu được được xử lý bằng thư viện OpenCV-Python kết hợp với Mediapipe nhằm phát hiện bàn tay, xác định các điểm mốc (landmark) và suy luận trạng thái của từng ngón tay. Dựa trên kết quả nhận dạng, máy tính tạo ra các lệnh điều khiển tương ứng và truyền chúng đến Arduino thông qua giao tiếp USB.

Arduino tiếp nhận các lệnh điều khiển và thực hiện tác vụ bật/tắt hoặc điều khiển chuyển động của các thiết bị ngoại vi như đèn LED, động cơ DC và động cơ Servo. Cách tiếp cận này giúp tách biệt rõ ràng giữa phần xử lý nhận dạng phức tạp và phần điều khiển phần cứng, từ đó tăng tính linh hoạt và khả năng mở rộng của hệ thống.

2.2. Phần mềm và thư viện sử dụng

Hệ thống được lập trình bằng ngôn ngữ Python trên môi trường Python 3, sử dụng các thư viện chính gồm:

OpenCV-Python: Thư viện mã nguồn mở hỗ trợ mạnh mẽ cho xử lý ảnh và thị giác máy tính.

Mediapipe: Cung cấp các mô hình học máy tối ưu cho việc phát hiện và theo dõi bàn tay, với khả năng xác định 21 điểm mốc trên mỗi bàn tay.

Cvzone: Thư viện hỗ trợ, giúp đơn giản hóa việc tích hợp OpenCV và Mediapipe.

PyFirmata: Thư viện cho phép giao tiếp và điều khiển Arduino trực tiếp từ Python thông qua giao thức Firmata.

Các thư viện này có thể được cài đặt dễ dàng thông qua trình quản lý gói pip, giúp giảm thiểu thời gian cấu hình và thuận tiện cho mục đích giảng dạy, học tập.

2.3. Thu nhận và xử lý ảnh

Quy trình nhận dạng cử chỉ tay được thực hiện theo các bước cơ bản sau:

- Thu nhận video thời gian thực từ webcam.

- Tách video thành các khung hình liên tiếp để xử lý.

- Áp dụng mô hình phát hiện bàn tay nhằm xác định vị trí và các điểm mốc trên bàn tay.

- Phân tích trạng thái gập hoặc duỗi của từng ngón tay dựa trên mối quan hệ hình học giữa các điểm mốc.

- Mã hóa trạng thái của 5 ngón tay dưới dạng chuỗi nhị phân gồm 5 bit.

- So sánh chuỗi nhị phân với bảng quy ước cử chỉ đã định nghĩa để xác định lệnh điều khiển tương ứng.

Với 5 ngón tay, hệ thống có khả năng biểu diễn tối đa 32 tổ hợp cử chỉ khác nhau. Trong phạm vi nghiên cứu, một số cử chỉ tiêu biểu được lựa chọn để điều khiển các thiết bị điện cụ thể, đảm bảo tính trực quan và dễ ghi nhớ cho người sử dụng.

2.4. Thiết kế phần cứng

Phần cứng của mô hình bao gồm bo mạch Arduino, các thiết bị ngoại vi (đèn LED, động cơ DC, động cơ Servo) và nguồn cấp từ cổng USB của máy tính. Arduino được nạp chương trình Firmata để cho phép nhận lệnh điều khiển từ Python thông qua thư viện PyFirmata.

Cách bố trí phần cứng được thiết kế đơn giản, dễ lắp ráp và phù hợp cho các bài thực hành trong phòng thí nghiệm. Mô hình có thể được mở rộng bằng cách bổ sung thêm các thiết bị khác hoặc thay thế Arduino bằng các nền tảng nhúng mạnh hơn như Raspberry Pi.

3. KẾT QUẢ NGHIÊN CỨU VÀ THẢO LUẬN

3.1. Kết quả thực nghiệm

Mô hình điều khiển thiết bị điện bằng cử chỉ tay đã được triển khai và thử nghiệm trong nhiều điều kiện khác nhau. Kết quả cho thấy hệ thống có khả năng nhận dạng chính xác các cử chỉ tay cơ bản khi bàn tay được đặt trong vùng quan sát của camera, với khoảng cách tối ưu khoảng 100 cm trong điều kiện ánh sáng bình thường.

Tỷ lệ nhận dạng đúng đối với các cử chỉ đơn giản như nắm bàn tay hoặc duỗi một đến ba ngón đạt gần 100%. Đối với các cử chỉ phức tạp hơn, tỷ lệ chính xác giảm nhẹ nhưng vẫn đạt trên 90%, đáp ứng yêu cầu điều khiển thiết bị trong thực tế.

3.2. Ảnh hưởng của điều kiện ánh sáng

Điều kiện ánh sáng có ảnh hưởng đáng kể đến hiệu quả nhận dạng cử chỉ tay. Khi ánh sáng quá yếu hoặc quá mạnh, chất lượng hình ảnh giảm, dẫn đến sai lệch trong việc xác định các điểm mốc bàn tay. Thực nghiệm cho thấy trong điều kiện ánh sáng trung bình, hệ thống hoạt động ổn định nhất. Khi ánh sáng kém, khoảng cách nhận dạng hiệu quả giảm xuống còn khoảng 50 cm; trong khi đó, ánh sáng quá mạnh có thể gây nhiễu và làm giảm khả năng phân biệt các cử chỉ nhỏ.

4. KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN

Bài viết đã trình bày quá trình xây dựng một mô hình điều khiển thiết bị điện bằng cử chỉ tay dựa trên công nghệ xử lý ảnh với OpenCV-Python và Mediapipe, kết hợp với bo mạch Arduino. Kết quả thực nghiệm chứng minh rằng mô hình có tính khả thi cao, hoạt động ổn định trong điều kiện ánh sáng phù hợp và đáp ứng tốt các yêu cầu điều khiển cơ bản.

Mô hình không chỉ có giá trị ứng dụng trong lĩnh vực nhà thông minh mà còn là một công cụ trực quan, hiệu quả cho công tác giảng dạy và học tập các học phần liên quan đến lập trình, vi điều khiển, xử lý ảnh và trí tuệ nhân tạo. Trong tương lai, hệ thống có thể được cải tiến bằng cách tích hợp các thuật toán học sâu để nâng cao độ chính xác, sử dụng camera chất lượng cao hơn hoặc triển khai trực tiếp trên các nền tảng nhúng như Raspberry Pi nhằm giảm chi phí và tăng tính gọn nhẹ.