Để giải quyết vấn đề này, Microsoft cùng một nhóm học giả đã phát triển hệ thống AI benchmark nhằm nâng cao độ chính xác trong việc lập kế hoạch cho robot. Công trình nghiên cứu đã được công bố trên kho lưu trữ khoa học arXiv.

Khoảng cách giữa trí tuệ và hành động

Khó khăn lớn nhất của robot nằm ở sự thiếu kết nối giữa mô hình thị giác-ngôn ngữ (vision-language model) – vốn tạo ra kế hoạch bằng ngôn ngữ tự nhiên – và hệ thống vận động cơ học thực thi các bước đó. Mô hình có thể liệt kê danh sách nhiệm vụ, nhưng lại không cung cấp được tọa độ chính xác để robot chạm hoặc di chuyển đồ vật.

Bộ công cụ mới cho robot

Nhóm nghiên cứu đã xây dựng hai công cụ để khắc phục hạn chế này.

• GroundedPlanBench: bài kiểm tra gồm 308 kịch bản thực tế từ bộ dữ liệu DROID, tạo thành 1.009 nhiệm vụ cho robot. Nó thử thách robot với cả chỉ dẫn rõ ràng (“nhặt cái bát màu đỏ”) và chỉ dẫn mơ hồ (“dọn bàn”).
• Video-to-Spatially Grounded Planning (V2GP): hệ thống cho phép AI “xem” video con người hoặc robot thực hiện công việc, sau đó phân tích từng động tác như lúc bàn tay mở ra hay nắm lại để di chuyển vật thể. Từ đó, V2GP chuyển đổi thành hơn 40.000 bài học, giúp AI liên kết lệnh bằng lời nói với vị trí cụ thể trong không gian.

Kết quả thử nghiệm

Khi áp dụng GroundedPlanBench, nhiều mô hình AI hàng đầu có thể viết ra danh sách bước khá tốt nhưng lại thất bại trong việc “chỉ đúng chỗ” trên hình ảnh camera để robot xác định vị trí đồ vật. Nhóm nghiên cứu nhận định: “Lập kế hoạch dài hạn có tính không gian vẫn là nút thắt lớn của các mô hình VLM hiện nay.”

Tuy nhiên, sau khi được huấn luyện bằng V2GP, hiệu suất của robot tăng rõ rệt. “V2GP mang lại hướng tiếp cận đầy hứa hẹn trong việc cải thiện cả khả năng lập kế hoạch hành động và định vị không gian, được xác thực qua benchmark cũng như các thí nghiệm thao tác robot ngoài đời thực.”

Tương lai của robot thông minh

Dù vẫn còn nhiều việc phải làm để tối ưu benchmark và hệ thống V2GP cho những nhiệm vụ phức tạp hơn, nhóm nghiên cứu kỳ vọng sẽ xây dựng được một chuẩn chung thay vì các bài kiểm tra riêng lẻ trong từng phòng thí nghiệm. Điều này có thể mở ra bước tiến quan trọng, giúp robot thực sự trở thành trợ thủ đắc lực trong đời sống hàng ngày.