Phi Vũ
New member
Nghiên cứu mới cho thấy robot tự động có thể bị điều hướng sang nhiệm vụ khác bằng văn bản đặt trong thế giới thực. Kỹ thuật gọi là CHAI biến biển báo, poster hay nhãn thành 'lệnh' mà robot đọc và thực hiện.
CHAI không chỉ tối ưu nội dung văn bản mà còn điều chỉnh cách văn bản xuất hiện — màu sắc, kích thước, vị trí — vì khả năng đọc của mô hình bị ảnh hưởng bởi các thuộc tính này. Nhóm nghiên cứu nhấn mạnh đây là một mối đe dọa có tính “thấp công nghệ”: kẻ tấn công chỉ cần đặt một biển, nhãn hoặc poster mà robot đi qua, không cần truy cập vào hệ thống nội bộ.
Kết quả thử nghiệm cho thấy mức thành công đáng lo ngại. Trong mô phỏng, tấn công đạt 81,8% hiệu quả ở bài lái tự động và 68,1% ở nhiệm vụ hạ cánh khẩn cấp bằng drone. Thử nghiệm vật lý với xe robot nhỏ cho thấy các prompt in sẵn có thể lấn át điều hướng với tỷ lệ thành công ít nhất 87% trong các điều kiện ánh sáng và góc nhìn khác nhau.
Phương pháp còn cho thấy tính khái quát: tồn tại các prompt “toàn cục” (universal) vẫn hoạt động trên ảnh chưa thấy trước đó, trung bình đạt tối thiểu khoảng 50% thành công qua nhiều nhiệm vụ và mô hình, và trên một thiết lập dựa trên GPT con số vượt 70%. CHAI còn hiệu quả với nhiều ngôn ngữ, bao gồm tiếng Trung, tiếng Tây Ban Nha và các prompt hỗn hợp, làm cho thông điệp cấy khó bị chú ý bởi con người xung quanh.
Bước thực tiễn ngay lập tức là coi mọi văn bản thu được từ môi trường là dữ liệu không tin cậy theo mặc định và chỉ cho phép nó ảnh hưởng tới hoạch định chuyển động sau khi vượt qua kiểm tra nhiệm vụ và an toàn. Tóm lại: nếu robot của bạn có khả năng đọc biển, hãy kiểm tra xem điều gì xảy ra khi biển nói dối. Công trình này được lên lịch trình trình bày tại SaTML 2026, hứa hẹn sẽ đặt các giải pháp phòng vệ dưới ánh đèn sáng hơn.
Nguồn: Digitaltrends
Chiến lược tấn công CHAI
Hệ thống CHAI (Command Hijacking via Adversarial Instructions) khai thác bước trung gian trong ngăn xếp tự chủ: lớp lệnh mà mô hình thị giác-ngôn ngữ sinh ra trước khi bộ điều khiển dịch nó thành chuyển động. Thay vì tấn công phần mềm hay giả mạo cảm biến, kẻ tấn công đơn giản đặt chữ viết vào tầm nhìn của camera để môi trường trở thành một hộp nhập liệu.CHAI không chỉ tối ưu nội dung văn bản mà còn điều chỉnh cách văn bản xuất hiện — màu sắc, kích thước, vị trí — vì khả năng đọc của mô hình bị ảnh hưởng bởi các thuộc tính này. Nhóm nghiên cứu nhấn mạnh đây là một mối đe dọa có tính “thấp công nghệ”: kẻ tấn công chỉ cần đặt một biển, nhãn hoặc poster mà robot đi qua, không cần truy cập vào hệ thống nội bộ.
Kết quả thử nghiệm cho thấy mức thành công đáng lo ngại. Trong mô phỏng, tấn công đạt 81,8% hiệu quả ở bài lái tự động và 68,1% ở nhiệm vụ hạ cánh khẩn cấp bằng drone. Thử nghiệm vật lý với xe robot nhỏ cho thấy các prompt in sẵn có thể lấn át điều hướng với tỷ lệ thành công ít nhất 87% trong các điều kiện ánh sáng và góc nhìn khác nhau.
Phương pháp còn cho thấy tính khái quát: tồn tại các prompt “toàn cục” (universal) vẫn hoạt động trên ảnh chưa thấy trước đó, trung bình đạt tối thiểu khoảng 50% thành công qua nhiều nhiệm vụ và mô hình, và trên một thiết lập dựa trên GPT con số vượt 70%. CHAI còn hiệu quả với nhiều ngôn ngữ, bao gồm tiếng Trung, tiếng Tây Ban Nha và các prompt hỗn hợp, làm cho thông điệp cấy khó bị chú ý bởi con người xung quanh.
Hướng phòng vệ và khuyến nghị
- Lọc và phát hiện: kiểm tra văn bản đáng ngờ trong ảnh hoặc trong kết quả trung gian của mô hình để phát hiện prompt có hại.
- Căn chỉnh mô hình: nghiên cứu làm cho mô hình thị giác-ngôn ngữ ít có xu hướng coi chữ viết trong môi trường là lệnh thực thi.
- Nghiên cứu bền vững dài hạn: phát triển các đảm bảo mạnh hơn để giảm rủi ro lớp chỉ huy bị lợi dụng.
Bước thực tiễn ngay lập tức là coi mọi văn bản thu được từ môi trường là dữ liệu không tin cậy theo mặc định và chỉ cho phép nó ảnh hưởng tới hoạch định chuyển động sau khi vượt qua kiểm tra nhiệm vụ và an toàn. Tóm lại: nếu robot của bạn có khả năng đọc biển, hãy kiểm tra xem điều gì xảy ra khi biển nói dối. Công trình này được lên lịch trình trình bày tại SaTML 2026, hứa hẹn sẽ đặt các giải pháp phòng vệ dưới ánh đèn sáng hơn.
Nguồn: Digitaltrends
Bài viết liên quan