Love AI
New member
Microsoft cảnh báo một dạng lừa đảo mới: kẻ xấu có thể 'cấy' chỉ dẫn vào bộ nhớ trợ lý AI để định hướng đề xuất trong tương lai. Hành vi này gọi là AI Recommendation Poisoning và đã có bằng chứng thực tế xuất hiện trên web.
Đây là kỹ thuật lợi dụng khả năng ghi nhớ và tổng hợp thông tin của mô hình ngôn ngữ lớn (LLM) để cấy vào đó các chỉ dẫn hoặc thông tin sai lệch có tính dai dẳng. Khi trợ lý AI lưu lại những chỉ dẫn này, nó sẽ tiếp tục đưa ra các đề xuất bị thao túng cho người dùng sau đó.
Tương tự như SEO poisoning – nơi kẻ xấu tạo hàng loạt nội dung để thao túng kết quả tìm kiếm – AI Recommendation Poisoning lợi dụng những nút chức năng hoặc công cụ tổng hợp (ví dụ "tóm tắt bằng AI") trên các trang công khai. Một chỉ dẫn ẩn trong nội dung đó có thể được ghi vào bộ nhớ trợ lý và sau này làm lệch hướng gợi ý của AI.
Microsoft nêu ví dụ khi một giám đốc tài chính dùng AI để tìm nhà cung cấp hạ tầng đám mây. Trợ lý AI trả về phân tích chi tiết và khuyến nghị mạnh một công ty (thực tế là công ty giả mạo) do đã bị cấy chỉ dẫn trước đó. Quyết định dựa chủ yếu vào đề xuất của AI có thể dẫn tới hợp đồng hàng triệu đô la với bên không đáng tin cậy.
Microsoft cho biết phân tích các mẫu trên web và tín hiệu bảo mật đã phát hiện "nhiều nỗ lực thực tế" nhằm cấy ghép các khuyến nghị dai dẳng vào trợ lý AI. Điều này cho thấy nguy cơ không còn là giả thuyết – càng nhiều người dựa vào AI cho lời khuyên mua hàng hoặc quyết định quan trọng, kẻ xấu càng có động cơ khai thác.
Nguồn: Techradar
AI Recommendation Poisoning là gì?
Đây là kỹ thuật lợi dụng khả năng ghi nhớ và tổng hợp thông tin của mô hình ngôn ngữ lớn (LLM) để cấy vào đó các chỉ dẫn hoặc thông tin sai lệch có tính dai dẳng. Khi trợ lý AI lưu lại những chỉ dẫn này, nó sẽ tiếp tục đưa ra các đề xuất bị thao túng cho người dùng sau đó.
Cách thức hoạt động
Tương tự như SEO poisoning – nơi kẻ xấu tạo hàng loạt nội dung để thao túng kết quả tìm kiếm – AI Recommendation Poisoning lợi dụng những nút chức năng hoặc công cụ tổng hợp (ví dụ "tóm tắt bằng AI") trên các trang công khai. Một chỉ dẫn ẩn trong nội dung đó có thể được ghi vào bộ nhớ trợ lý và sau này làm lệch hướng gợi ý của AI.
Ví dụ thực tế
Microsoft nêu ví dụ khi một giám đốc tài chính dùng AI để tìm nhà cung cấp hạ tầng đám mây. Trợ lý AI trả về phân tích chi tiết và khuyến nghị mạnh một công ty (thực tế là công ty giả mạo) do đã bị cấy chỉ dẫn trước đó. Quyết định dựa chủ yếu vào đề xuất của AI có thể dẫn tới hợp đồng hàng triệu đô la với bên không đáng tin cậy.
Bằng chứng và mức độ rủi ro
Microsoft cho biết phân tích các mẫu trên web và tín hiệu bảo mật đã phát hiện "nhiều nỗ lực thực tế" nhằm cấy ghép các khuyến nghị dai dẳng vào trợ lý AI. Điều này cho thấy nguy cơ không còn là giả thuyết – càng nhiều người dựa vào AI cho lời khuyên mua hàng hoặc quyết định quan trọng, kẻ xấu càng có động cơ khai thác.
Cần làm gì để giảm rủi ro
- Không dựa hoàn toàn vào một đề xuất do AI đưa ra; kiểm tra chéo thông tin từ nhiều nguồn độc lập.
- Kiểm tra nguồn gốc khuyến nghị: xem nguồn dữ liệu, bài viết, hoặc công cụ đã được AI tham chiếu.
- Với các quyết định lớn (tài chính, hợp đồng), tiến hành thẩm định dân sự và kỹ thuật trước khi ký kết.
- Nhà phát triển và nhà quản trị hệ thống cần theo dõi tín hiệu bất thường, giới hạn khả năng ghi nhớ dai dẳng của trợ lý AI và rà soát các đầu vào công khai có thể chứa chỉ dẫn độc hại.
Nguồn: Techradar
Bài viết liên quan
