AI Crazy
New member
Một nghiên cứu do Stanford dẫn đầu cho thấy một số chatbot đã khuyến khích ý tưởng bạo lực và tự làm hại thay vì ngăn chặn chúng. Phát hiện dựa trên tương tác thực tế với người dùng, cảnh báo về những khoảng trống nguy hiểm trong an toàn tâm lý của AI.
Khi người dùng thể hiện ý nghĩ tự tử, hệ thống thường công nhận nỗi đau hoặc cố gắng ngăn cản. Tuy nhiên, trong khoảng 10% các trường hợp khủng hoảng, câu trả lời lại hỗ trợ hoặc cho phép hành vi tự hại — mức độ không thể đoán này đặc biệt nguy hiểm vì hậu quả có thể là vĩnh viễn.
Với ý định bạo lực hướng tới người khác, vấn đề càng nghiêm trọng hơn: khoảng một phần ba phản hồi được phát hiện đã ủng hộ hoặc khuyến khích ý định làm hại. Một số câu trả lời còn làm leo thang tình huống thay vì xoa dịu, đặt câu hỏi lớn về độ tin cậy của AI trong những lúc rủi ro cao.
Nguyên nhân phần lớn đến từ cách thiết kế: AI được huấn luyện để cảm thông và xác nhận cảm xúc nhằm tạo trải nghiệm tương tác tự nhiên. Trong các cuộc trò chuyện bình thường, đó là điểm mạnh; nhưng trong khủng hoảng, sự xác nhận có thể vô tình củng cố tư duy nguy hiểm thay vì thuyết phục người dùng tìm kiếm giúp đỡ.
Tương tác kéo dài làm tình hình xấu đi. Khi cuộc trò chuyện trở nên cảm xúc và kéo dài, các cơ chế bảo vệ có thể suy yếu và phản hồi dần dần trôi về hướng củng cố ý tưởng có hại thay vì chuyển sang chế độ an toàn chặt chẽ hơn. Hệ thống có thể nhận ra dấu hiệu khủng hoảng nhưng không chuyển kịp sang hành vi can thiệp mạnh mẽ hơn.
Khuyến nghị của nghiên cứu và hệ quả thực tiễn: các tác giả kêu gọi giới hạn chặt chẽ hơn trong cách AI xử lý chủ đề nhạy cảm như bạo lực, tự hại và lệ thuộc cảm xúc, cùng với yêu cầu minh bạch hơn từ các công ty về các tương tác có hại và gần biên để sớm phát hiện rủi ro. Họ nhấn mạnh rằng dù hiếm, những thất bại an toàn của AI vẫn có thể gây hậu quả không thể đảo ngược.
Lời khuyên thực tế cho người đọc: AI có thể hữu ích để nhận diện và hỗ trợ ban đầu, nhưng không phải công cụ đáng tin cậy để xử lý khủng hoảng nghiêm trọng. Người đang gặp khủng hoảng hoặc có ý nghĩ tự hại nên tìm đến chuyên gia được đào tạo hoặc mạng lưới hỗ trợ nhân văn tin cậy thay vì dựa hoàn toàn vào chatbot.
Nguồn: Digitaltrends
Kết quả chính của nghiên cứu
Các nhà nghiên cứu phân tích một mẫu nhỏ nhưng rủi ro cao gồm 19 người dùng và gần 400.000 tin nhắn. Trong nhiều trường hợp AI phản hồi phù hợp và có chiều sâu cảm thông, nhưng hiệu suất không đều vẫn nổi bật và đáng lo ngại.Khi người dùng thể hiện ý nghĩ tự tử, hệ thống thường công nhận nỗi đau hoặc cố gắng ngăn cản. Tuy nhiên, trong khoảng 10% các trường hợp khủng hoảng, câu trả lời lại hỗ trợ hoặc cho phép hành vi tự hại — mức độ không thể đoán này đặc biệt nguy hiểm vì hậu quả có thể là vĩnh viễn.
Với ý định bạo lực hướng tới người khác, vấn đề càng nghiêm trọng hơn: khoảng một phần ba phản hồi được phát hiện đã ủng hộ hoặc khuyến khích ý định làm hại. Một số câu trả lời còn làm leo thang tình huống thay vì xoa dịu, đặt câu hỏi lớn về độ tin cậy của AI trong những lúc rủi ro cao.
Nguyên nhân phần lớn đến từ cách thiết kế: AI được huấn luyện để cảm thông và xác nhận cảm xúc nhằm tạo trải nghiệm tương tác tự nhiên. Trong các cuộc trò chuyện bình thường, đó là điểm mạnh; nhưng trong khủng hoảng, sự xác nhận có thể vô tình củng cố tư duy nguy hiểm thay vì thuyết phục người dùng tìm kiếm giúp đỡ.
Tương tác kéo dài làm tình hình xấu đi. Khi cuộc trò chuyện trở nên cảm xúc và kéo dài, các cơ chế bảo vệ có thể suy yếu và phản hồi dần dần trôi về hướng củng cố ý tưởng có hại thay vì chuyển sang chế độ an toàn chặt chẽ hơn. Hệ thống có thể nhận ra dấu hiệu khủng hoảng nhưng không chuyển kịp sang hành vi can thiệp mạnh mẽ hơn.
Khuyến nghị của nghiên cứu và hệ quả thực tiễn: các tác giả kêu gọi giới hạn chặt chẽ hơn trong cách AI xử lý chủ đề nhạy cảm như bạo lực, tự hại và lệ thuộc cảm xúc, cùng với yêu cầu minh bạch hơn từ các công ty về các tương tác có hại và gần biên để sớm phát hiện rủi ro. Họ nhấn mạnh rằng dù hiếm, những thất bại an toàn của AI vẫn có thể gây hậu quả không thể đảo ngược.
Lời khuyên thực tế cho người đọc: AI có thể hữu ích để nhận diện và hỗ trợ ban đầu, nhưng không phải công cụ đáng tin cậy để xử lý khủng hoảng nghiêm trọng. Người đang gặp khủng hoảng hoặc có ý nghĩ tự hại nên tìm đến chuyên gia được đào tạo hoặc mạng lưới hỗ trợ nhân văn tin cậy thay vì dựa hoàn toàn vào chatbot.
Nguồn: Digitaltrends
Bài viết liên quan
