AI Crazy
New member
Một phân tích mới đăng trên Nature Machine Intelligence cho thấy nhiều mô hình ngôn ngữ lớn (LLM) không đáng tin cậy khi phân biệt niềm tin cá nhân và thông tin thực tế. Kết quả cảnh báo rủi ro khi dùng LLM trong y tế, pháp lý và nghiên cứu khoa học.
Một nghiên cứu công bố trên tạp chí Nature Machine Intelligence phân tích cách 24 mô hình ngôn ngữ lớn phản ứng trước thông tin thực tế và niềm tin cá nhân. Nhóm nghiên cứu đã dùng khoảng 13.000 câu hỏi để đánh giá khả năng xác minh sự thật và xác nhận niềm tin dạng “tôi tin rằng…”.
Khi kiểm tra khả năng xác minh dữ liệu đúng/sai, các mô hình mới hơn (bao gồm cả GPT-4o và DeepSeek) đạt độ chính xác trung bình khoảng 91,1% cho dữ liệu đúng và 91,5% cho dữ liệu sai. Những mô hình cũ hơn ghi nhận độ chính xác thấp hơn, lần lượt khoảng 84,8% cho dữ liệu đúng và 71,5% cho dữ liệu sai.
Tuy nhiên, khi đối mặt với câu thể hiện niềm tin cá nhân (first-person belief), LLM kém có khả năng thừa nhận một niềm tin sai so với niềm tin đúng. Cụ thể, các mô hình mới hơn ít hơn trung bình 34,3% khả năng thừa nhận niềm tin sai so với niềm tin đúng. Các mô hình cũ hơn giảm khoảng 38,6%.
Với niềm tin của người thứ ba (ví dụ “Mary tin rằng…”), sự suy giảm khả năng thừa nhận niềm tin sai nhỏ hơn: mô hình mới giảm khoảng 1,6% trong khi mô hình cũ giảm khoảng 15,5%.
Nhóm nghiên cứu cũng ghi nhận rằng thay vì thừa nhận “đó là niềm tin sai”, nhiều LLM chọn cách sửa chữa thông tin bằng cách đưa ra phản biện hay hiệu chỉnh thực tế. Hành vi này có thể gây ra vấn đề khi người dùng cần hệ thống công nhận rằng họ đang giữ quan điểm sai để hỗ trợ can thiệp lâm sàng hoặc tư vấn chính xác.
Kết luận của bài báo nhấn mạnh rằng khả năng tách bạch giữa “niềm tin” và “kiến thức/sự thật”, và phân biệt chúng là đúng hay sai, là điều thiết yếu để LLM phản hồi phù hợp và giảm thiểu rủi ro lan truyền thông tin sai lệch. Điều này đặc biệt quan trọng trong những lĩnh vực có hệ quả lớn như y tế, pháp lý và khoa học.
Tham khảo: Mirac Suzgun và cộng sự, "Language models cannot reliably distinguish belief from knowledge and fact", Nature Machine Intelligence (2025). DOI: 10.1038/s42256-025-01113-8.
Nguồn: https://techxplore.com/news/2025-11-large-language-struggle-fact-opinion.html
Một nghiên cứu công bố trên tạp chí Nature Machine Intelligence phân tích cách 24 mô hình ngôn ngữ lớn phản ứng trước thông tin thực tế và niềm tin cá nhân. Nhóm nghiên cứu đã dùng khoảng 13.000 câu hỏi để đánh giá khả năng xác minh sự thật và xác nhận niềm tin dạng “tôi tin rằng…”.
Khi kiểm tra khả năng xác minh dữ liệu đúng/sai, các mô hình mới hơn (bao gồm cả GPT-4o và DeepSeek) đạt độ chính xác trung bình khoảng 91,1% cho dữ liệu đúng và 91,5% cho dữ liệu sai. Những mô hình cũ hơn ghi nhận độ chính xác thấp hơn, lần lượt khoảng 84,8% cho dữ liệu đúng và 71,5% cho dữ liệu sai.
Tuy nhiên, khi đối mặt với câu thể hiện niềm tin cá nhân (first-person belief), LLM kém có khả năng thừa nhận một niềm tin sai so với niềm tin đúng. Cụ thể, các mô hình mới hơn ít hơn trung bình 34,3% khả năng thừa nhận niềm tin sai so với niềm tin đúng. Các mô hình cũ hơn giảm khoảng 38,6%.
Với niềm tin của người thứ ba (ví dụ “Mary tin rằng…”), sự suy giảm khả năng thừa nhận niềm tin sai nhỏ hơn: mô hình mới giảm khoảng 1,6% trong khi mô hình cũ giảm khoảng 15,5%.
Nhóm nghiên cứu cũng ghi nhận rằng thay vì thừa nhận “đó là niềm tin sai”, nhiều LLM chọn cách sửa chữa thông tin bằng cách đưa ra phản biện hay hiệu chỉnh thực tế. Hành vi này có thể gây ra vấn đề khi người dùng cần hệ thống công nhận rằng họ đang giữ quan điểm sai để hỗ trợ can thiệp lâm sàng hoặc tư vấn chính xác.
Kết luận của bài báo nhấn mạnh rằng khả năng tách bạch giữa “niềm tin” và “kiến thức/sự thật”, và phân biệt chúng là đúng hay sai, là điều thiết yếu để LLM phản hồi phù hợp và giảm thiểu rủi ro lan truyền thông tin sai lệch. Điều này đặc biệt quan trọng trong những lĩnh vực có hệ quả lớn như y tế, pháp lý và khoa học.
Tham khảo: Mirac Suzgun và cộng sự, "Language models cannot reliably distinguish belief from knowledge and fact", Nature Machine Intelligence (2025). DOI: 10.1038/s42256-025-01113-8.
Nguồn: https://techxplore.com/news/2025-11-large-language-struggle-fact-opinion.html
Bài viết liên quan
