AI Crazy
New member
AI thường thất bại theo cách khác so với phần mềm truyền thống, và nhiều công ty vẫn chưa nhận ra điều này. Thay vì chỉ chạy bài test chức năng, cần phương pháp kiểm thử có giám sát con người và thử nghiệm đối kháng.
Tuần trước tôi hỏi ChatGPT về số phiên bản của nó và bất ngờ rơi vào một cuộc tranh luận gay gắt để chứng minh những gì mình thấy là thật. Đây không phải lần đầu tiên tôi gặp trải nghiệm khó chịu như vậy.
Khi sử dụng các công cụ AI như ChatGPT, tôi thường yêu cầu nguồn và trích dẫn cho những đoạn viết. Đôi khi liên kết không hoạt động, đôi khi không có liên kết nào được cung cấp, và nhiều lúc AI tự tin đưa ra thông tin bịa đặt như thể đó là sự thật.
Có lần kết quả trông như một bài viết nghiên cứu kỹ lưỡng, nhưng khi kiểm tra thì một nửa trích dẫn thiếu hoặc dẫn sai; các trích dẫn là do AI tạo ra; số liệu bị bịa đặt. Toàn bộ nền tảng của câu trả lời tưởng chừng hợp lý hóa ra là hư cấu.
Đây không phải là một “lỗi” theo kiểu phần mềm truyền thống.
Tôi đã luyện thói quen kiểm chứng mọi thứ AI nói. Điều này cần thiết vì AI không thất bại theo cách mà phần mềm truyền thống vẫn thất bại — và phần lớn công ty vẫn kiểm thử nó như thể đó là phần mềm determinisitc.
Kiểm thử truyền thống được tối ưu cho hệ thống có tính xác định: một nút đăng nhập hoặc hoạt động nào đó hoặc là đúng, hoặc là sai. Lỗi có thể tái tạo, đầu ra dự đoán được, và bài test theo logic đúng/sai rõ ràng.
AI phá vỡ tất cả điều đó. Với phần mềm truyền thống ta hỏi: tính năng này có hoạt động không? Với AI ta phải hỏi: hệ thống này có hành xử có trách nhiệm trong hàng nghìn kịch bản không dự đoán được không? Đầu ra dao động mạnh, hành vi thay đổi sau khi được huấn luyện lại, và các trường hợp biên không còn là ngoại lệ mà là toàn bộ bề mặt tương tác.
Nhưng nhiều công ty vẫn dùng khuôn khổ QA nhiều thập kỷ cũ. Những thất bại đã xuất hiện công khai: AI bịa đặt trích dẫn pháp lý được dùng ở tòa, chatbot khuyến khích tự làm hại, mô hình bị thao túng để đe dọa người dùng. Có trường hợp một phụ nữ bị kết án dựa trên tin nhắn giả mạo mà không ai xác minh tính xác thực.
Nghiên cứu gần đây từ Anthropic, mang tên "The Hot Mess of AI", cho thấy điều ngược trực giác: hệ thống AI càng phải lý luận dài hơn thì càng thất bại một cách không nhất quán. Khi giải quyết các bài toán khó cần suy luận dài, các thất bại bị chi phối bởi tính biến động (hành vi khó lường, thiếu mạch lạc) thay vì lỗi hệ thống có thể sửa chữa dễ dàng.
Nói cách khác, mô hình có thể không cố gắng theo đuổi một mục tiêu sai mà trở nên hoàn toàn mất mạch lạc. Mô hình càng có năng lực hơn đôi khi lại càng không mạch lạc trên các nhiệm vụ khó — điều này đặc biệt đáng lo với những hệ thống liên quan y tế, pháp lý hay tài chính.
Bạn có thể đưa cùng một prompt cho chatbot nhiều lần và nhận các kết quả hoàn toàn khác nhau — không phải vì có lỗi cụ thể cần tái tạo, mà vì mô hình luôn tiến hoá. QA truyền thống dựa trên khả năng tái tạo lỗi, cô lập và sửa chữa; với AI, khái niệm "lỗi" trở nên mang tính chủ quan.
Các mô hình còn thể hiện hành vi "làm vừa lòng con người", dễ dàng đồng ý với hướng dẫn, khiến chúng rất dễ bị khai thác. Có người đã thao túng các mô hình được cho là có rào chắn để khiến chúng nói các câu đe dọa. Khi hỏi trực tiếp về gây hại, các mô hình trả lời trấn an; nhưng các hàng rào bảo vệ đó có thể bị vượt qua khá dễ.
Vai trò của con người trong kiểm thử vẫn quan trọng, nhưng đã thay đổi cơ bản. Khi kiểm thử AI và các tính năng có tính tác nhân (agentic), người kiểm thử không chỉ xác nhận luồng và kết quả mong đợi.
Bạn cần hiểu cách hệ thống hành xử khi bối cảnh lộn xộn, mục đích không rõ ràng hoặc đầu vào mang tính đối kháng. Trên thực tế, công việc này gần với suy nghĩ về an ninh và thử nghiệm hỗn loạn hơn là QA chức năng truyền thống.
Thay vì chỉ tìm bug dễ tái tạo, đội kiểm thử phải săn lùng cách lạm dụng, hành vi vượt giới hạn, quyết định bất ngờ và những kịch bản mà AI có thể mất mạch lạc.
Đề xuất thực hành tốt:
Nếu công ty bạn vẫn kiểm thử AI theo lối cũ, rủi ro là rõ ràng: những hệ thống có thể gây hậu quả nghiêm trọng mà không bị phát hiện. Kiểm thử AI hiệu quả đòi hỏi tư duy mới, con người tham gia sâu và phương pháp thử nghiệm phù hợp với bản chất không xác định của mô hình.
Nguồn: Techradar
AI không thất bại như phần mềm truyền thống
Tuần trước tôi hỏi ChatGPT về số phiên bản của nó và bất ngờ rơi vào một cuộc tranh luận gay gắt để chứng minh những gì mình thấy là thật. Đây không phải lần đầu tiên tôi gặp trải nghiệm khó chịu như vậy.
Khi sử dụng các công cụ AI như ChatGPT, tôi thường yêu cầu nguồn và trích dẫn cho những đoạn viết. Đôi khi liên kết không hoạt động, đôi khi không có liên kết nào được cung cấp, và nhiều lúc AI tự tin đưa ra thông tin bịa đặt như thể đó là sự thật.
Có lần kết quả trông như một bài viết nghiên cứu kỹ lưỡng, nhưng khi kiểm tra thì một nửa trích dẫn thiếu hoặc dẫn sai; các trích dẫn là do AI tạo ra; số liệu bị bịa đặt. Toàn bộ nền tảng của câu trả lời tưởng chừng hợp lý hóa ra là hư cấu.
Đây không phải là một “lỗi” theo kiểu phần mềm truyền thống.
Tôi đã luyện thói quen kiểm chứng mọi thứ AI nói. Điều này cần thiết vì AI không thất bại theo cách mà phần mềm truyền thống vẫn thất bại — và phần lớn công ty vẫn kiểm thử nó như thể đó là phần mềm determinisitc.
Kiểm thử truyền thống được tối ưu cho hệ thống có tính xác định: một nút đăng nhập hoặc hoạt động nào đó hoặc là đúng, hoặc là sai. Lỗi có thể tái tạo, đầu ra dự đoán được, và bài test theo logic đúng/sai rõ ràng.
AI phá vỡ tất cả điều đó. Với phần mềm truyền thống ta hỏi: tính năng này có hoạt động không? Với AI ta phải hỏi: hệ thống này có hành xử có trách nhiệm trong hàng nghìn kịch bản không dự đoán được không? Đầu ra dao động mạnh, hành vi thay đổi sau khi được huấn luyện lại, và các trường hợp biên không còn là ngoại lệ mà là toàn bộ bề mặt tương tác.
Nhưng nhiều công ty vẫn dùng khuôn khổ QA nhiều thập kỷ cũ. Những thất bại đã xuất hiện công khai: AI bịa đặt trích dẫn pháp lý được dùng ở tòa, chatbot khuyến khích tự làm hại, mô hình bị thao túng để đe dọa người dùng. Có trường hợp một phụ nữ bị kết án dựa trên tin nhắn giả mạo mà không ai xác minh tính xác thực.
Nghiên cứu gần đây từ Anthropic, mang tên "The Hot Mess of AI", cho thấy điều ngược trực giác: hệ thống AI càng phải lý luận dài hơn thì càng thất bại một cách không nhất quán. Khi giải quyết các bài toán khó cần suy luận dài, các thất bại bị chi phối bởi tính biến động (hành vi khó lường, thiếu mạch lạc) thay vì lỗi hệ thống có thể sửa chữa dễ dàng.
Nói cách khác, mô hình có thể không cố gắng theo đuổi một mục tiêu sai mà trở nên hoàn toàn mất mạch lạc. Mô hình càng có năng lực hơn đôi khi lại càng không mạch lạc trên các nhiệm vụ khó — điều này đặc biệt đáng lo với những hệ thống liên quan y tế, pháp lý hay tài chính.
Bạn có thể đưa cùng một prompt cho chatbot nhiều lần và nhận các kết quả hoàn toàn khác nhau — không phải vì có lỗi cụ thể cần tái tạo, mà vì mô hình luôn tiến hoá. QA truyền thống dựa trên khả năng tái tạo lỗi, cô lập và sửa chữa; với AI, khái niệm "lỗi" trở nên mang tính chủ quan.
Các mô hình còn thể hiện hành vi "làm vừa lòng con người", dễ dàng đồng ý với hướng dẫn, khiến chúng rất dễ bị khai thác. Có người đã thao túng các mô hình được cho là có rào chắn để khiến chúng nói các câu đe dọa. Khi hỏi trực tiếp về gây hại, các mô hình trả lời trấn an; nhưng các hàng rào bảo vệ đó có thể bị vượt qua khá dễ.
Vai trò của con người trong kiểm thử vẫn quan trọng, nhưng đã thay đổi cơ bản. Khi kiểm thử AI và các tính năng có tính tác nhân (agentic), người kiểm thử không chỉ xác nhận luồng và kết quả mong đợi.
Bạn cần hiểu cách hệ thống hành xử khi bối cảnh lộn xộn, mục đích không rõ ràng hoặc đầu vào mang tính đối kháng. Trên thực tế, công việc này gần với suy nghĩ về an ninh và thử nghiệm hỗn loạn hơn là QA chức năng truyền thống.
Thay vì chỉ tìm bug dễ tái tạo, đội kiểm thử phải săn lùng cách lạm dụng, hành vi vượt giới hạn, quyết định bất ngờ và những kịch bản mà AI có thể mất mạch lạc.
Đề xuất thực hành tốt:
- Áp dụng kiểm thử tình huống và kịch bản đối kháng (red teaming) thay vì chỉ test case tĩnh.
- Thiết kế quy trình có con người giám sát (human-in-the-loop) cho các đầu ra nhạy cảm.
- Giám sát liên tục và đánh giá sau triển khai để phát hiện sai lệch khi mô hình thay đổi.
- Phát triển chỉ số an toàn, minh bạch và khả năng giải trình chứ không chỉ đo độ chính xác.
- Kết hợp tư duy an ninh và thử nghiệm hỗn loạn để tìm hành vi ngoài dự kiến.
Nếu công ty bạn vẫn kiểm thử AI theo lối cũ, rủi ro là rõ ràng: những hệ thống có thể gây hậu quả nghiêm trọng mà không bị phát hiện. Kiểm thử AI hiệu quả đòi hỏi tư duy mới, con người tham gia sâu và phương pháp thử nghiệm phù hợp với bản chất không xác định của mô hình.
Nguồn: Techradar
Bài viết liên quan
