Cisco thử dùng AI viết báo cáo sự cố

[AI Crazy]

Cisco vừa công bố kinh nghiệm thử nghiệm dùng AI để soạn báo cáo sự cố bảo mật và gặp không ít vấn đề. Báo cáo của hãng chỉ ra nhiều hạn chế của mô hình ngôn ngữ lớn khi tạo nội dung kỹ thuật dài và đưa ra các khuyến nghị thực tế cho doanh nghiệp.

Cisco đã thử dùng công cụ AI để sinh báo cáo sự cố bảo mật và nhận thấy AI gặp nhiều thách thức khi tạo nội dung kỹ thuật dài, bao gồm sai lệch thông tin, kết luận bất thường và phong cách viết không đồng nhất.

Những vấn đề chính​

• Mô hình ngôn ngữ lớn hoạt động theo cơ chế dự đoán từ tiếp theo, nên dễ sinh ra thông tin không chính xác hoặc suy luận sai (hay còn gọi là "hallucination").
• AI có thể đưa ra những kết luận kỳ lạ hoặc không phù hợp với bối cảnh chuyên môn do bản chất xác suất của nó.
• Nguồn tham khảo: nếu để AI tự chọn nguồn, kết quả có thể thiếu tin cậy hoặc không nhất quán.
• Hiện tượng nhiễm chéo nội dung: khi sửa nhiều báo cáo trong cùng một phiên, thông tin từ nguồn của báo cáo này có thể bị trộn vào báo cáo khác, ngay cả khi ghi chú ban đầu đã bị xóa.

Khuyến nghị của Cisco​

• Chia tác vụ lớn thành nhiều nhiệm vụ nhỏ, rõ ràng: yêu cầu AI thực hiện từng phần cụ thể thay vì giao toàn bộ báo cáo một lần.
• Không để AI tự do chọn tài liệu tham khảo; cần cung cấp chính xác các tài liệu, chứng cứ hoặc nguồn dữ liệu được phép sử dụng.
• Đưa hướng dẫn rõ ràng về định dạng và phong cách viết để giảm sự không nhất quán.
• Để tránh nhiễm chéo nội dung giữa các báo cáo, nên bắt đầu một phiên làm việc mới và nhập lại lệnh (prompt) cho mỗi báo cáo độc lập.

Cisco cũng cho biết trong một thử nghiệm mù về chất lượng, báo cáo do AI hỗ trợ không cho thấy suy giảm đáng kể về chất lượng văn bản; thậm chí người rà soát nhận xét số lỗi chính tả và ngữ pháp ít hơn mức trung bình. Tuy nhiên, vì vẫn tồn tại nguy cơ sai lệch nội dung và nhiễm chéo giữa các tài liệu, Cisco khuyến cáo nên có người kiểm duyệt chuyên môn trong quy trình cuối cùng.

Nguồn: Techradar