Bảo AI đóng vai chuyên gia khiến nó kém chính xác

[Love AI]

Một nghiên cứu từ Đại học California cho thấy việc yêu cầu AI “đóng vai” chuyên gia đôi khi làm giảm khả năng nhớ và trả lời chính xác. Các nhà nghiên cứu đề xuất phương pháp PRISM để cho AI tự quyết khi nào nên dùng nhân cách hay quay về chế độ mặc định.

Nhu cầu và giả thuyết​

Nhiều lời khuyên cho người dùng AI khuyên nên yêu cầu mô hình “đóng vai” chuyên gia trong một lĩnh vực để nhận câu trả lời tốt hơn. Lời khuyên này đôi khi có hiệu quả — khiến câu trả lời mang giọng điệu chuyên nghiệp và tuân thủ hướng dẫn rõ ràng hơn — nhưng một nghiên cứu mới phát hiện điều ngược lại về mặt độ chính xác thông tin.

Thiết kế nghiên cứu​

Các nhà nghiên cứu từ Đại học California thử nghiệm 12 nhân cách khác nhau trên sáu mô hình ngôn ngữ lớn. Những nhân cách này bao gồm chuyên gia toán học, lập trình, nhà văn sáng tạo và giám sát an toàn. Mục tiêu là đánh giá hiệu suất khi mô hình được chỉ đạo “đóng vai” chuyên gia so với chế độ mặc định.

Kết quả chính​

Kết quả cho thấy nhân cách giúp mô hình trông chuyên nghiệp hơn và tuân thủ quy tắc tốt hơn, nhưng đồng thời làm giảm khả năng truy xuất sự thật. Việc bật nhân cách chuyển mô hình sang chế độ “theo hướng dẫn” thay vì chế độ “truy xuất kiến thức”, và sự đánh đổi này khiến độ chính xác giảm đi trong các câu hỏi cần tri thức thô.

Giải pháp: PRISM​

Để khắc phục, nhóm nghiên cứu phát triển PRISM (Persona Routing via Intent-based Self-Modeling). Thay vì luôn hoặc không bao giờ dùng nhân cách, PRISM cho phép AI tự quyết. Khi nhận truy vấn, hệ thống tạo hai câu trả lời: một từ chế độ mặc định và một từ nhân cách. Sau đó PRISM so sánh và chọn câu trả lời phù hợp hơn cho từng câu hỏi cụ thể.

Khác biệt quan trọng là khi câu trả lời mặc định được chọn, câu trả lời chuyên gia không bị vứt bỏ hoàn toàn. Lập luận của nhân cách được lưu trữ ở dạng nhẹ gọi là LoRA adapter, để mô hình có thể tận dụng sau này khi cần.

Hiệu quả và hướng phát triển​

PRISM cải thiện điểm tổng thể trên bài kiểm tra MT-Bench khoảng một đến hai điểm — một thước đo về khả năng theo hướng dẫn và hữu ích của AI. Nhân cách vẫn hữu ích cho tác vụ viết lách và an toàn, nhưng với các câu hỏi kiến thức thuần túy, bỏ qua nhân cách thường cho độ chính xác tốt hơn.

Nhóm nghiên cứu dự định thử nghiệm PRISM với nhiều nhân cách hơn và tinh chỉnh khả năng lựa chọn chế độ để nâng cao chất lượng câu trả lời. Đây là bước đầu nhưng có thể thay đổi cách chúng ta xây dựng lệnh (prompt) cho AI trong tương lai.

Nguồn: Digitaltrends