VÌ SAO AI TRẢ LỜI TRÔI CHẢY NHƯNG VẪN SAI?
AI cũng có lúc trả lời sai
Các mô hình ngôn ngữ lớn (Large Language Models LLMs) ngày càng cho thấy khả năng trả lời trôi chảy, mạch lạc và đầy tự tin. Tuy nhiên, sự tự tin này không phải lúc nào cũng phản ánh độ đúng của thông tin. Trong nhiều tình huống, chỉ cần một thay đổi nhỏ về ngữ cảnh, mô hình có thể rời xa sự thật mà vẫn giữ giọng điệu chắc chắn.
Bài báo “Illusions of Confidence? Diagnosing LLM Truthfulness via Neighborhood Consistency” đặt ra một câu hỏi cốt lõi: làm thế nào để phát hiện khi nào LLM đang “tin sai” nhưng không hề do dự?.
1.Chẩn đoán độ tin cậy bằng tính nhất quán lân cận
Trong cách hiểu thông thường, một mô hình được xem là đáng tin khi nó trả lời ổn định và nhất quán. Tuy nhiên, sự nhất quán này thường chỉ được kiểm tra trên một câu hỏi duy nhất, trong khi tri thức thực tế luôn tồn tại trong một mạng lưới các mối liên hệ.
Vấn đề đặt ra là: một mô hình có thể trả lời đúng và rất chắc chắn cho câu hỏi chính, nhưng lại mâu thuẫn khi đối diện với các câu hỏi liên quan gần kề.
2. Hạn chế của các phương pháp đánh giá truyền thống
Một cách đánh giá phổ biến hiện nay là tự nhất quán (self-consistency), tức kiểm tra xem mô hình có lặp lại cùng một câu trả lời khi được hỏi nhiều lần hay không.
Phương pháp này hữu ích, nhưng tồn tại một hạn chế lớn: Nó chỉ đo độ ổn định của câu trả lời, không đo độ bền của tri thức.
Trong một thí nghiệm đơn giản, nhóm nghiên cứu cho thấy: Một thông tin ban đầu tưởng như hoàn toàn chắc chắn đã giảm độ chính xác xuống 33,8% khi chỉ chịu một áp lực ngữ cảnh nhẹ.
3. Ý tưởng cốt lõi: Tính nhất quán lân cận (NCB)
Để khắc phục hạn chế này, các tác giả đề xuất khái niệm Niềm tin dựa trên tính nhất quán lân cận (Neighbor-Consistency Belief – NCB).
Thay vì chỉ đặt một câu hỏi chính, phương pháp này:
- Tạo ra nhiều câu hỏi “lân cận” xoay quanh cùng một sự thật.
- Đánh giá mức độ nhất quán của toàn bộ tập câu trả lời.
- Xem một thông tin là “đáng tin” khi nó đứng vững trong một mạng lưới câu hỏi liên quan, không chỉ vì nó được lặp lại.
Nói cách khác, sự thật không chỉ cần đúng một lần, mà cần đúng trong nhiều ngữ cảnh gần nhau.
4. Thử thách niềm tin của mô hình
Để kiểm tra độ bền của các “niềm tin” này, nhóm nghiên cứu chủ động tạo ra hai dạng áp lực:
- Áp lực đồng thuận (peer pressure): Mô hình được tiếp xúc với các tác nhân khác cùng thống nhất một câu trả lời sai.
- Áp lực thẩm quyền (authority pressure): Cung cấp văn bản có vẻ rất đáng tin, mô tả một thông tin sai nhưng gần với thông tin
Kết quả cho thấy:
- Các thông tin có NCB cao ít bị thay đổi trước cả hai dạng áp lực
- Các thông tin có NCB thấp dễ “đổi ý” hơn.
Đáng chú ý, yêu cầu mô hình suy ngẫm lại ở lượt trả lời thứ hai mang lại hiệu quả cải thiện tốt hơn so với các prompt yêu cầu suy luận từng bước.
.
5. Huấn luyện có nhận thức về cấu trúc
Bài báo cũng đề xuất một hướng tiếp cận ở cấp độ huấn luyện: Structure-Aware Training.
Mục tiêu của phương pháp này là: Buộc mô hình giữ ổn định tri thức cốt lõi, ngay cả khi ngữ cảnh xung quanh bị thay đổi hoặc mở rộng.
Kết quả thực nghiệm cho thấy: Độ “mong manh” của các kiến thức mới học giảm khoảng 30%. Đây là yếu tố đặc biệt quan trọng trong các tình huống sử dụng thực tế, nơi người dùng thường cung cấp nhiều thông tin bổ sung trong prompt.
6. Ý nghĩa đối với các ứng dụng AI trong thực tế
Nghiên cứu này nhấn mạnh một điểm then chốt: Độ tin cậy của LLM không thể đánh giá chỉ bằng sự tự tin hay khả năng lặp lại câu trả lời.
Đối với các hệ thống AI được sử dụng trong:
- Hỗ trợ ra quyết định
- Hành chính công
- Giáo dục
- Các trợ lý AI chuyên nghiệp
Việc kiểm tra tính nhất quán trong vùng lân cận của tri thức là một hướng tiếp cận có giá trị thực tiễn cao. Nó giúp phân biệt rõ ràng giữa mô hình trả lời trôi chảy và mô hình thực sự hiểu và giữ vững sự thật.
