Hỏi nhiều chatbot cùng một câu có ích để tìm ra chỗ bất đồng, vì chỗ các AI trả lời khác nhau gần như chắc chắn là chỗ có ít nhất một bên sai và cần kiểm. Nhưng khi các chatbot cùng đồng ý, đó không phải là bằng chứng đúng: chúng thường học từ cùng một kho dữ liệu trên mạng và tìm ra cùng những trang xếp hạng cao, nên có thể cùng sai một kiểu.
Nói cách khác, hỏi chéo là công cụ sàng lọc chứ không phải công cụ xác minh. Nó cho bạn biết nên nghi ở đâu, còn câu trả lời cuối cùng vẫn nằm ở nguồn gốc. Bài này giải thích vì sao các AI hay đồng ý với nhau, cách hỏi chéo cho ra thông tin, cách đọc từng kiểu kết quả và những lúc hỏi chéo đánh lừa bạn.
Vì sao các chatbot hay đồng ý với nhau, kể cả khi sai
Các mô hình ngôn ngữ lớn của những hãng khác nhau được huấn luyện trên những kho dữ liệu khác nhau, nhưng phần lớn đều dựa vào cùng một nguồn khổng lồ: văn bản công khai trên mạng. Nếu một thông tin sai đã được chép đi chép lại trên hàng trăm trang, mọi mô hình đều có khả năng học cái sai đó như một sự thật phổ biến. Đồng ý ở đây phản ánh độ phổ biến của thông tin, không phản ánh độ đúng.
Khi có tìm web, hiện tượng này còn rõ hơn. Các chatbot gửi truy vấn đến công cụ tìm kiếm và nhận về những trang xếp hạng cao cho truy vấn đó. Với cùng một câu hỏi, chúng rất dễ đọc cùng vài trang đầu. Nếu trang đầu sai, cả ba chatbot sẽ sai giống nhau, và bạn có cảm giác đã được ba nguồn độc lập xác nhận.
Ngoài ra, ngày càng nhiều nội dung trên mạng do chính AI viết ra. Một bài viết hàng loạt chứa lỗi có thể được các mô hình khác đọc lại, khiến lỗi được củng cố. Đây là lý do người làm nghề kiểm chứng luôn hỏi "các nguồn này có thật sự độc lập không", chứ không chỉ đếm số nguồn.
Đọc kết quả hỏi chéo: mỗi kiểu nghĩa là gì
Sau khi hỏi hai hoặc ba chatbot, bạn sẽ gặp một trong các tình huống dưới đây. Mỗi tình huống dẫn đến một việc cần làm khác nhau:
| Kết quả | Nghĩa là gì | Việc làm tiếp |
|---|---|---|
| Cùng đồng ý, cùng dẫn một nguồn chính thức | Khả năng đúng khá cao, nhưng thực chất chỉ có một nguồn | Mở nguồn đó, đọc đúng đoạn, kiểm ngày |
| Cùng đồng ý, không ai dẫn nguồn | Có thể là kiến thức phổ biến, cũng có thể là lỗi phổ biến | Tự tìm nguồn gốc; đừng coi là đã xác minh |
| Khác nhau về con số, ngày tháng | Ít nhất một bên sai hoặc dùng bản cũ | Tìm nguồn chính thức, xem ngày công bố |
| Khác nhau về định nghĩa, phạm vi | Câu hỏi có thể mơ hồ, mỗi AI hiểu một kiểu | Viết lại câu hỏi rõ hơn rồi hỏi lại |
| Một bên từ chối hoặc nói không biết | Có thể bên đó thận trọng hơn, không phải kém hơn | Coi câu "không biết" là tín hiệu cần kiểm kỹ |
| Mỗi bên một nguồn khác nhau, nội dung khớp | Gần với xác nhận độc lập nhất | Kiểm xem các nguồn có chép lại nhau không |
Dòng cuối là trường hợp tốt nhất, nhưng cũng cần cảnh giác: nhiều trang tin khác nhau có thể cùng chép một thông cáo. Hãy xem các nguồn có cùng câu chữ, cùng lỗi chính tả, cùng dẫn một nơi không.
Cách hỏi chéo cho ra thông tin
Hỏi chéo chỉ có giá trị khi làm có kỷ luật. Năm bước sau giúp bạn so được những thứ đáng so:
- Viết một câu hỏi rõ ràng, có bối cảnh và yêu cầu nguồn, rồi dán nguyên văn cho từng chatbot. Câu hỏi khác nhau thì câu trả lời khác nhau là đương nhiên, không nói lên gì.
- Mở cuộc trò chuyện mới cho mỗi lần hỏi, để câu trả lời không bị ảnh hưởng bởi những gì đã trao đổi trước đó.
- Yêu cầu mỗi chatbot tách câu trả lời thành các nhận định đánh số và ghi nguồn cho từng nhận định.
- Đặt các câu trả lời cạnh nhau, so từng nhận định quan trọng: con số, ngày, tên gọi, điều kiện. Đánh dấu chỗ khớp và chỗ lệch.
- Với mỗi chỗ lệch và mỗi chỗ khớp mà không có nguồn, tự tìm nguồn gốc. Chỉ chỗ khớp có nguồn chính thức đã được bạn đọc mới coi là xong.
Đừng dán câu trả lời của chatbot này vào chatbot kia và hỏi "đúng không". AI có xu hướng đồng ý với đoạn văn trông hợp lý, hoặc ngược lại cố tìm lỗi cho có, và bạn khó biết kiểu nào đang diễn ra.
Hỏi chéo hợp với việc gì
Khoanh vùng chỗ cần kiểm trong câu trả lời dài. Khi câu trả lời có mười chi tiết, hỏi chéo giúp bạn biết hai ba chi tiết nào có vấn đề, thay vì phải kiểm cả mười.
Tìm thêm góc nhìn và từ khoá. Mỗi chatbot có thể nêu một khía cạnh, một thuật ngữ mà bên kia bỏ qua. Gom lại giúp bạn có bộ từ khoá đầy đủ để tự tìm.
Phát hiện câu hỏi mơ hồ. Khi các AI hiểu câu hỏi theo những cách khác nhau, đó là dấu hiệu câu hỏi của bạn chưa đủ rõ, và hiểu ra điều đó cũng có giá trị.
Kiểm nhanh kiến thức nền. Với những câu hỏi về khái niệm phổ biến, hỏi chéo thấy khớp thì bạn có thể yên tâm hơn ở mức đủ dùng cho hiểu biết chung.
Chuẩn bị câu hỏi cho người có chuyên môn. Khi các AI đưa ra những cách hiểu khác nhau về một vấn đề pháp lý, sức khoẻ hay kỹ thuật, danh sách những điểm khác nhau đó chính là bộ câu hỏi tốt để mang đến gặp luật sư, bác sĩ hay kỹ sư.
Không hợp để chốt con số, văn bản, ngày giờ. Ba chatbot khớp nhau một con số vẫn chưa thay được việc xem con số đó trên trang của cơ quan công bố.
Ví dụ giả định: năm thành lập một ngôi trường
Một cựu học sinh ở Quảng Trị chuẩn bị bài phát biểu cho lễ kỷ niệm của trường cũ, muốn kiểm năm thành lập trường. Anh hỏi ba chatbot cùng một câu. Hai chatbot đưa cùng một năm, chatbot thứ ba đưa năm sớm hơn hai năm. Không bên nào dẫn nguồn chính thức; một bên dẫn một bài báo địa phương. Đây là ví dụ giả định, nhưng loại câu hỏi này rất hay khiến AI lúng túng vì dữ liệu về trường học ở địa phương thường ít.
Nếu chỉ đếm phiếu, anh sẽ chọn năm mà hai chatbot đồng ý. Thay vào đó, anh mở bài báo được dẫn và thấy bài viết nói về năm trường được đổi tên và nâng cấp, còn năm thành lập thực tế được nhắc ở cuối bài, trùng với con số của chatbot thứ ba. Anh kiểm thêm trang thông tin của trường và hỏi thầy cô lâu năm, cả hai đều xác nhận năm sớm hơn.
Hai chatbot "đa số" đã cùng nhầm năm đổi tên với năm thành lập, có thể vì cùng đọc phần đầu của những trang giống nhau. Bài học: chỗ bất đồng là tín hiệu quý, và người đúng có khi là thiểu số. Với thông tin về một trường, một cơ quan ở địa phương, người trong cuộc và tài liệu của chính đơn vị luôn là nguồn chốt.
Hỏi chéo đúng nghĩa: so AI với nguồn không phải AI
Người làm nghề kiểm chứng thông tin coi một nhận định là được xác nhận khi có ít nhất hai nguồn độc lập cùng ủng hộ, tức hai nguồn không lấy thông tin của nhau và không cùng lấy từ một gốc. Theo nghĩa đó, ba chatbot hiếm khi là ba nguồn độc lập. Chúng giống ba người cùng đọc một tờ báo rồi kể lại cho bạn, kể bằng ba giọng khác nhau.
Hỏi chéo hiệu quả hơn nhiều khi một vế là AI và vế kia là thứ không đi qua AI: văn bản gốc của cơ quan, sách in, tài liệu của nhà sản xuất, một người trong nghề, hoặc chính kết quả tìm kiếm thông thường mà bạn tự đọc. Mỗi loại nguồn này có cách sai riêng, không trùng với cách sai của mô hình ngôn ngữ, nên khi chúng khớp nhau thì khả năng cùng sai thấp hơn hẳn.
Trong thực tế, một vòng kiểm tốt thường là: hỏi một chatbot để có câu trả lời và danh sách nhận định, hỏi chatbot thứ hai để tìm chỗ lệch, rồi với mỗi chi tiết quan trọng thì đối chiếu với ít nhất một nguồn không phải AI. Bước cuối là bước không thay được, hai bước đầu chỉ giúp bạn biết phải đối chiếu chỗ nào.
Khi nào hỏi chéo đánh lừa bạn
Có những tình huống mà hỏi chéo không những không giúp mà còn làm bạn tin sai hơn:
- Thông tin sai đã lan rộng trên mạng: mọi AI đều học nó, đồng thuận cao mà vẫn sai.
- Thông tin mới sau mốc kiến thức của các mô hình: cả ba cùng đưa bản cũ, giống nhau đến từng chữ.
- Câu hỏi có tiền đề sai, như hỏi về một cơ quan hay cấp hành chính không còn: các AI có thể cùng trả lời thẳng thay vì sửa tiền đề.
- Bạn hỏi nhiều lần cho đến khi nhận được câu trả lời mình muốn: đó là chọn lọc, không phải kiểm chứng.
- Bạn dùng nhiều ứng dụng nhưng thực chất chúng chạy cùng một mô hình bên dưới: không có gì độc lập để so.
Khi hỏi chéo về những việc có thông tin cá nhân hay nội bộ, nhớ rằng bạn đang gửi cùng dữ liệu cho nhiều dịch vụ. Che tên, số giấy tờ, số tài khoản và bí mật kinh doanh trước khi dán, hoặc viết lại câu hỏi ở dạng chung. Mỗi dịch vụ có chính sách lưu trữ riêng, và hỏi chéo nghĩa là cùng một đoạn dữ liệu nằm ở nhiều nơi hơn. Với tài liệu nội bộ công ty, kiểm trước quy định của nơi bạn làm việc về việc dùng công cụ AI nào.
Câu hỏi thường gặp
Hỏi ba chatbot đều ra cùng một đáp án thì có cần kiểm nữa không?
Với kiến thức phổ biến dùng để hiểu chung thì mức đó thường đủ. Với con số, ngày tháng, quy định, thông tin địa phương hay thông tin sẽ dùng cho việc thật, vẫn cần mở nguồn chính thức, vì các chatbot có thể cùng học hoặc cùng đọc một nguồn sai.
Bấm tạo lại câu trả lời trong cùng một chatbot có tác dụng như hỏi chéo không?
Có tác dụng ở mức nhỏ. Nếu mỗi lần tạo lại ra một con số khác, đó là dấu hiệu mô hình không chắc và bạn phải kiểm. Nhưng các lần tạo lại vẫn dựa trên cùng một mô hình, nên khớp nhau không nói lên nhiều.
Có nên dùng một chatbot để chấm câu trả lời của chatbot khác không?
Không nên coi đó là kiểm chứng. AI chấm có thể đồng ý vì đoạn văn trông hợp lý, hoặc cố tìm lỗi không có. Nếu dùng, chỉ để gợi ý chỗ cần nghi, rồi tự mở nguồn gốc để xác nhận.
Làm sao biết hai ứng dụng AI có dùng chung một mô hình không?
Nhiều ứng dụng ghi rõ trong phần giới thiệu hoặc cài đặt là chúng dùng mô hình của hãng nào. Một số ứng dụng cho chọn mô hình. Nếu không thấy thông tin, bạn không nên coi hai ứng dụng đó là hai nguồn độc lập.
Hỏi chéo tốn thời gian, có cách nào nhanh hơn không?
Bạn có thể chỉ hỏi chéo với những chi tiết quan trọng thay vì cả câu trả lời: chép riêng con số hoặc ngày cần kiểm, hỏi ngắn gọn ở chatbot thứ hai. Với chi tiết thật sự quan trọng, đi thẳng tới nguồn chính thức thường còn nhanh hơn hỏi chéo.
Khi các chatbot bất đồng mà không tìm được nguồn chính thức thì làm gì?
Ghi nhận rằng thông tin chưa xác định được, và tránh dùng hoặc chia sẻ như một sự thật. Nếu cần cho việc quan trọng, hỏi trực tiếp người hoặc đơn vị sở hữu thông tin, như cơ quan, nhà trường, nhà sản xuất.