Vụ việc cho thấy chatbot làm gia tăng sự hỗn loạn thông tin khi các nền tảng trực tuyến giảm bớt việc kiểm chứng thông tin và kiểm duyệt nội dung của con người.
Cụ thể, Grok đã xác định sai ông Ahmed al Ahmed, người được ca ngợi như một anh hùng của bãi biển Bondi sau khi liều mạng giằng lấy khẩu súng từ một trong những kẻ tấn công. Sau đó, Grok thừa nhận đã nhầm lẫn hình ảnh của ông Ahmed với một con tin người Israel bị nhóm Hồi giáo cực đoan Hamas giam giữ hơn 700 ngày.
Khi được hỏi về một cảnh khác từ vụ tấn công, Grok thông tin sai rằng đó là đoạn phim từ "cơn bão nhiệt đới Alfred" gây ra thời tiết xấu trên khắp bờ biển Australia hồi đầu năm nay. Sau khi một người dùng khác yêu cầu chatbot xem xét lại câu trả lời, Grok mới rút lại và thừa nhận đoạn phim đó là từ vụ xả súng ở bãi biển Bondi.
Trong một sự nhầm lẫn khác, tổ chức giám sát thông tin sai lệch NewsGuard cho biết, sau vụ tấn công ở Sydney, người dùng mạng đã lan truyền hình ảnh một trong những người sống sót với tuyên bố sai sự thật rằng người này là một "diễn viên đóng giả nạn nhân".
Cụm từ "diễn viên đóng giả nạn nhân" là thuật ngữ miệt thị được những người theo thuyết âm mưu sử dụng để cáo buộc rằng có ai đó đang lừa dối công chúng - giả vờ bị thương hoặc chết - khi đóng vai nạn nhân của một sự kiện bi thảm. Khi người dùng đặt câu hỏi về độ chân thực của bức ảnh nạn nhân sống sót với vệt máu trên mặt, Grok thừa nhận đã dán nhãn sai cho hình ảnh này là “giả mạo”.
Những thông tin sai lệch nói trên càng khẳng định điều mà các nhà nghiên cứu nhấn mạnh là sự thiếu tin cậy của chatbot AI trong vai trò công cụ kiểm chứng thông tin. Người dùng mạng Internet ngày càng ưa sử dụng chatbot để xác minh hình ảnh trong thời gian thực, nhưng các công cụ này thường thất bại.
Các nhà nghiên cứu cho rằng các mô hình AI có thể hữu ích cho những người kiểm chứng thông tin chuyên nghiệp, giúp nhanh chóng định vị địa lý qua hình ảnh và phát hiện các manh mối trực quan để xác định tính xác thực. Tuy nhiên, chúng không thể thay thế hoàn toàn công việc của những nhà kiểm chứng thông tin được đào tạo bài bản.
