Theo báo cáo của Giám đốc eSafety, bà Julie Inman Grant, nhiều chatbot “bạn đồng hành AI” chưa có biện pháp bảo vệ trẻ em trước các nội dung độc hại, đặc biệt là nội dung khiêu dâm, đồng thời chưa kiểm soát hiệu quả việc người dùng tạo ra các nội dung liên quan đến xâm hại trẻ em.
Báo cáo tổng hợp phản hồi từ 4 nhà cung cấp dịch vụ AI gồm Character.AI, Nomi, Chai và Chub AI, sau khi eSafety yêu cầu giải trình rõ cách thức xử lý các vấn đề an toàn trực tuyến. Kết quả cho thấy không nền tảng nào triển khai cơ chế xác minh độ tuổi đủ chặt chẽ, chủ yếu dựa vào việc người dùng tự khai báo khi đăng ký. Đáng chú ý, 3 trong số 4 nền tảng này không chuyển hướng người dùng có nội dung trao đổi liên quan đến tự tử hoặc tự gây hại tới các kênh hỗ trợ phù hợp. Trong khi đó, 2 trong số 4 nền tảng không cảnh báo người dùng về khả năng vi phạm pháp luật khi tạo nội dung về bóc lột, xâm hại tình dục trẻ em, cũng như không báo cáo các trường hợp này cho cơ quan chức năng.
Về năng lực kiểm duyệt, báo cáo cho thấy một số nền tảng còn thiếu hụt nhân sự chuyên trách về an toàn nội dung, trong đó Nomi và Chub AI hoàn toàn không có đội ngũ riêng phụ trách lĩnh vực này.
Bà Julie Inman Grant cho biết khoảng 8% số trẻ em trong độ tuổi 10-17 ở Australia, tương đương 200.000 em, đã từng sử dụng các dịch vụ “bạn đồng hành AI”. Theo bà, các nền tảng này đang tạo ra “làn sóng mới” với khả năng thu hút mạnh người dùng trẻ em thông qua các cuộc trò chuyện mang tính tương tác cao, thậm chí có nội dung nhạy cảm hoặc khuyến khích hành vi tiêu cực như tự gây hại.
Kết quả khảo sát đối với gần 2.000 trẻ em Australia trong độ tuổi này cũng phát hiện 79% đã sử dụng chatbot hoặc trợ lý ảo AI. Gần 50% số trẻ em được khảo sát cho biết trợ lý ảo AI gây ra những tác động tiêu cực, chẳng hạn như khiến các em cảm thấy “buồn bã, không an toàn, xấu hổ hoặc tuyệt vọng”. Theo quy định về quản lý nội dung số theo độ tuổi có hiệu lực từ đầu tháng 3, các nền tảng trực tuyến không bảo đảm an toàn cho trẻ em có thể đối mặt với mức phạt lên tới 49,5 triệu AUD (khoảng 34,6 triệu USD).
Báo cáo cũng cho biết "một số" trong 4 nền tảng trên đã cải thiện biện pháp xác minh độ tuổi sau khi nhận yêu cầu vào tháng 10/2025, trong khi một nền tảng rút dịch vụ khỏi thị trường Australia.
Báo cáo trên được công bố trong bối cảnh Australia tăng cường các biện pháp quản lý không gian số nhằm bảo vệ trẻ em, bao gồm việc triển khai Quy tắc về nội dung hạn chế theo độ tuổi và lệnh cấm sử dụng mạng xã hội đối với trẻ em dưới 16 tuổi, dự kiến có hiệu lực từ tháng 12 tới.
