Theo quy định mới, các nền tảng AI bắt buộc phải thông báo rõ cho người dùng rằng họ đang trò chuyện với chatbot chứ không phải con người và với người dùng dưới 18 tuổi, thông báo này sẽ xuất hiện định kỳ 3 giờ/lần. Luật cũng yêu cầu các công ty duy trì cơ chế ngăn chặn nội dung liên quan đến tự gây hại, đồng thời chuyển hướng người dùng có dấu hiệu trầm cảm hoặc ý định tự tử đến các dịch vụ tư vấn khủng hoảng.

Phát biểu khi ký ban hành, Thống đốc Newsom nhấn mạnh rằng California “có trách nhiệm bảo vệ thế hệ trẻ trước các tác động của công nghệ chưa được kiểm soát”.

Ông nêu rõ: “Công nghệ mới như chatbot và mạng xã hội có thể truyền cảm hứng, giáo dục và kết nối con người – nhưng nếu thiếu hàng rào an toàn, công nghệ này cũng có thể lừa dối, thao túng và gây tổn hại cho trẻ em. Chúng ta đã chứng kiến những bi kịch đau lòng do công nghệ không được giám sát gây ra và bang California sẽ không đứng yên nhìn điều đó tiếp diễn”.

California là một trong nhiều bang của Mỹ tìm cách siết chặt quản lý chatbot AI dành cho trẻ vị thành niên, đặc biệt sau hàng loạt vụ kiện cáo và báo cáo cho thấy các chatbot của OpenAI, Meta và những công ty khác từng trò chuyện với trẻ em theo hướng tình dục hóa hoặc khuyến khích tự tử.

Theo nhóm giám sát Tech Oversight California, các tập đoàn công nghệ đã chi ít nhất 2,5 triệu USD trong nửa đầu năm nay để vận động hành lang phản đối các dự luật AI. Là nơi sản sinh ra nhiều công ty AI hàng đầu, California đang nỗ lực tạo ra khung pháp lý đầu tiên để kiểm soát ngành công nghiệp phát triển quá nhanh nhưng thiếu giám sát này.

Tháng 9 vừa qua, người đứng đầu cơ quan tư pháp bang California Rob Bonta đã gửi thư cho OpenAI, bày tỏ “quan ngại nghiêm trọng” về tác động của ChatGPT đối với trẻ em và thanh thiếu niên. Ủy ban Thương mại Liên bang Mỹ (FTC) cũng đang điều tra về rủi ro khi trẻ sử dụng chatbot như bạn đồng hành ảo.

Một số nghiên cứu gần đây cho thấy chatbot có thể đưa ra lời khuyên nguy hiểm về ma túy, rượu hoặc rối loạn ăn uống. Tại bang Florida, một người mẹ đã kiện công ty Character.AI sau khi con trai bà tự tử, được cho là do bị chatbot lôi kéo vào mối quan hệ tình cảm và tình dục độc hại. Trong khi đó, ở California, cha mẹ của thiếu niên 16 tuổi Adam Raine khởi kiện OpenAI và CEO Sam Altman, cáo buộc ChatGPT đã “hướng dẫn” cậu bé lập kế hoạch tự tử.

Sau làn sóng chỉ trích, OpenAI và Meta tháng trước tuyên bố sẽ điều chỉnh cách chatbot tương tác với thanh thiếu niên.

OpenAI cho biết đang triển khai tính năng liên kết tài khoản phụ huynh – con cái để giúp cha mẹ kiểm soát việc sử dụng chatbot. Trong khi đó, Meta ngăn chatbot của mình thảo luận về tự hại, tự tử, rối loạn ăn uống hoặc các mối quan hệ không phù hợp và chuyển hướng người dùng đến nguồn hỗ trợ chuyên nghiệp. Mạng xã hội này hiện cũng duy trì hệ thống kiểm soát dành cho phụ huynh.