Theo các tổ chức, Grok cho phép người dùng tạo ra các hình ảnh khiêu dâm hoặc khỏa thân dàn dựng (deepfake) của cá nhân mà không có sự đồng ý và tạo ra, phát tán hình ảnh mô tả hành vi lạm dụng tình dục đối với trẻ em. Họ cho rằng sự gia tăng số lượng nạn nhân là đáng báo động và cần phải có hành động khẩn cấp để chấm dứt sự lạm dụng này.
Cụ thể, người dùng Grok có thể yêu cầu tạo ra những hình ảnh phản cảm, như hình ảnh khỏa thân giả mạo từ các bức ảnh đã được đăng tải trực tuyến, hoặc thậm chí hình ảnh của trẻ vị thành niên trong những tình huống khiêu dâm. Điều này đã gây ra sự lo ngại lớn trong cộng đồng, khi các tổ chức này chỉ ra rằng lạm dụng tình dục trực tuyến có thể gây ra những tác động tâm lý nặng nề cho các nạn nhân, tương tự như những tổn thương do lạm dụng trong thế giới thực, bao gồm cảm giác xấu hổ, căng thẳng kéo dài và trong một số trường hợp, có thể dẫn đến suy nghĩ tự tử.
Giám đốc điều hành của Offlimits, ông Robbert Hoving, cho biết những hình ảnh được tạo ra hoặc chỉnh sửa bằng công cụ AI đang được sử dụng để bắt nạt, đe dọa tình dục và làm nhục các nạn nhân trên mạng. Sự dễ dàng tiếp cận các công cụ này khiến việc tạo và phát tán những nội dung độc hại trở nên dễ dàng hơn bao giờ hết.
Vụ kiện sẽ được xét xử tại Tòa án ở Amsterdam vào ngày 12/3. Sự việc này xảy ra trong bối cảnh công cụ Grok đang phải đối mặt với sự giám sát ngày càng tăng. Ngày 26/1, Ủy ban châu Âu (EC) đã mở cuộc điều tra mới nhằm rà soát việc mạng xã hội X thực hiện các nghĩa vụ theo Đạo luật Dịch vụ Kỹ thuật số (DSA), đặc biệt liên quan đến hệ thống đề xuất nội dung và công cụ trí tuệ nhân tạo (AI) Grok. Đây là bước tiếp theo và mở rộng của đợt kiểm tra bắt đầu từ tháng 12/2023 nhằm vào nền tảng này. Cuộc điều tra tập trung làm rõ việc X đã nhận diện, đánh giá và giảm thiểu các rủi ro phát sinh từ Grok tại thị trường Liên minh châu Âu (EU) hay chưa, nhất là các nguy cơ phát tán nội dung bất hợp pháp, hình ảnh khiêu dâm dàn dựng, trong đó có cả những trường hợp lạm dụng tình dục trẻ em.
Ngoài ra, vào ngày 3/2, cơ quan bảo vệ dữ liệu của Anh cũng mở các cuộc điều tra chính thức đối với X và X.AI, liên quan đến việc xử lý dữ liệu cá nhân và khả năng tạo ra nội dung khiêu dâm có hại từ hệ thống AI Grok.
