Theo chính sách mới, Anthropic không cho phép người dùng liên tục có hành vi lạm dụng hoặc đối xử tàn nhẫn không cần thiết với các mô hình AI. Để thực thi quy định, chatbot Claude có thể chủ động chấm dứt những cuộc trò chuyện như vậy.
Dù không trực tiếp đề cập đến khái niệm “phúc lợi mô hình” (model welfare) - quan điểm cho rằng các hệ thống AI có thể cần được bảo vệ theo cách thường dành cho sinh vật sống - Anthropic và lãnh đạo công ty từng nhiều lần công khai thảo luận về vấn đề này. Từ năm 2025, Anthropic cho biết Claude có thể kết thúc cuộc trò chuyện trong những trường hợp hiếm gặp, khi người dùng liên tục có hành vi gây hại hoặc lạm dụng nghiêm trọng. Tháng 2/2026, Giám đốc điều hành (CEO) Anthropic Dario Amodei cho biết ông chưa chắc chắn liệu các mô hình AI có ý thức hay không, nhưng không loại trừ khả năng này.
Theo ông Jackson Stakeman, Tổng Giám đốc công ty cung cấp dịch vụ AI Sparq có trụ sở tại Atlanta (Mỹ), việc tập trung tranh luận về ý thức của AI có thể không phải hướng tiếp cận phù hợp. Ông cho rằng các hệ thống AI phản ánh và khuếch đại những gì con người đưa vào, qua đó cho thấy tầm quan trọng của việc xây dựng chính sách sử dụng AI có trách nhiệm. Tuy nhiên, khả năng máy móc có ý thức vẫn là chủ đề gây tranh cãi. Giám đốc AI của Microsoft Mustafa Suleyman khẳng định AI không có ý thức, không có cảm nhận hay trải nghiệm và không thể chịu đau khổ. Ông cảnh báo việc trao quyền hoặc sự bảo vệ về mặt đạo đức cho các thực thể công nghệ ngày càng có năng lực lớn có thể tiềm ẩn những rủi ro nghiêm trọng.
Trong bài giảng bằng tiếng Italy tại Vương cung thánh đường St. Peter ở Vatican ngày 8/10, Giáo hoàng Leo XIV cũng nhấn mạnh sự khác biệt giữa con người và máy móc. Theo Giáo hoàng, máy móc có thể xử lý dữ liệu nhanh chóng, nhưng trí tuệ con người còn gắn liền với trải nghiệm sống, chiều sâu ý nghĩa và khả năng nhận ra những giá trị tốt đẹp từ chính các trải nghiệm đó.
