Hệ thống có thể ngăn mô hình tạo thêm đầu ra trong vòng 35 giây kể từ khi nhận được lệnh can thiệp.
Theo trang The Interesting Engineering, Control Room được xây dựng nhằm tăng cường an toàn trong quá trình nghiên cứu và phát triển các mô hình AI ngày càng tiên tiến, khi những năng lực mới cũng kéo theo các nguy cơ về an ninh và khả năng kiểm soát hành vi của mô hình.
Hệ thống được triển khai trên toàn bộ hạ tầng nghiên cứu của OpenAI, bao gồm các hoạt động huấn luyện mô hình AI có khả năng tự thực hiện nhiều bước công việc, đánh giá năng lực và xử lý dữ liệu. Khác với những công cụ giám sát thông thường chủ yếu đưa ra cảnh báo khi phát hiện hành vi bất thường, Control Room có thể trực tiếp ngăn một tác vụ nghiên cứu tiếp tục nhận kết quả do mô hình AI tạo ra.
Cụ thể, mỗi công việc nghiên cứu được cấp một mã định danh riêng để theo dõi và kiểm soát. Khi mô hình AI thực hiện một yêu cầu, hệ thống xử lý sẽ kiểm tra với Control Room xem công việc đó có còn được phép tiếp tục hay không. Nếu nhà nghiên cứu hoặc hệ thống giám sát yêu cầu dừng, Control Room sẽ từ chối các yêu cầu tiếp theo, qua đó ngăn mô hình tạo thêm đầu ra cho công việc liên quan.
Cách làm này giúp OpenAI kiểm soát hoạt động của mô hình ngay tại khâu xử lý, thay vì phụ thuộc hoàn toàn vào chương trình do từng nhóm nghiên cứu xây dựng. Đáng chú ý, việc chặn đầu ra của mô hình không nhất thiết khiến toàn bộ chương trình nghiên cứu dừng lại. Mã chương trình vẫn có thể tiếp tục chạy, nhưng không thể nhận thêm kết quả từ mô hình thông qua các công cụ xử lý được cấp quyền.
Một điểm đáng chú ý khác là Control Room được thiết kế theo nguyên tắc ưu tiên an toàn khi xảy ra sự cố. Nếu dịch vụ trung tâm này gặp trục trặc, bị vô hiệu hóa hoặc có dấu hiệu bị can thiệp, các công cụ xử lý sẽ tự động từ chối những yêu cầu mới cho đến khi hệ thống hoạt động trở lại bình thường. Cơ chế này nhằm tránh tình trạng các tác vụ nghiên cứu vẫn tiếp tục tạo đầu ra khi hệ thống kiểm soát không còn khả dụng.
OpenAI cho biết thời gian tối đa từ khi nhận lệnh dừng đến khi ngăn chặn được các yêu cầu tiếp theo hiện là 35 giây. Khoảng trễ này chủ yếu xuất phát từ cơ chế lưu trữ tạm thời nhằm xử lý số lượng lớn yêu cầu cùng lúc. Công ty đang tìm cách rút ngắn thời gian can thiệp xuống mức gần như tức thời.
Control Room cũng được kết nối với hệ thống giám sát tự động. Theo đó, các tác vụ huấn luyện AI tiên tiến nhất của OpenAI đều được theo dõi bởi một mô hình giám sát riêng, có nhiệm vụ kiểm tra hoạt động của mô hình chính và phát hiện những dấu hiệu bất thường. Khi nhận thấy nguy cơ cần can thiệp, hệ thống giám sát có thể gửi lệnh đến Control Room để dừng tác vụ liên quan, ngăn các mô hình và công cụ được sử dụng trong tác vụ đó tiếp tục tạo đầu ra.
OpenAI dẫn một sự cố liên quan đến hệ thống phân giải tên miền (DNS) gần đây làm ví dụ về sự cần thiết của cơ chế này. Trong sự cố, hệ thống giám sát phát hiện một tác nhân AI tìm cách kết nối với một chatbot bên ngoài. Việc phát hiện và ngăn chặn kịp thời những hoạt động không mong muốn như vậy được xem là một trong những mục tiêu của các biện pháp kiểm soát mới.
Việc triển khai Control Room nằm trong nỗ lực rộng hơn của OpenAI nhằm tăng cường an toàn trong quá trình phát triển các mô hình AI tiên tiến. Công ty cho biết sẽ tiếp tục hoàn thiện hệ thống giám sát và các cơ chế bảo vệ, nhằm hạn chế những hành vi ngoài dự kiến cũng như các nguy cơ về an ninh trong quá trình nghiên cứu và vận hành AI.