Meta đang xây dựng một siêu máy tính khổng lồ có tên AI Research SuperCluster. Ảnh: CNN
Theo kênh CNN, ngày 24/1, Meta đã công bố AI Research SuperCluster (RSC) mới. Đây là một siêu máy tính được sử dụng cho các dự án nghiên cứu AI. Siêu máy tính đã được nghiên cứu trong hai năm qua và cuối cùng có thể giúp Meta phát triển phần mềm AI mạnh mẽ hơn nhiều. Siêu máy tính này có thể hữu ích trong các nhiệm vụ phức tạp như phát hiện phát ngôn thù hận trong các bài đăng.
Ông Shubho Sengupta, kỹ sư phần mềm tại Meta, cho biết các siêu máy tính ngày càng trở nên phổ biến và mạnh hơn trong những năm gần đây đối với nghiên cứu AI. Máy tính Summit của Bộ Năng lượng Mỹ là siêu máy tính nhanh nhất của Mỹ và nhanh thứ hai trên thế giới. Máy tính này đã được sử dụng để hỗ trợ nghiên cứu những thứ như các protein lạ. Một số công ty công nghệ lớn, chẳng hạn như Microsoft và Nvidia, cũng có siêu máy tính để sử dụng riêng.
Trong một bài đăng trên blog ngày 24/1, ông Senguptacho biết tính đến tháng 1, siêu máy tính của Meta có 6.080 GPU, được chia cho 760 nút, có khả năng biến nó trở thành một trong những siêu máy tính mạnh nhất thế giới.
Với kích thước hiện tại, siêu máy tính của Meta ngang với siêu máy tính Perlmutter đứng thứ 5 trên thế giới tại Trung tâm Máy tính Khoa học Nghiên cứu Năng lượng Quốc gia.
Tuy nhiên, khi hoàn thành vào cuối năm nay, Meta cho biết siêu máy tính sẽ có 16.000 GPU và công ty hy vọng nó sẽ có khả năng đạt hiệu suất tính toán gần 5 exaflop - tức là 5 tỷ tỷ hoạt động mỗi giây.
Ông Sengupta cho biết: “Khi được xây dựng hoàn chỉnh, cụm máy tính sẽ có kích thước gần như gấp ba lần và sẽ trở thành siêu máy tính AI nhanh nhất trên thế giới”.
Meta cho biết các nhà nghiên cứu đã bắt đầu sử dụng siêu máy tính này để đào tạo các mô hình lớn liên quan đến xử lý ngôn ngữ tự nhiên và thị giác máy tính. Các nhà nghiên cứu sẽ có thể sử dụng siêu máy tính để phân tích liền mạch văn bản, hình ảnh và video cùng nhau và đưa ra công cụ thực tế tăng cường. Dần dần, Meta hy vọng siêu máy tính sẽ cho phép công ty xây dựng các hệ thống AI hoàn toàn mới có thể thực hiện các nhiệm vụ khó tính toán như dịch theo thời gian thực cho một nhóm lớn những người nói các ngôn ngữ khác nhau.
Công ty cho biết các cuộc thử nghiệm ban đầu cho thấy siêu máy tính này có thể đào tạo các mô hình ngôn ngữ lớn nhanh hơn ba lần so với hệ thống mà nó đang sử dụng. Điều đó có nghĩa là một mô hình AI sẽ mất 9 tuần để đào tạo với hệ thống hiện có, nhưng có thể được đào tạo trong ba tuần với siêu máy tính.
Meta hy vọng siêu máy tính mới cuối cùng sẽ có thể đào tạo các mô hình AI với hàng nghìn tỷ thông số. Hiện chỉ có một số mô hình AI có quy mô đó. Nó cũng sẽ lớn hơn nhiều lần so với GPT-3, là một mô hình ngôn ngữ lớn của OpenAI có thể tạo ra văn bản có âm thanh của con người và đang được sử dụng cho các ứng dụng như phần mềm học ngôn ngữ và phần mềm thuế cho những người làm nghề tự do.
Cuối cùng, Meta cho biết, siêu máy tính tạo điều kiện hình thành các công nghệ cần thiết để xây dựng vũ trụ ảo (metaverse). Facebook đã coi metaverse là tương lai của công ty.