Theo thông báo, Cerebras đã phát hành bảy mô hình, tất cả đều được đào tạo trên siêu máy tính AI có tên Andromeda, bao gồm các mô hình ngôn ngữ nhỏ có 111 triệu tham số và một mô hình ngôn ngữ lớn hơn có 13 tỷ tham số. Một mô hình có càng nhiều tham số thì càng có thể thực hiện các chức năng tổng quát phức tạp hơn.
Ví dụ, chatbot ChatGPT của công ty OpenAI ra mắt vào cuối năm ngoái có 175 tỷ tham số. Chatbot này có thể tạo ra các bài thơ ca và nghiên cứu, từ đó thu hút sự quan tâm và tài trợ lớn của các doanh nghiệp cho hoạt động phát triển AI.
Cerebras cho biết các mô hình AI nhỏ có thể được triển khai trên điện thoại hoặc loa thông minh, trong khi các mô hình lớn hơn chạy trên máy tính cá nhân hoặc máy chủ. Công ty lưu ý các tác vụ phức tạp như tóm tắt đoạn văn lớn yêu cầu các mô hình quy mô lớn hơn.
Tuy nhiên, ông Karl Freund, nhà tư vấn về chip tại công ty nghiên cứu Cambrian AI cho biết “lớn hơn không phải lúc nào cũng tốt hơn”.
Ông Freund nói rằng đã có một số báo cáo cho thấy một mô hình có lượng tham số nhỏ hơn vẫn có thể vận hành chính xác nếu người dùng huấn luyện nó nhiều hơn. Vì vậy, chuyên gia này đánh giá sẽ có một sự đánh đổi giữa một mô hình có quy mô tham số lớn và mô hình được đào tạo sâu hơn.
Ông Andrew Feldman, người sáng lập và Giám đốc điều hành (CEO) của Cerebras cho biết mô hình lớn nhất của công ty mất hơn một tuần để đào tạo trong khi việc này thường có thể mất vài tháng. Sự tăng tốc đó là nhờ kiến trúc của hệ thống Cerebras, bao gồm một con chip có kích thước bằng một chiếc đĩa ăn tối được chế tạo để chuyên đào tạo AI.
Hầu hết các mô hình AI ngày nay đều được đào tạo trên chip của công ty Nvidia Corp, nhưng ngày càng có nhiều công ty như Cerebras đang cố gắng cạnh tranh giành được thị phần trong thị trường đó. Ông Feldman cho biết các mô hình được đào tạo trên hệ thống Cerebras cũng có thể được sử dụng trên các hệ thống Nvidia để đào tạo hoặc tùy chỉnh thêm.