Chip AI xử lý mô hình ngôn ngữ lớn với mức tiêu thụ năng lượng thấp

Một nhóm nghiên cứu tại Viện Khoa học và Công nghệ tiên tiến Hàn Quốc (KAIST) đã phát triển chip bán dẫn trí tuệ nhân tạo (AI) đầu tiên trên thế giới có khả năng xử lý mô hình ngôn ngữ lớn (LLM) với mức tiêu thụ năng lượng cực thấp.

Theo hãng tin Yonhap, Bộ Khoa học và Công nghệ thông tin Hàn Quốc ngày 6/3 cho biết nhóm nghiên cứu, do Giáo sư Yoo Hoi-jun tại Trung tâm nghiên cứu chất bán dẫn KAIST PIM làm trưởng nhóm, đã phát triển chip AI có khả năng xử lý mô hình ngôn ngữ GPT-2 của công ty OpenAI (Mỹ) với mức tiêu thụ điện năng cực thấp - chỉ 400 miliwatt - và tốc độ cao 0,4 giây.

Con chip vuông 4,5 mm, được phát triển theo quy trình 28 nanomet của Tập đoàn Samsung Electronics, có mức tiêu thụ điện năng ít hơn 625 lần so với con chip GPU A-100 của "gã khổng lồ" chip AI toàn cầu Nvidia, vốn cần 250 watt điện để xử lý LLM. Con chip do KAIST phát triển cũng có diện tích nhỏ hơn 41 lần so với sản phẩm của Nvidia, do đó có thể sử dụng trên các thiết bị như điện thoại di động.

Bộ Khoa học và Công nghệ thông tin Hàn Quốc cho biết việc sử dụng công nghệ điện toán mô phỏng não người, đặc biệt là mạng lưới thần kinh tăng đột biến (SNN), là yếu tố cần thiết để đạt được thành tựu này.

Trước đây, công nghệ này kém chính xác hơn mạng lưới thần kinh sâu (DNN) và chủ yếu có khả năng phân loại hình ảnh đơn giản. Tuy nhiên, nhóm nghiên cứu đã thành công trong việc cải thiện độ chính xác của công nghệ để phù hợp với DNN và ứng dụng cho LLM.

Nhóm nghiên cứu cho biết chip AI mới của họ có thể tối ưu hóa mức tiêu thụ năng lượng tính toán trong khi vẫn duy trì độ chính xác bằng cách sử dụng kết hợp DNN và SNN, đồng thời tinh chỉnh hiệu quả các tham số lớn của LLM.

Phan An (TTXVN)

Dành cho bạn

TP Hồ Chí Minh khơi thông chính sách hỗ trợ khởi nghiệp sáng tạo

TP Hồ Chí Minh khơi thông chính sách hỗ trợ khởi nghiệp sáng tạo

Trong 11 lượt hồ sơ đề nghị công nhận theo quy định về khởi nghiệp sáng tạo tại TP Hồ Chí Minh, 6 lượt chưa hợp lệ. Thành phố kiến nghị hướng dẫn cụ thể cách doanh nghiệp chưa có doanh thu chứng minh khả năng tăng trưởng, cách các trung tâm trực thuộc viện, trường đứng tên hồ sơ.

Microsoft khắc phục sự cố gây gián đoạn nhiều dịch vụ trên toàn cầu

Microsoft khắc phục sự cố gây gián đoạn nhiều dịch vụ trên toàn cầu

Ngày 12/11, Tập đoàn Microsoft cho biết đang nỗ lực khắc phục sự cố ngừng hoạt động nghiêm trọng của một số dịch vụ, trong đó có Outlook, đồng thời tìm kiếm các giải pháp thay thế trong bối cảnh nhiều người dùng trên thế giới không thể truy cập vào các dịch vụ thiết yếu của hãng.

SpaceX hướng tới cột mốc mới với tên lửa Starship tái sử dụng hoàn toàn

SpaceX hướng tới cột mốc mới với tên lửa Starship tái sử dụng hoàn toàn

Tập đoàn SpaceX của tỷ phú Elon Musk dự kiến tiến hành chuyến bay thử nghiệm thứ 15 của tên lửa Starship - hệ thống tên lửa lớn nhất và mạnh nhất thế giới - với mục tiêu lần đầu tiên thu hồi tầng trên của tên lửa bằng hệ thống cánh tay robot sau khi tàu hoàn thành hành trình trên quỹ đạo.