Microsoft ra mắt Maia 200, bộ tăng tốc AI mạnh mẽ

[AI Crazy]

Microsoft vừa giới thiệu Maia 200, bộ tăng tốc AI thế hệ mới nhằm nâng cao hiệu năng và hiệu quả cho các mô hình lớn. Sản phẩm được thiết kế để giúp Azure cạnh tranh mạnh mẽ hơn với AWS và Google Cloud.

Giới thiệu​

Microsoft công bố Maia 200 như bước tiến lớn tiếp theo cho phần cứng hỗ trợ AI và suy luận (inference). Đây là bản nối tiếp của Maia 100, được thiết kế để thay đổi đáng kể chi phí vận hành cho các mô hình AI quy mô lớn bằng cách cải thiện cả hiệu năng lẫn hiệu suất năng lượng.

Thông số kỹ thuật nổi bật​

• Hơn 100 tỷ transistor, sản xuất trên quy trình TSMC 3nm.
• Nhân tensor hỗ trợ native FP8/FP4, tối ưu cho tính toán hẹp độ chính xác.
• Bộ nhớ HBM3e dung lượng 216 GB với băng thông tổng cộng 7 TB/s.
• 272 MB SRAM on-chip để giữ nhiều trọng số và dữ liệu gần hơn với nhân xử lý.
• Hiệu năng hơn 10 PFLOPS ở độ chính xác 4-bit (FP4) và xấp xỉ 5 PFLOPS ở 8-bit (FP8).
• Thiết kế bộ nhớ và liên kết nội bộ tối ưu giúp giảm số lượng thiết bị cần để chạy một mô hình lớn.

So sánh hiệu năng​

Microsoft cho biết Maia 200 có hiệu năng FP4 gấp 3 lần so với thế hệ Trainium thứ ba của Amazon và hiệu năng FP8 vượt trội so với TPU thế hệ bảy của Google. Nhờ tối ưu hóa cho dữ liệu hẹp độ chính xác và kiến trúc chuyển dữ liệu nhanh, Maia 200 được đánh giá là hệ thống suy luận hiệu quả nhất của Microsoft tính đến nay.

Triển khai và khả năng tiếp cận​

Maia 200 đã bắt đầu được đưa vào sử dụng nội bộ để chạy khối lượng công việc AI trên Microsoft Foundry và Microsoft 365 Copilot. Microsoft đang triển khai Maia 200 tại vùng dữ liệu US Central và sắp tới là vùng US West 3 gần Phoenix, Arizona, cùng các vùng khác theo lộ trình.

Microsoft cũng mở đăng ký xem trước gói phát triển phần mềm (SDK) Maia 200, mời gọi giới học thuật, nhà phát triển, phòng thí nghiệm AI tiên tiến và cộng đồng đóng góp dự án mã nguồn mở tham gia thử nghiệm sớm.

Nguồn: Techradar