Love AI
New member
June Paik, CEO FuriosaAI, bàn về thách thức phần cứng AI: chi phí trung tâm dữ liệu, sinh tồn của startup và cách công ty tiếp cận để cạnh tranh với thế lực như Nvidia bằng chip RNGD tiết kiệm năng lượng.
June Paik, đồng sáng lập và CEO của FuriosaAI, chia sẻ rằng chi phí cho phần cứng tăng cao và yêu cầu hạ tầng khắt khe đang là rào cản lớn cho nhiều startup và doanh nghiệp vừa và nhỏ muốn triển khai AI ở quy mô. FuriosaAI được thành lập nhằm thiết kế giải pháp suy luận (inference) tập trung vào hiệu suất cao nhưng tiêu thụ năng lượng thấp để giảm áp lực lên trung tâm dữ liệu.
FuriosaAI phát triển kiến trúc riêng gọi là Tensor Contraction Processor (TCP) để thực thi trực tiếp các phép toán đa chiều trong học sâu, thay vì ép mô hình vào cấu trúc legacy của GPU. Sản phẩm nổi bật của họ là bộ xử lý RNGD, hiện đã sản xuất hàng loạt, hướng tới chạy các mô hình AI đòi hỏi khắt khe mà không phụ thuộc hoàn toàn vào khung GPU truyền thống.
RNGD được nhấn mạnh về hiệu quả: tiêu thụ khoảng 180 watt cho tác vụ suy luận, so với con số 600 watt (hoặc hơn) thường thấy trên các GPU hàng đầu. FuriosaAI cho biết đối tác toàn cầu đã xác nhận mức tiết kiệm năng lượng và hiệu suất trong sản xuất.
Thay vì sao chép toàn bộ thư viện CUDA của Nvidia, FuriosaAI chọn con đường đồng thiết kế phần cứng và phần mềm từ nền tảng. Họ xây dựng ngăn xếp phần mềm để tương thích với công cụ phổ biến như PyTorch và vLLM, giúp nhà phát triển tiếp cận hiệu suất chip mà không phải thay đổi quy trình làm việc quen thuộc.
Kiến trúc TCP cho phép trình biên dịch tối ưu hóa mô hình mà không cần hàng nghìn kernel thủ công, giảm chi phí phát triển phần mềm và tăng tốc độ triển khai.
Việc đặt trụ sở tại Hàn Quốc mang lại lợi thế cho FuriosaAI nhờ nguồn nhân lực chất lượng và mối quan hệ với các tập đoàn bán dẫn trong nước. Công ty tận dụng quan hệ với SK Hynix để cung cấp HBM3 cho thế hệ chip thứ hai và hợp tác với đối tác gia công (foundry) như TSMC ở Đài Loan.
Bắt đầu với vốn hạt giống chỉ 1 triệu USD, FuriosaAI theo đuổi chiến lược thận trọng, dành nhiều năm tinh chỉnh kiến trúc trước khi tung sản phẩm ra thị trường. Sự kỷ luật này giúp họ tránh bị cuốn theo hype và tập trung vào giải pháp thực tế cho khách hàng doanh nghiệp toàn cầu.
Các rào cản kỹ thuật cho người chơi mới không chỉ đến từ sức mạnh của Nvidia, mà còn từ tính thay đổi nhanh của AI — yêu cầu sự kết hợp giữa chuyên môn phần cứng và trình biên dịch, cùng mối quan hệ sâu với các nhà máy sản xuất chip.
Paik dự báo tương lai sẽ là kỷ nguyên của heterogeneous compute — nơi nhiều loại bộ xử lý cùng tồn tại (GPU, ASIC, kiến trúc chuyên dụng) để giải quyết các giới hạn về năng lượng và hạ tầng của trung tâm dữ liệu. Ở đó, các thiết kế tiết kiệm năng lượng như RNGD có thể giúp xóa bỏ một phần rào cản chi phí, mở ra cơ hội cho doanh nghiệp nhỏ và startup triển khai AI ở quy mô thực tế.
FuriosaAI không cố gắng sao chép lộ trình của Nvidia mà xây dựng cách tiếp cận riêng từ đầu: kiến trúc chuyên dụng, tối ưu phần mềm và tận dụng mối quan hệ sản xuất. Đối với những người quan tâm tới triển khai AI hiệu quả về chi phí và năng lượng, đây là một hướng đi đáng chú ý trong bối cảnh yêu cầu hạ tầng ngày càng lớn của ngành.
Nguồn: Techradar
Tầm nhìn và động lực của FuriosaAI
June Paik, đồng sáng lập và CEO của FuriosaAI, chia sẻ rằng chi phí cho phần cứng tăng cao và yêu cầu hạ tầng khắt khe đang là rào cản lớn cho nhiều startup và doanh nghiệp vừa và nhỏ muốn triển khai AI ở quy mô. FuriosaAI được thành lập nhằm thiết kế giải pháp suy luận (inference) tập trung vào hiệu suất cao nhưng tiêu thụ năng lượng thấp để giảm áp lực lên trung tâm dữ liệu.
Kiến trúc Tensor Contraction Processor và chip RNGD
FuriosaAI phát triển kiến trúc riêng gọi là Tensor Contraction Processor (TCP) để thực thi trực tiếp các phép toán đa chiều trong học sâu, thay vì ép mô hình vào cấu trúc legacy của GPU. Sản phẩm nổi bật của họ là bộ xử lý RNGD, hiện đã sản xuất hàng loạt, hướng tới chạy các mô hình AI đòi hỏi khắt khe mà không phụ thuộc hoàn toàn vào khung GPU truyền thống.
RNGD được nhấn mạnh về hiệu quả: tiêu thụ khoảng 180 watt cho tác vụ suy luận, so với con số 600 watt (hoặc hơn) thường thấy trên các GPU hàng đầu. FuriosaAI cho biết đối tác toàn cầu đã xác nhận mức tiết kiệm năng lượng và hiệu suất trong sản xuất.
Phối hợp phần cứng và phần mềm, phá vỡ khóa chặt CUDA
Thay vì sao chép toàn bộ thư viện CUDA của Nvidia, FuriosaAI chọn con đường đồng thiết kế phần cứng và phần mềm từ nền tảng. Họ xây dựng ngăn xếp phần mềm để tương thích với công cụ phổ biến như PyTorch và vLLM, giúp nhà phát triển tiếp cận hiệu suất chip mà không phải thay đổi quy trình làm việc quen thuộc.
Kiến trúc TCP cho phép trình biên dịch tối ưu hóa mô hình mà không cần hàng nghìn kernel thủ công, giảm chi phí phát triển phần mềm và tăng tốc độ triển khai.
Lợi thế từ Hàn Quốc và chiến lược sinh tồn của startup
Việc đặt trụ sở tại Hàn Quốc mang lại lợi thế cho FuriosaAI nhờ nguồn nhân lực chất lượng và mối quan hệ với các tập đoàn bán dẫn trong nước. Công ty tận dụng quan hệ với SK Hynix để cung cấp HBM3 cho thế hệ chip thứ hai và hợp tác với đối tác gia công (foundry) như TSMC ở Đài Loan.
Bắt đầu với vốn hạt giống chỉ 1 triệu USD, FuriosaAI theo đuổi chiến lược thận trọng, dành nhiều năm tinh chỉnh kiến trúc trước khi tung sản phẩm ra thị trường. Sự kỷ luật này giúp họ tránh bị cuốn theo hype và tập trung vào giải pháp thực tế cho khách hàng doanh nghiệp toàn cầu.
Thách thức của ngành và tương lai đa dạng tính toán
Các rào cản kỹ thuật cho người chơi mới không chỉ đến từ sức mạnh của Nvidia, mà còn từ tính thay đổi nhanh của AI — yêu cầu sự kết hợp giữa chuyên môn phần cứng và trình biên dịch, cùng mối quan hệ sâu với các nhà máy sản xuất chip.
Paik dự báo tương lai sẽ là kỷ nguyên của heterogeneous compute — nơi nhiều loại bộ xử lý cùng tồn tại (GPU, ASIC, kiến trúc chuyên dụng) để giải quyết các giới hạn về năng lượng và hạ tầng của trung tâm dữ liệu. Ở đó, các thiết kế tiết kiệm năng lượng như RNGD có thể giúp xóa bỏ một phần rào cản chi phí, mở ra cơ hội cho doanh nghiệp nhỏ và startup triển khai AI ở quy mô thực tế.
Kết luận
FuriosaAI không cố gắng sao chép lộ trình của Nvidia mà xây dựng cách tiếp cận riêng từ đầu: kiến trúc chuyên dụng, tối ưu phần mềm và tận dụng mối quan hệ sản xuất. Đối với những người quan tâm tới triển khai AI hiệu quả về chi phí và năng lượng, đây là một hướng đi đáng chú ý trong bối cảnh yêu cầu hạ tầng ngày càng lớn của ngành.
Nguồn: Techradar
Bài viết liên quan
