tinLướt

Cận cảnh “siêu công trình” hạ tầng AI thế hệ mới với NVIDIA HGX B300

Công nghệ
Cận cảnh “siêu công trình” hạ tầng AI thế hệ mới với NVIDIA HGX B300
Tóm tắt bởi AI
1 nguồn
Nhân Dân

Hạ tầng AI mới của FPT AI Factory sử dụng NVIDIA HGX B300 với 8 card GPU NVIDIA Blackwell Ultra. Mỗi GPU sở hữu bộ nhớ 288 GB, mang lại tổng dung lượng lên tới 2,1 TB mỗi node, cho phép triển khai các mô hình hàng nghìn tỷ tham số, AI đa phương thức và các ứng dụng xử lý ngữ cảnh dài với hiệu quả ca

Điểm chính

  • Hạ tầng AI mới dùng NVIDIA HGX B300, hiệu năng hơn 1.5 lần thế hệ trước [1]
  • Mỗi node có 2.1 TB bộ nhớ, triển khai AI đa phương thức hiệu quả [1]
  • Doanh nghiệp có thể tối ưu chi phí và rút ngắn thời gian triển khai AI [1]

FPT AI Factory vừa ra mắt hạ tầng AI thế hệ mới, sử dụng công nghệ NVIDIA HGX B300 với khả năng xử lý vượt trội, hứa hẹn sẽ thay đổi cách thức vận hành của các mô hình AI hiện nay Nhân Dân.

Khả năng vượt trội của hạ tầng AI mới

Hạ tầng AI mới được trang bị 8 card GPU NVIDIA Blackwell Ultra, mỗi card có bộ nhớ 288 GB, tổng cộng 2,1 TB mỗi node Nhân Dân. Điều này cho phép triển khai các mô hình AI đa phương thức và các ứng dụng xử lý ngữ cảnh dài với hiệu quả cao Nhân Dân. So với thế hệ trước, NVIDIA HGX B300 có hiệu năng cao hơn 1,5 lần, giúp tăng tốc cả quá trình huấn luyện và suy luận AI Nhân Dân.

Tác động đến doanh nghiệp

Với hiệu năng vượt trội, doanh nghiệp có thể rút ngắn thời gian triển khai mô hình, phục vụ nhiều người dùng hơn và tối ưu chi phí vận hành Nhân Dân. Hạ tầng GPU Cloud thế hệ mới này được thiết kế dành cho AI suy luận và tạo sinh quy mô lớn Nhân Dân.

Nghe tóm tắt
Tính năng nghe audio — sắp ra mắt
Tổng hợp từ 1 nguồn tin