Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Ironwood, Bộ xử lý Tensor (TPU) mới nhất từ một công ty công nghệ hàng đầu, đang dẫn đầu trong quá trình phát triển AI, cung cấp năng lượng cho các mô hình phức tạp như Gemini và Nano Banana. TPU rất cần thiết cho cả đào tạo quy mô lớn và suy luận hiệu quả, thông lượng cao. Bộ phần mềm AI tích hợp sâu của Ironwood chứng minh cách thức sự kết hợp này cải thiện hiệu suất, hiệu quả và khả năng mở rộng. Bộ phần mềm này bao gồm hỗ trợ cho các hệ sinh thái JAX và PyTorch, trình biên dịch XLA và các khung công tác cấp cao giúp sức mạnh tính toán tiên tiến được sử dụng rộng rãi.

Bộ phần mềm Ironwood được thiết kế tỉ mỉ để đáp ứng nhu cầu tính toán của các mô hình cơ bản mới nhất với hàng nghìn tỷ tham số. Đồng thiết kế cấp hệ thống coi các pod TPU như một siêu máy tính thống nhất, có kết nối tùy chỉnh để trao đổi dữ liệu băng thông cao, độ trễ thấp. Kiến trúc của Ironwood tự hào có dung lượng HBM 1,77PB và được tối ưu hóa cho khối lượng công việc AI. Các lõi phần cứng của nó bao gồm một đơn vị nhân ma trận (MXU) và một đơn vị xử lý vector (VPU). Trình biên dịch XLA nhắm mục tiêu vào phần cứng này và hợp nhất các hoạt động thành các hạt nhân được tối ưu hóa để đạt hiệu suất cao nhất.

Thiết kế chip Ironwood cũng mở rộng sang kết nối, cho phép mở rộng quy mô lớn. Các chip TPU được sắp xếp theo "khối lập phương" và được kết nối thông qua mạng chuyển mạch mạch quang (OCS), cho phép hệ thống mở rộng từ các pod nhỏ đến các superpod khổng lồ. Mạng lưới động này là chìa khóa cho khả năng chịu lỗi và hoạt động hiệu quả, ngay cả khi mở rộng lên hàng trăm nghìn chip.

Ngăn xếp phần mềm dịch mã cấp cao thành các lệnh được tối ưu hóa để tối đa hóa khả năng của phần cứng. Nó hỗ trợ hệ sinh thái JAX về hiệu suất và tính linh hoạt, và PyTorch trên TPU cho trải nghiệm gốc. Ngăn xếp được thiết kế để tối ưu hóa toàn bộ vòng đời AI, từ tiền huấn luyện đến suy luận, với các khả năng phần cứng và phần mềm cụ thể cho từng giai đoạn. Điều này bao gồm quản lý khả năng phục hồi ở quy mô lớn, cung cấp phần mềm được tối ưu hóa cho các quy trình làm việc phức tạp và đạt được dự đoán độ trễ thấp và thông lượng cao trong sản xuất.

Tóm lại, ngăn xếp Ironwood đại diện cho một phương pháp tiếp cận toàn diện về đồng thiết kế phần cứng và phần mềm AI. Nền tảng này mang lại hiệu suất và hiệu quả vượt trội, cho phép các nhà phát triển khai thác sức mạnh của siêu máy tính trong nhiều giai đoạn phát triển và triển khai mô hình AI. Nền tảng này hỗ trợ cả hệ sinh thái JAX và PyTorch, đảm bảo các nhà phát triển có đủ công cụ cần thiết để hiện thực hóa những sáng kiến AI của mình.