Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Groq, một công ty chuyên về các giải pháp AI sáng tạo, gần đây đã báo cáo việc áp dụng đáng kể nền tảng GroqCloud của mình. Hiện tại, hơn 70.000 nhà phát triển đang sử dụng dịch vụ này. Ngoài ra, công cụ suy luận LPU của công ty đã được áp dụng trong hơn 19.000 ứng dụng mới, phản ánh sự quan tâm mạnh mẽ đến việc nâng cao khả năng suy luận theo thời gian thực cho các ứng dụng AI. Lượng sử dụng tăng vọt kể từ khi nền tảng này được phát hành vào ngày 1 tháng 3 nêu bật nhu cầu ngày càng tăng đối với các dịch vụ có độ trễ thấp hơn và thông lượng cao hơn.

Tổng Giám đốc GroqCloud Sunny Madra bày tỏ sự phấn khích trước sự chấp nhận của nền tảng này trên nhiều lĩnh vực khác nhau, bao gồm các công ty khởi nghiệp, cơ quan chính phủ và doanh nghiệp lớn. Việc phát triển và cập nhật ứng dụng nhanh chóng bằng API của Groq thể hiện mong muốn của cộng đồng nhà phát triển về các giải pháp suy luận AI hiệu quả.

Thị trường chip AI dự kiến ​​sẽ tăng trưởng đáng kể, với giá trị được dự đoán sẽ đạt 119,4 tỷ USD vào năm 2027. Chip suy luận, hiện chiếm khoảng 40% lượng sử dụng chip AI, dự kiến ​​sẽ tăng nhu cầu khi các ứng dụng AI trưởng thành và có nhiều tài nguyên hơn được phân bổ cho các tác vụ suy luận. Xu hướng này gợi ý một thị trường tiềm năng to lớn cho các hệ thống và chip suy luận chuyên dụng.

Jonathan Ross, Giám đốc điều hành và người sáng lập Groq, nhấn mạnh tầm quan trọng của suy luận có độ trễ thấp trong các ứng dụng thời gian thực, nói rằng mặc dù GPU đóng vai trò quan trọng trong việc phát triển AI, Groq cung cấp phần lớn tài nguyên dành riêng cho suy luận. Ông lập luận rằng LPU còn hơn thế nữa. thích hợp. Công cụ suy luận LPU của công ty được thiết kế nhằm mang lại tốc độ và hiệu quả, đồng thời được coi là giải pháp thay thế khả thi cho GPU để chạy các mô hình ngôn ngữ quy mô lớn và các khối lượng công việc AI khác.

Cách tiếp cận của Groq đối với thiết kế và kiến ​​trúc chip nhằm giải quyết các hạn chế của suy luận dựa trên GPU truyền thống, sử dụng trình biên dịch xác định và kiến ​​trúc lõi đơn dựa trên SRAM để tăng tốc độ truy cập bộ nhớ. Họ cung cấp char. Thiết kế này loại bỏ nhu cầu lập trình CUDA, đơn giản hóa quá trình phát triển và giảm độ trễ. Ngoài ra, việc Groq tập trung vào hiệu quả năng lượng và đơn giản hóa chuỗi cung ứng, với tất cả các chip được sản xuất ở Bắc Mỹ, giúp Groq trở thành một đối thủ cạnh tranh trong thị trường giải pháp AI.