Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Groq, nhà cung cấp giải pháp trí tuệ nhân tạo (AI) hàng đầu, hôm nay đã đưa ra một thông báo mang tính đột phá. Công ty đã đạt được tốc độ ấn tượng bằng cách chạy mô hình ngôn ngữ lớn (LLM), Llama-2 70B, trên Groq LPU mới được phát triển với tốc độ đáng kinh ngạc hơn 100 mã thông báo mỗi giây (T/s) cho mỗi người dùng. Các danh mục được xác định cho kiến ​​trúc silicon Groq. Thành tích này đã thu hút sự chú ý của các chuyên gia trong ngành, trong đó có Daniel Newman, Nhà phân tích chính và Đối tác sáng lập của Tập đoàn Futurum. Newman nhận thấy nhu cầu ngày càng tăng về các giải pháp AI thay thế và nêu bật những lợi thế của Groq về sức mạnh, hiệu suất và tính dễ sử dụng. Groq chạy Llama-2 70B rất nhanh và luôn sẵn có, khiến nó trở thành một giải pháp thay thế khả thi cho suy luận LLM mở rộng. Khả năng biên dịch và triển khai LLM mới trong vài ngày bằng trình biên dịch không có kernel của Groq thực sự ấn tượng. Điều này cho phép hệ thống Đơn vị xử lý ngôn ngữ Groq tạo ra trải nghiệm người dùng nhanh nhất cho phản hồi ngôn ngữ được tạo, vượt quá 100T/s. Để dễ hiểu mức hiệu suất này, người dùng có thể tạo toàn bộ thông cáo báo chí chỉ trong bảy giây hoặc một bài luận 4.000 từ chỉ trong hơn một phút. Groq không chỉ cung cấp độ trễ cực thấp và hiệu suất thời gian thực mà còn mang lại hiệu suất trên mỗi watt tốt hơn so với các hệ thống dựa trên bộ xử lý đồ họa. Jonathan Ross, Giám đốc điều hành và Người sáng lập Groq, bày tỏ niềm tự hào về thành tích của nhóm mình và nói rằng Groq hiện nằm trong số cả các công ty khởi nghiệp AI và nhà cung cấp đã thành lập với hơn 100 mã thông báo mỗi giây cho mỗi người dùng. Llama-2 70B Công ty nhấn mạnh rằng đây là công ty đầu tiên để đạt được mục tiêu này. . Ross cũng đảm bảo với khách hàng rằng họ có thể mong đợi hiệu suất cao hơn từ phần cứng ngày nay, hứa hẹn những thông tin chi tiết và tương tác theo thời gian thực cho hiệu suất của Groq AI trong tương lai. GroqLabs, nền tảng nơi Groq tổ chức các bản demo sản phẩm và thiết kế tham khảo, đang giới thiệu Llama-2 70B LLM của Meta AI để khách hàng trải nghiệm. Trước đây, GroqLabs đã trình diễn thành công các mô hình nguồn mở khác như Llama 13B và 65B, Vicuna 13B và 33B trên hệ thống Bộ xử lý ngôn ngữ Groq mở rộng. Các hệ thống này bao gồm tối đa tám cụm điện toán GroqRack, đồng thời tận dụng hơn 500 bộ xử lý GroqChip trên điện toán silicon 14nm. Quy trình sản xuất tăng tốc của Groq cho phép các mô hình được triển khai trên quy mô lớn mà không bị chậm trễ phát triển lâu, giúp khách hàng tiết kiệm thời gian và nguồn lực quý giá. Trong tương lai, tương lai của các giải pháp AI tổng quát sẽ dựa trên ngôn ngữ. LLM giải quyết một phạm vi ứng dụng rộng hơn ngoài chatbot và phân tích tài liệu. Những mô hình đột phá này sẽ cách mạng hóa các ngành công nghiệp như khoa học đời sống, dịch vụ tài chính, phương tiện kỹ thuật số, biên soạn nội dung và lập trình. Cuối cùng, họ sẽ đoàn kết nhân loại theo những cách chưa từng được tưởng tượng. Mark Heaps, phó chủ tịch thương hiệu và sáng tạo tại Groq, chỉ ra sự tương đồng giữa internet của những năm 90 và nhu cầu tương tác theo thời gian thực với dữ liệu và thiết bị ngày nay. Để đáp ứng những kỳ vọng này, chúng tôi nhấn mạnh tầm quan trọng của việc cải thiện hiệu suất AI. Groq luôn đi đầu trong việc thay đổi luật chơi để người dùng không còn phải chịu đựng bất cứ điều gì ngoài việc tương tác theo thời gian thực với hệ thống AI.