Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Perplexity AI, một công cụ tìm kiếm được hỗ trợ bởi AI, tận dụng công nghệ tiên tiến của NVIDIA để đáp ứng nhu cầu ngày càng tăng về các dịch vụ AI. Xử lý hơn 435 triệu truy vấn mỗi tháng, nhóm suy luận của Perplexity AI sử dụng GPU NVIDIA H100 Tensor Core, NVIDIA Triton Inference Server và NVIDIA TensorRT-LLM để tạo ra các mô hình ngôn ngữ quy mô lớn (LLM) hiệu quả về mặt chi phí.

Perplexity AI vận hành đồng thời hơn 20 mô hình AI, bao gồm nhiều biến thể mô hình Llama 3.1 khác nhau, để phù hợp với cơ sở người dùng rộng lớn của nó. Công ty sử dụng các mô hình phân loại nhỏ hơn để xác định mục đích của người dùng và hướng các nhiệm vụ đến LLM thích hợp được lưu trữ trên nhóm GPU. Các nhóm này được hỗ trợ bởi GPU NVIDIA H100, được quản lý bởi các phiên bản Máy chủ suy luận NVIDIA Triton và tuân thủ các thỏa thuận cấp độ dịch vụ (SLA) nghiêm ngặt về chi phí và trải nghiệm người dùng.

Cơ sở hạ tầng của Perplexity AI được thiết kế cho các cụm Kubernetes để lưu trữ các nhóm GPU và xử lý lưu lượng biến động. Bộ lập lịch giao diện người dùng nội bộ định tuyến lưu lượng truy cập một cách thông minh để duy trì SLA. Máy chủ suy luận Triton đóng vai trò quan trọng bằng cách cung cấp các mô hình được tối ưu hóa, phân nhóm yêu cầu và cung cấp các số liệu sử dụng GPU để giúp mở rộng quy mô tài nguyên theo nhu cầu suy luận.

Nhóm Suy luận bối rối cam kết đáp ứng SLA nghiêm ngặt đồng thời tối ưu hóa chi phí. Thông qua thử nghiệm A/B rộng rãi, chúng tôi xác định cấu hình tốt nhất cho các trường hợp sử dụng khác nhau và tập trung vào việc tối đa hóa việc sử dụng GPU. Chúng tôi tiến hành phân tích hiệu suất chi tiết của các mô hình hướng tới người dùng, xem xét các số liệu như thời gian tạo ra mã thông báo đầu tiên và giá mỗi triệu truy vấn. Chúng tôi sử dụng các chiến lược cân bằng tải và song song mô hình để cải thiện hiệu suất trong phạm vi ngân sách GPU.

Perplexity AI đã tiết kiệm đáng kể chi phí bằng cách lưu trữ các mô hình của mình trên GPU NVIDIA được lưu trữ trên đám mây thay vì dựa vào API LLM của bên thứ ba. Ví dụ: tính năng câu hỏi liên quan, gợi ý các truy vấn tiếp theo, được ước tính sẽ tiết kiệm cho công ty khoảng 1 triệu USD mỗi năm.

Cách tiếp cận hiệu suất của Perplexity AI bao gồm tối ưu hóa mọi lớp của ngăn xếp, từ ứng dụng đến bộ tăng tốc phần cứng. Công ty đang khám phá cách tiếp cận dịch vụ phân tán bằng cách sử dụng NVIDIA Triton và rất vui mừng về tiềm năng của nền tảng NVIDIA Blackwell, dự kiến ​​sẽ cải thiện hiệu suất suy luận cho LLM nghìn tỷ tham số lên 30 lần. Việc công ty sử dụng các dự án nguồn mở như NVIDIA Triton Inference Server và NVIDIA TensorRT, có sẵn dưới dạng GitHub và Docker, nhấn mạnh cam kết của công ty đối với sự đổi mới và hiệu suất trong các dịch vụ AI.