Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Một nhà bán lẻ Fortune 100 tận dụng tốt định dạng JSON vì tính linh hoạt của nó trong việc xử lý thông tin phi cấu trúc và quản lý lượng lớn dữ liệu hàng tồn kho. Công ty đã triển khai tăng tốc GPU, cải thiện đáng kể hiệu quả của khối lượng công việc xử lý dữ liệu. Chạy các khối lượng công việc này trên GPU đã giảm đáng kể thời gian thực hiện từ 16,7 giờ xuống chỉ còn 3,8 giờ, giúp giảm 80% chi phí so với việc sử dụng cụm CPU.

Những tiến bộ trong xử lý dữ liệu của nhà bán lẻ có thể thực hiện được nhờ sử dụng các phiên bản GCP n1-standard-16, mỗi phiên bản được trang bị GPU NVIDIA T4. Thiết lập này đã chứng minh được hiệu quả trong việc xử lý khối lượng công việc Spark của nhà bán lẻ, bao gồm truy vấn dữ liệu JSON mở rộng, đôi khi vượt quá hàng chục terabyte trên một phiên bản duy nhất.

RAPIDS Accelerator for Apache Spark đã giải quyết được những thách thức trong việc xử lý dữ liệu JSON trên GPU, đặc biệt là khi sử dụng hàm get_json_object của Spark để phân tích cú pháp các chuỗi JSON trong các truy vấn SQL . Bất chấp những thách thức ban đầu do kích thước lớn của các chuỗi và việc gọi hàm thường xuyên, khả năng trích xuất các đối tượng từ các bản ghi JSON dựa trên một đường dẫn cụ thể của hàm là rất quan trọng đối với quy trình ETL của nhà bán lẻ.

Một loạt các cải tiến chiến lược đã được triển khai để tối ưu hóa quá trình xử lý JSON trên GPU, đặc biệt là đối với dữ liệu thưa thớt. Những cải tiến này bao gồm nhóm dữ liệu tương tự trong một luồng để giảm thiểu sự phân kỳ luồng và sắp xếp các truy vấn để giảm thêm sự phân kỳ. Việc sử dụng trình phân tích dữ liệu song song trong thư viện RAPIDS cuDF cũng góp phần cải thiện hiệu suất đáng kể. Những tối ưu hóa này dẫn đến tốc độ xử lý tăng 5,6 lần, với các cải tiến tiếp theo dự kiến ​​sẽ được phát hành vào cuối năm nay. RAPIDS Accelerator for Apache Spark, kết hợp với cuDF, giúp cải thiện quá trình xử lý dữ liệu JSON của GPU, cung cấp cho các doanh nghiệp cơ hội di chuyển khối lượng công việc Spark hiện có sang GPU mà không cần thay đổi mã.