Spotify sử dụng Python như thế nào?

Spotify là dịch vụ đăng ký phát trực tuyến nhạc và video lớn nhất và phổ biến nhất trên thế giới, cho phép bạn tìm kiếm và nghe hàng triệu bài hát cũng như bản nhạc của nhiều nghệ sĩ trên khắp thế giới. Nó bắt đầu vào tháng 10 năm 2008 dưới dạng dịch vụ truyền phát âm thanh và phương tiện của Thụy Điển với một vài bài hát, nhưng hiện tại nó có 70 triệu bài hát trong thư viện, với 60000 bài được thêm vào mỗi ngày

Spotify có 365 triệu người dùng tính đến năm 2021 và đang tăng nhanh. Nó hiện có 2. 9 triệu podcast trong thư viện của nó và có sẵn ở 171 thị trường, với 44% người dùng hàng ngày sử dụng Spotify. Nó thống trị cách chúng ta tiêu thụ âm nhạc trong thế kỷ 21

Bạn có thể thắc mắc cách Spotify xử lý hàng triệu dữ liệu và hồ sơ người dùng này, cũng như ngôn ngữ lập trình và công nghệ nào được sử dụng để tạo ra Ngăn xếp công nghệ Spotify mạnh mẽ. Đừng lo lắng, các bạn, tôi sẽ hỗ trợ bạn lấy thông tin này

1 ngôn ngữ lập trình

Spotify sử dụng nhiều ngôn ngữ lập trình để xây dựng ngăn xếp công nghệ, một số trong số đó là Python, Java, C++, Closure, v.v.

con trăn

Python được Spotify sử dụng cho các dịch vụ phụ trợ, tập lệnh nhanh, quy trình xây dựng và phân tích dữ liệu. Khoảng 80% dịch vụ được viết bằng Python và được liên kết bởi Hermes, một giao thức nhắn tin dựa trên tin nhắn được xây dựng trên ZeroMW và protbuf. Họ chọn Python vì nó đơn giản để viết và rút ngắn chu kỳ phát triển. (nguồn trăn tại Spotify)

Người ta ước tính rằng khoảng 90% công việc thu nhỏ bản đồ Spotify được viết bằng Python

Java

Java được cho là các dịch vụ không phải Python thường được viết bằng Java. Spotify sử dụng đăng ký Java SE cung cấp tất cả giấy phép và hỗ trợ Java SE(nguồn). Java rất nhanh, được ghi lại đầy đủ với nhiều cộng đồng nhà phát triển tích cực. Họ cũng sử dụng Java cho Android

C++

Một số mã được chia sẻ dựa trên được viết bằng C ++ và các nền tảng khác sử dụng nó

Mục tiêu-C

Mục tiêu-C cho các ứng dụng iOS

2 công cụ dữ liệu lớn

Có nhiều công cụ khác nhau được sử dụng để lưu trữ và duy trì một lượng lớn dữ liệu đa dạng

Apache Hadoop

Spotify có hàng triệu người dùng, bài hát, âm nhạc và podcast. Rất khó để phân tích loại dữ liệu này và tạo ra những hiểu biết hữu ích. Do đó, để phân tích phức tạp, một "hồ dữ liệu" dựa trên Hadoop được sử dụng

Spotify đã sử dụng nó để hỗ trợ đào tạo các máy để đề xuất bản nhạc và bản nhạc tốt hơn cho người dùng, tính tiền bản quyền, phân phát quảng cáo hướng đến người dùng, đo lường phản ứng của khán giả đối với các tính năng và chức năng mới cũng như tạo các chiến dịch tiếp thị báo cáo kinh doanh, v.v.

Theo blog năm 2017 này, Hadoop xử lý các luồng dữ liệu lớn với Cụm Apache Hadoop tại chỗ gồm 2500 nút cho Spotify

Tia lửa Apache

Apache Spark là một hệ thống xử lý phân tán được sử dụng cho khối lượng công việc dữ liệu lớn

Apache Spark được Spotify sử dụng cho các phần ứng dụng học máy, tận dụng bộ nhớ đệm trong bộ nhớ và tối ưu hóa việc thực thi truy vấn để truy vấn nhanh đối với bất kỳ khối lượng dữ liệu nào

Bão Apache

Spotify đã sử dụng Apache Storm để hỗ trợ các trường hợp sử dụng theo thời gian thực, chẳng hạn như đề xuất người dùng mới, nhắm mục tiêu quảng cáo và chỉ số sản phẩm vì Apache Storm là công cụ hàng đầu để xử lý thông tin theo thời gian thực

3 đường ống dữ liệu

Một trong những công cụ Đường ống dữ liệu phổ biến được sử dụng trong Spotify là Luigi

Luigi

Luigi là một công cụ ETL dựa trên Python cung cấp các hoạt động thông minh dữ liệu Hadoop của Spotify. Nó hỗ trợ các nhà phát triển lên lịch, giám sát và quản lý các công việc theo lô thay vì các hoạt động phát trực tuyến, liên tục. Nó xử lý hệ thống ống nước cho các công việc Hadoop

Google Cloud Pub/Sub

Năm 2016, Giải pháp phân phối sự kiện của Spotify được cung cấp bởi Google Cloud Pub/Sub. Họ đã từng sử dụng Apache Kafka trước đây

4 DevOp

Sau đây là các công cụ DevOps được sử dụng trong Spotify. Docker, Di tích mới, Datadog, Pingdom, Percy, Apache CloudStack, Helios, v.v.

docker

Docker là một máy ảo độc lập nhẹ được cài đặt sẵn tất cả các chương trình và phần phụ thuộc mà bạn sẽ cần để chạy chương trình của mình. Nó đơn giản hóa việc tạo, triển khai và thực thi bất kỳ ứng dụng nào

di tích mới

Relic mới hoạt động như một dịch vụ hỗ trợ chủ sở hữu trang web và ứng dụng theo dõi hiệu suất của ứng dụng web của họ. Nó hoạt động như một bảng điều khiển hiệu suất thời gian thực với tầm nhìn tia X. Relic mới hỗ trợ xác định các sự cố thực tế trong ứng dụng

Relic mới loại bỏ gánh nặng giám sát, xác định, khắc phục sự cố và mở rộng quy mô ứng dụng web khỏi vai bạn và giúp bạn thực hiện dễ dàng

dữ liệu

Datadog là một nền tảng giám sát, bảo mật và phân tích cho các ứng dụng dựa trên đám mây và rất hữu ích cho các nhà phát triển, nhà điều hành CNTT, kỹ sư bảo mật và người dùng doanh nghiệp. Nó cung cấp giám sát máy chủ, cơ sở dữ liệu, công cụ, dịch vụ và nhiều hơn nữa

Pingdom

Pingdom là một công cụ giám sát hiệu suất và tính khả dụng của trang web

Đám mây Apache

CloudStack là một nền tảng quản lý điện toán đám mây mã nguồn mở cho phép bạn tạo, quản lý và triển khai các dịch vụ đám mây khác nhau. Một số tính năng chính của Apache CloudStack như sau. Tích hợp tính sẵn sàng cao cho máy chủ và máy ảo, giao diện người dùng dựa trên web thân thiện với người dùng để quản lý đám mây, quản lý ảnh chụp nhanh, tính toán tài nguyên mạng, tính toán và lưu trữ, đo lường mức sử dụng, bộ định tuyến ảo, tường lửa và bộ cân bằng tải, v.v.

Percy

Percy hỗ trợ các nhóm tự động kiểm tra trực quan. Percy kết xuất và so sánh các ảnh chụp nhanh từ các trình duyệt và màn hình khác nhau để phát hiện, đánh dấu và nhóm các điểm khác biệt về hình ảnh

Helios

Helios là một công cụ điều phối được xây dựng trên Docker cho phép người dùng triển khai và quản lý các vùng chứa trên toàn bộ nhóm máy

Spotify vẫn sử dụng Python chứ?

Spotify sử dụng Python như thế nào?

Spotify sử dụng ngôn ngữ lập trình nào?

Netflix có sử dụng Python không?