Python là một ngôn ngữ lập trình phổ biến được đặt tên không phải theo con rắn, mà theo tên của nhóm hài kịch phác thảo đã tạo ra Rạp xiếc bay của Monty Python. [Bởi vì, tại sao không?] Nó nổi tiếng là ngôn ngữ lập trình dễ học và dễ đọc so với các ngôn ngữ lập trình khác, mặc dù “dễ” phụ thuộc vào mức độ kinh nghiệm lập trình mà bạn đã có. Nếu bạn hoàn toàn không có mã nào và lần đầu tiên thấy mình nhìn vào một số mã Python và nghĩ, “Cái quái gì thế này,” hãy yên tâm, điều này là bình thường
Mọi người có lẽ cũng nghĩ như vậy khi lần đầu tiên xem Rạp xiếc bay của Monty Python
Giống như mọi thứ khác, việc đọc và viết mã Python cuối cùng sẽ trở nên dễ dàng hơn. Bạn có thể nhớ rằng đã có một thời, SQL trông khá khó hiểu đối với bộ não phân tích dữ liệu mới chớm nở của chúng ta. Nhưng chúng ta sẽ tạm gác việc học sang một bên—bạn sẽ không tìm thấy bất kỳ mã mẫu nào ở đây—và thay vào đó, hãy tập trung vào lý do tại sao rất nhiều nhà phân tích dữ liệu sử dụng Python hàng ngày và cụ thể nó có thể làm gì cho bạn
Không phải mọi nhà phân tích dữ liệu đều sử dụng Python. Và thực sự, không phải nhà phân tích dữ liệu nào cũng cần sử dụng Python. Rất nhiều thứ Python có thể làm có thể được thực hiện với các công cụ khác như Excel, Tableau và phần mềm tích hợp mã thấp
Tuy nhiên, không thứ nào trong số này có thể làm mọi thứ giống như Python có thể. Và có thể nói, đó thậm chí không phải là sức mạnh lớn nhất của nó
Nó cũng cung cấp khả năng tái sản xuất. Nó cung cấp tốc độ và hiệu quả. Nó cho phép các chế độ xem dữ liệu phức tạp hơn trong khi vẫn dễ hiểu đối với các cộng tác viên. [Ví dụ: bạn đã bao giờ đọc một truy vấn SQL do người khác viết dài hơn 100, 200, hơn 300 dòng chưa? Bạn thường không thể đọc nó từ trên xuống dưới, điều này có thể khiến… khá khó hiểu, ít nhất phải nói là. Và theo kinh nghiệm của tôi, những truy vấn đó là những truy vấn cực kỳ quan trọng mà bạn không muốn làm rối tung lên. Chúng là những lâu đài làm bằng thủy tinh. Lớn. Dễ vỡ. Thuộc sở hữu của một người sẽ thực sự tức giận nếu bạn phá vỡ nó. ]
Nhưng làm thế nào chính xác nó làm những điều này?
Nói ngắn gọn. Nó làm cho cuộc sống của bạn dễ dàng hơn. Nó làm được rất nhiều thứ và một chút tốt cho mọi thứ khác. Và đừng lo lắng về Kaggle Grandmasters. Bạn và tôi, có lẽ chúng ta sẽ không bao giờ trở thành một—nhân tiện, điều đó hoàn toàn ổn
tự động hóanhững thứ nhàm chán
Vâng, đó là một tài liệu tham khảo cho cuốn sách cùng tên
Cả trong và ngoài thế giới dữ liệu, Python được sử dụng để tự động hóa những thứ tầm thường, từ việc đổi tên các tệp cho đến cách nhấp vào nút Reroll trong quá trình tạo nhân vật của Baldur's Gate cho đến khi nhân vật của bạn có tổng chỉ số trên 95. [Tôi đã dành nhiều thời gian để viết đoạn mã phải thừa nhận là không ấn tượng đó hơn là chơi Baldur's Gate vào ngày hôm đó. Cuối cùng, tôi sẽ bắt tay vào tái cấu trúc nó. Có lẽ. ]
Một danh sách không đầy đủ những thứ nhàm chán mà Python có thể tự động hóa cho bạn
- Điền vào các tệp PDF
- Chuyển đổi tập tin hàng loạt
- Phân tích các định dạng văn bản khó đọc
- Định dạng động bảng tính
- Tổ chức các thư mục cục bộ và từ xa
- Nhấp đi nhấp lại vào một điểm trên màn hình của bạn
Tự động hóa các tác vụ lặp đi lặp lại là một trong những điểm bán hàng chính của Python—hoặc sẽ là như vậy, nếu Python có giá bất kỳ. Trên thực tế, có lẽ công bằng mà nói rằng một nhiệm vụ càng lặp đi lặp lại thì càng có nhiều khả năng Python có thể tự động hóa nó [và càng có nhiều khả năng ai đó đã làm rồi]
Có hơn 300.000 thư viện và gói Python [mã mà bạn có thể nhập và sử dụng trong các chương trình của riêng mình] trên PyPi, Chỉ mục gói Python chính thức. Có nhiều khả năng là thứ gì đó ngoài kia có thể giúp cung cấp giải pháp cho sự đơn điệu của bạn. Anh chàng viết kịch bản Python bắn súng nước vào chim bồ câu đang “hút phân” trên ban công nhà mình. Không nhất thiết là nhàm chán, nhưng này, bạn thậm chí không bị giới hạn trong thế giới kỹ thuật số
Báo cáo
Ngày nay, rất nhiều báo cáo tóm tắt diễn ra trong các công cụ BI như Tableau và/hoặc Excel và trong chính các sản phẩm SaaS. Hầu hết thời gian, điều này là tốt. Nhưng đôi khi bạn có các bên liên quan không có thời gian để tìm kiếm báo cáo họ cần hoặc các bên liên quan đã quen với việc xem dữ liệu theo một cách nhất định. Bản thân các công cụ cũng có những hạn chế cần xem xét—đôi khi tính dễ sử dụng đi kèm với chức năng bị giảm sút. Điều này đặc biệt đúng khi nhu cầu của bạn là duy nhất
Bất kể lý do là gì, Python có thể giúp bạn tiết kiệm thời gian và sự bất tiện khi phải tự theo dõi báo cáo, xuất dữ liệu, định dạng lại cho phù hợp và gửi cho đúng người. Nếu điều này nghe có vẻ quen thuộc, nó nên. không gì khác hơn là một chuỗi các nhiệm vụ hơi trần tục
Nhưng đối với nhà phân tích dữ liệu được chuẩn bị kỹ lưỡng, việc tổng hợp các báo cáo định kỳ sẽ hơi nhàm chán—nó chỉ thú vị khi dữ liệu đến thay đổi theo hướng thực sự tốt, thực sự xấu hoặc xảy ra sự cố ở phần phụ trợ. Và chỉ một trong số đó là thú vị theo cách tích cực
Lấy kịch bản này làm ví dụ. Vào thứ Hai, nhóm điều hành thích xem trực tiếp [chỉ là một CSV đơn giản, cảm ơn] doanh thu của tuần trước theo khu vực. Công việc của bạn chỉ đơn giản là truy vấn cơ sở dữ liệu của công ty, tổng hợp kết quả và gửi qua email cho người điều hành
Giả sử việc này mất 15 phút. Và giả sử rằng trong 48 tuần trong năm [công ty của bạn vui lòng chấp thuận cho bạn 4 tuần PTO], bạn sẽ gửi báo cáo định kỳ này
Nhiệm vụ này—truy vấn cơ sở dữ liệu, QAing dữ liệu và kiểm tra lại truy vấn, biên dịch dữ liệu thành CSV và gửi qua email cho nhóm điều hành—có thể được viết bằng Python trong khoảng một giờ. Và không, đó không phải là hào phóng. Ngay cả một người mới bắt đầu cũng có thể viết mã này một cách tương đối dễ dàng và đó là điều khiến Python trở nên đặc biệt hấp dẫn
Làm như vậy, bạn tiết kiệm được 11 giờ mỗi năm. Và tất nhiên đó chỉ là một báo cáo. Mỗi vai trò của nhà phân tích dữ liệu đều khác nhau, nhưng tại một số công ty, bạn có thể làm công việc này rất nhiều. Tự động hóa báo cáo của bạn có thể giúp bạn tiết kiệm thời gian, gây ấn tượng với sếp của bạn và giải phóng bạn để tập trung vào công việc hoàn thành và hiệu quả hơn
Đường ống dữ liệu/Tìm kiếm trên web
Điều này liên quan đến lĩnh vực kỹ thuật dữ liệu, nhưng các nhà khoa học và nhà phân tích dữ liệu đôi khi phải xây dựng các đường dẫn dữ liệu thông qua API và bằng các công cụ như AWS Glue và Lambda, cũng như tìm kiếm dữ liệu của bên thứ ba trên web
Đôi khi chúng cũng được yêu cầu thực hiện ETL, viết tắt của Extract, Transform, Load. ETL là một quy trình mà dữ liệu được lấy từ một nguồn, được làm sạch và thao tác để phù hợp với nhu cầu của các bên liên quan và được lưu trữ ở một số đích khác. Mặc dù ETL thường được coi là một nhiệm vụ kỹ thuật dữ liệu, nhưng nó thường có thể là trách nhiệm của các nhà phân tích, đặc biệt là tại các công ty nhỏ hơn
Một đường dẫn ETL phổ biến có thể trông như thế này. trích xuất dữ liệu từ một nền tảng phân tích khác [e. g. , Google Analytics], biến đổi và có khả năng làm phong phú dữ liệu để dữ liệu có thể được xem theo những cách mới và sâu sắc, sau đó tải dữ liệu vào kho dữ liệu của công ty. Điều này đặc biệt hữu ích khi các bộ phận khác nhau đang cố gắng tìm mối tương quan hoặc thậm chí là mối quan hệ nhân quả giữa nỗ lực của họ và kết quả dự kiến, bằng chứng có thể tồn tại trong các nguồn dữ liệu khác nhau
Bạn có thể làm tất cả điều đó bằng tay? . Tuy nhiên, nó không chỉ là việc sử dụng thời gian không hiệu quả [một cách tương đối], mà các quy trình ETL thủ công còn gây ra rất nhiều lỗi.
Sử dụng các thư viện như yêu cầu và gấu trúc, Python có thể tự động hóa toàn bộ quy trình đó. Để đường dẫn đó tự động chạy [tức là không phải mở tập lệnh và tự chạy tập lệnh đó], bạn phải sử dụng công cụ lập lịch trình công việc như cron hoặc dịch vụ như AWS Glue/Lambda. Nhưng xem xét việc “tự chạy” chỉ có nghĩa là nhấn một nút, Python vẫn đưa bạn đến gần hết
chuyển đổiDọn dẹp dữ liệu
Ngay cả khi bạn chưa bao giờ chính thức thực hiện bất kỳ ETL đầu cuối nào trong toàn bộ sự nghiệp phân tích dữ liệu của mình, thì ít nhất bạn cũng sẽ thực hiện phần T. Biến đổi. Bởi vì nếu bạn là nhà phân tích dữ liệu, bạn cũng là người quản lý dữ liệu
Làm sạch dữ liệu có nhiều hình thức. Có thể đơn giản như đổi tên trường, nhưng gian nan như phải đổi tên hàng trăm trường. [Chết tiệt, dữ liệu định dạng rộng. ] Nó cũng có thể mệt mỏi như việc xác định vị trí không gian phía trước và phía sau hoặc cố gắng phân tích các cặp khóa-giá trị được lồng sâu cho một mẩu thông tin
Nói cách khác, dữ liệu có thể lộn xộn theo nhiều cách khác nhau. Và nói chung, khi dữ liệu của một công ty phát triển, thì sự lộn xộn cũng vậy. Đó là một con chó trong bùn sau một cơn mưa. Đừng mong đợi nó tìm thấy nó ở trạng thái chấp nhận được
Khi nói đến việc làm sạch dữ liệu [và thực sự là hầu hết các thao tác với dữ liệu dạng bảng], pandas là thư viện Python. Nếu là một nhà phân tích dữ liệu, bạn chỉ có thể cài đặt một thư viện duy nhất, thì sẽ không có ứng cử viên nào khác
Pandas được xây dựng dựa trên NumPy, một thư viện Python được biết đến đơn giản nhất với khả năng tính toán số của nó. Nó cho phép bạn thực hiện hầu như bất kỳ loại dọn dẹp nào mà bạn có thể thực hiện trong SQL hoặc Excel và sau đó là một số, chỉ theo cách có thể lặp lại nhiều hơn. Ví dụ: gấu trúc có một số hàm tích hợp để xử lý các danh sách và từ điển lồng nhau trong các trường và có thể thay đổi tên của tất cả các cột của bạn theo điều kiện trong vòng chưa đầy một giây. Nó cũng có thể nhập và xuất dữ liệu từ một số loại tệp khác nhau, bao gồm CSV, JSON và Parquet
Pandas không bị giới hạn trong các thao tác số như tên của thư viện cơ sở của nó có thể gợi ý, nhưng cũng có thể được sử dụng để chuyển đổi các kiểu dữ liệu chuỗi, ngày giờ và boolean. Khi được sử dụng cùng với Jupyter Notebooks [cho phép bạn chạy mã của mình theo các bước riêng biệt], nó cũng cung cấp cho bạn khả năng theo dõi quá trình chuyển đổi theo từng giai đoạn thay vì chỉ chạy tập lệnh và hy vọng điều tốt nhất
NLP
NLP là viết tắt của Xử lý ngôn ngữ tự nhiên. Và điều đó về cơ bản có nghĩa là tìm ra điều gì đang xảy ra trong văn bản dạng tự do
Không phải tất cả dữ liệu đều có cấu trúc và hầu như không nơi nào đúng hơn trong ngôn ngữ. Ví dụ: hãy tưởng tượng mọi đoạn trong bài luận này được tải vào cơ sở dữ liệu [mỗi đoạn là một bản ghi]. Bây giờ hãy tưởng tượng tôi yêu cầu bạn viết một truy vấn SQL để xác định xem từng đoạn riêng lẻ có tốt hay không.
Vâng, trước hết, những gì là tốt? . Bạn có thể bắt đầu với. Chà, đoạn lý tưởng là từ n câu trở xuống, vượt quá ngưỡng đó thì không ổn;
Nhưng điều này không chỉ điên rồ mà còn có khả năng đơn giản hóa quá mức. Ví dụ, nghĩa của một từ phụ thuộc rất nhiều vào ngữ cảnh. Ngay cả ngữ pháp, tùy thuộc vào dòng chảy ổn định và biến đổi của thời gian, cũng không thể dựa vào đó để tạo ra kết quả chính xác độc lập với các biến số khác. Tất nhiên là tôi đã đọc lại bài luận này, nhưng có thể an toàn khi cho rằng có một hoặc hai lỗi đánh máy ẩn trong góc tối của một câu nói khác có vẻ vô hại. Làm thế nào những điều đó nên được đánh giá?
Nói cách khác, khi nói đến ngôn ngữ, thực sự rất khó để xem xét đầy đủ mọi thứ. Nếu bạn bằng cách nào đó xoay sở để làm điều đó mà không cần bất kỳ sự trợ giúp nào, xin chúc mừng, bạn thật điên rồ. Có thể những cuốn sách lịch sử tôn vinh sự sáng chói của bạn trong nhiều thế kỷ tới
Mặc dù NLP vẫn còn một chặng đường dài phía trước, nhưng nó cũng đã đi khá xa. Gần đây, một chatbot AI do Google phát triển đã thuyết phục một trong những kỹ sư của mình rằng nó đã trở nên có tri giác. Các thư viện NLP của Python cũng có thể khá mạnh—không thuyết phục bạn-nó-là-có-tình-cảm-mạnh, nhưng với mục đích phân tích dữ liệu, đủ mạnh
Các thư viện như NLTK, spaCY và Gensim có thể được sử dụng để triển khai các kỹ thuật NLP, đôi khi trong ít hơn mười dòng mã. Một trong những kỹ thuật phổ biến hơn được các nhà phân tích dữ liệu sử dụng là phân tích tình cảm, tìm cách xác định xem một đoạn văn bản đang thể hiện sự tích cực, tiêu cực hay điều gì đó trung lập hơn. Phân tích tình cảm thường được sử dụng để phân biệt phản hồi của khách hàng, trong số những thứ khác
Học máy
Học máy là
- Một loại trí tuệ nhân tạo
- Trong kinh doanh sử dụng dữ liệu lịch sử để dự đoán kết quả mới
- Không được áp dụng tùy tiện
Đó cũng là thứ mà Python đặc biệt phù hợp với
Học máy thường được kết hợp với khoa học dữ liệu—được cho là lĩnh vực công việc hấp dẫn nhất thế kỷ, tuy nhiên, đừng ngạc nhiên nếu không có ai khác trong gia đình hoặc vòng kết nối trực tiếp của bạn biết về điều này. Mặc dù liên quan đến phân tích, khoa học dữ liệu là nỗ lực độc đáo của riêng nó với những thách thức riêng
Tuy nhiên, thường có sự chồng chéo khi nói đến trách nhiệm công việc trong thế giới thực. Ví dụ: tùy thuộc vào ngành, thâm niên của vị trí và giai đoạn của công ty, các nhà phân tích dữ liệu đôi khi có thể được yêu cầu làm việc trên mô hình dự đoán được triển khai thông qua các phương pháp máy học
Vậy tại sao Python rất phù hợp cho học máy? . [Hãy tiếp tục đoán các thư viện—bạn sẽ luôn đúng. ] Các thư viện Python phổ biến cho ML bao gồm Scikit-learning và TensorFlow. Scikit-learning là một khung học máy cấp cao hơn có các thuật toán hồi quy, phân cụm và phân loại, trong khi TensorFlow chuyên về học sâu
Một lợi ích khác khi xây dựng mô hình học máy của bạn bằng Python là tính độc lập của nền tảng, có nghĩa là mã của bạn có thể chạy trên các hệ điều hành khác nhau. Các mô hình học máy được phát triển bằng Python có thể chạy trên các loại máy cục bộ khác nhau cũng như thông qua các dịch vụ đám mây
Học máy có thể được triển khai với các ngôn ngữ lập trình khác, nhưng ngoài R, các ngôn ngữ khác này không được sử dụng thường xuyên trong phân tích dữ liệu và do đó khó có thể có trong bộ công cụ của nhà phân tích. Cùng với các ưu điểm khác đã đề cập, Python làm cho các mô hình máy học của bạn có thể tái sản xuất nhiều hơn và cởi mở hơn để cộng tác với các nhà khoa học và nhà phân tích dữ liệu khác, đó là nơi diễn ra tất cả quá trình học tập tốt [của con người]
Tại giao điểm của dữ liệu và cách kể chuyện là hình ảnh trực quan tốt. Nếu điều đó nghe có vẻ hơi sến sẩm, tôi sẽ cung cấp thứ gì đó có cơ sở hơn một chút. Bạn cũng có thể tìm thấy hình ảnh trực quan ở điểm giao nhau giữa nhóm phân tích và quản lý cấp trên. Không ai - kể cả chính các nhà phân tích - yêu thích một biểu đồ tốt như ban quản lý
Trực quan hóa mạnh mẽ chuyển đổi dữ liệu để có thể hiểu được dữ liệu trong một khoảng thời gian ngắn. Nó cung cấp cả ngữ cảnh và nội dung theo cách mà các số thô thường không có. Hãy nghĩ về biểu đồ chuỗi thời gian so với. một bảng tính với doanh số bán hàng của năm ngoái được tổng hợp theo ngày—một bảng tính bạn có thể hiểu ngay lập tức, bảng tính còn lại sẽ khiến bạn hoa cả mắt
Nhìn bề ngoài, Python có vẻ giống như thứ gì đó tốt cho việc chuẩn bị dữ liệu nhưng không tốt cho việc trình bày dữ liệu. Có một số sự thật về điều này; . Nhưng Python thực sự có thể tạo ra một số hình ảnh có thể tùy chỉnh đáng kinh ngạc. Một số thư viện, như Dash, thậm chí còn cho phép bạn tạo các bảng điều khiển tương tác
Python sẽ hiếm khi là một giải pháp đơn giản hơn cho doanh nghiệp thông minh hơn các công cụ như Tableau hoặc Power BI. Nhưng đôi khi nó có thể linh hoạt hơn. Các thư viện như seaborn cho phép các nhà phân tích dữ liệu nhanh chóng tạo các biểu đồ có thể được tùy chỉnh theo những cách có thể phức tạp trong Excel chẳng hạn. Nó cũng có thể hữu ích trong trường hợp khẩn cấp khi dữ liệu tồn tại ở đâu đó mà công cụ BI của bạn hiện không được tích hợp với
Lúc đầu, bạn có thể sẽ dành nhiều thời gian để khám phá tài liệu của thư viện trực quan hóa, đặc biệt nếu bạn cần tài liệu đó để làm một việc gì đó cực kỳ cụ thể. Nhưng ở một mức độ nào đó, đó là bản chất của mã hóa. Có thể nói, khía cạnh này cũng là một phần thú vị—bạn có thể tìm kiếm cách thêm nhãn vào trục x của mình và tình cờ học được cách biến các dấu chấm trong biểu đồ phân tán của bạn thành các ngôi sao. ngôi sao. Đó là một thế giới ly kỳ mà chúng ta đang sống
Hoặc có thể bạn tình cờ thấy gói hình ảnh dễ thương được thừa nhận là đơn giản nhưng có phong cách đặc biệt. Cái tên này khá dễ hiểu, nhưng biểu đồ hình tròn này được tạo ra với nó có lẽ còn hơn thế nữa
Ý tôi là, vâng, đó là một biểu đồ dễ thương. Bạn có mong đợi điều gì khác biệt không? Kết luận
Đọc đến đây, bạn có thể nghĩ. Tại sao phải bận tâm với các công cụ BI, giải pháp ETL tự động hoặc nền tảng phân tích của bên thứ ba?
Đối với hầu hết các phần, nó có thể. Nhưng điều đó không có nghĩa là nó luôn luôn nên. Có một lý do không phải ai cũng xây dựng ngôi nhà của riêng mình. Mất rất nhiều thời gian để học cách làm, rất nhiều thời gian để lập kế hoạch và rất nhiều thời gian để thực hiện tầm nhìn. [Cũng cần có tiền, tài nguyên và có thể là một sức chịu đựng thể chất tương đối để xây dựng một ngôi nhà—nhưng bạn hiểu rồi đấy]
Tôi đã gặp các nhà phân tích dữ liệu, những người hơi miễn cưỡng coi Python là thứ họ “nên” học, đặc biệt là vì nó thường được nhắc đến trong các mô tả công việc được trả lương cao hơn. Nhưng đối với tôi, nó thực sự chỉ là làm cho cuộc sống của bạn dễ dàng hơn khi áp dụng. Python là một công cụ. Rõ ràng tôi nghĩ nó đáng để học hỏi, nhưng điều đó xuất phát từ kinh nghiệm cá nhân của tôi. Liệu nó có xứng đáng với người khác hay không phụ thuộc vào rất nhiều thứ — ngành họ làm việc, nhóm công nghệ ưa thích của nhóm họ, lượng thời gian rảnh rỗi mà họ có để học. Vân vân
Tin tốt là, trong thế giới phân tích dữ liệu, Python sẽ không sớm biến mất. Trên thực tế, tác giả của gấu trúc, Wes McKinney, vừa xuất bản ấn bản thứ ba của cuốn sách của ông, Python for Data Analysis, mà bạn có thể đọc trực tuyến miễn phí tại đây. [Xin lưu ý rằng tôi không có mối quan hệ cá nhân hay nghề nghiệp nào với cuốn sách hay Wes McKinney. Tôi đảm bảo với bạn, anh ấy không biết tôi tồn tại. ]
Vì vậy, nếu bạn đang tự hỏi liệu có quá muộn để bắt đầu học. Nó thực sự không
Nếu có bất cứ điều gì bạn nghĩ Python làm tốt mà 1] có liên quan đến phân tích dữ liệu và 2] Tôi không trình bày hoặc trình bày đủ rộng hoặc đủ hấp dẫn ở đây, tôi rất muốn nghe về điều đó trong các nhận xét. Và như mọi khi, vui lòng kết nối với tôi trên LinkedIn