Hướng dẫn time series transformation python - trăn biến đổi chuỗi thời gian
|
Phần bài này sẽ hướng dẫn các bạn cách Pandas giải quyết dữ liệu với chuỗi thời gian (time series) như thế nào. Time series là một loạt các dữ liệu, được liệt kê (hoặc được lập chỉ mục) theo thứ tự thời gian. Thông thường, chuỗi thời gian là một dãy các giá trị, có khoảng cách đều nhau theo thời gian. Tất cả mọi thứ bao gồm dữ liệu đo được gắn với thời gian tương ứng có thể được xem như một chuỗi thời gian. Các phép đo có thể được thực hiện bất thường, nhưng trong nhiều trường hợp, các chuỗi thời gian được lấy mẫu với tần suất cố định. Điều này có nghĩa là dữ liệu được đo hoặc được lấy theo một mẫu thông thường, ví dụ như 5 mili giây, mỗi 10 giây hoặc hàng giờ. Hàng loạt các chuỗi thời gian thường được vẽ dưới dạng biểu đồ đường. Trong chương này chúng tôi sẽ giới thiệu các công cụ từ Pandas để xử lý time series. Bạn sẽ học cách xử lý với các chuỗi thời gian lớn và cách thay đổi chuỗi thời gian. Trước khi bạn tiếp tục đọc, có thể hữu ích khi xem hướng dẫn khác về các mô đun Python chuẩn liên quan đến xử lý thời gian như datetime, time and calendar: Indexing pandas time series. Series: nó được xây dựng dựa trên index của nó là các time stamps.: nó được xây dựng dựa trên index của nó là các time stamps. Dataframe: Nhắc lại bài số 8 “CSV reindexing”, chúng ta đã đề cập đến tham số parse_dates=True trong pd.read_csv() có thể đọc strings và chuyển đổi về dạng datetime. Ta cùng nhắc lại ví dụ đó sử dụng “sales_14.csv”.: Nhắc lại bài số 8 “CSV reindexing”, chúng ta đã đề cập đến tham số parse_dates=True trong pd.read_csv() có thể đọc strings và chuyển đổi về dạng datetime. Ta cùng nhắc lại ví dụ đó sử dụng “sales_14.csv”. Selection: khi indexes là kiểu datetime, chúng ta có thể tiến hành nhiều kiểu selection và slicing phức tạp qua hỗ trợ của .loc[]. Ví dụ như lựa ra toàn bộ hàng thuộc tháng 2 ngày 11 trong sales. Và nó cũng hỗ trợ chỉ chọn năm sales.loc['2015',:] hoặc tháng sales.loc['2015-02',:].: khi indexes là kiểu datetime, chúng ta có thể tiến hành nhiều kiểu selection và slicing phức tạp qua hỗ trợ của .loc[]. Ví dụ như lựa ra toàn bộ hàng thuộc tháng 2 ngày 11 trong sales. Và nó cũng hỗ trợ chỉ chọn năm sales.loc['2015',:] hoặc tháng sales.loc['2015-02',:]. Converting to Timestamps Chuyển đổi một đối tượng giống chẳng hạn một danh sách các string định dạng ngày tháng ví dụ: string, time object, hoặc hỗn hợp, bạn có thể sử dụng hàm to_datetime. Khi truyền một Series, hàm này sẽ trả về một Series (có cùng chỉ mục), trong khi danh sách sẽ được chuyển thành DatetimeIndex. Ngoài ra, với những giá trị không hợp lệ sẽ được gán mặc định bằng NAT. Ví dụ sau:Chúng ta có thể tùy biến để có được style mong muốn cho DatetimeIndex. Ví dụ dùng chuẩn châu âu. Ta cũng có thể truyền vào một data time frame có định dạng như sau để chuẩn hóa dữ liệu. Cần chuẩn hóa frame ‘df’’ theo kiểu châu âu bằng cách dùng to_datetime() như sau: Khi làm việc với time series, chuẩn hóa time là một bước quan trọng để ta có thể dễ dàng group, hay thực hiện transformation ở các bước tiếp theo. Để hiểu sâu hơn về time series, các bạn có thể tham khảo tại. https://pandas.pydata.org/pandas-docs/stable/timeseries.html Resampling Sử dụng một phương pháp gọi là resampling, chúng ta có thể thực hiện một số xử lý thống kê trên một khoảng thời gian như .mean(), .sum(), .count() etc. Pandas cung cấp phương thức .resample() có rất nhiều tùy chọn để ta có thể tùy chỉnh. Ta cần chú ý đến 2 contexts sau đây: + Downsampling: Giảm tần suất lấy mẫu bằng cách tăng thời gian lấy mẫu từ vài phút đến vài giờ.+ Upsampling: Tăng tần suất lấy mẫu bằng cách giảm thời gian lấy mẫu từ vài giờ xuống vài phút.Trong trường hợp Downsampling, mối quan tâm có thể là xác định giá trị quan sát được tính bằng cách sử dụng phép nội suy. Trong trường hợp Upsampling, cần phải chú ý đến việc là giá trị thống kê .sum(), .mean() etc được sử dụng để tính toán các giá trị tổng hợp mới. Để .resample() hoạt động ta cần chỉ rõ tần suất sample. Và bảng sau cho ta một vài string phổ biến để sử dụng làm đơn vị. Và ta có thể sử dụng như ‘3W’, ‘2A’ etc.
Upsampling (ffill(), bfill(), head(), first(), interpolate(‘linear’))ffill(), bfill(), head(), first(), interpolate(‘linear’)) Downsampling (sum(), mean(), std() etc) Datetime methods Để nhận được đối tượng datetime từ time series ta có thể sử dụng .dt như ví dụ sau: chú ý sử dụng lại sales sau khi đã reset_index(). Chúng ta có thể chỉ nhận giờ/phút/năm etc từ cột ‘Date’.
Chúng ta cũng có thể thiết lập hoặc chuyển đổi timezone qua phương thức .tz_localize() và tz_convert(). Kết Luận Qua bài học này ta cần nắm được một số nội dung chính sau: (1) Cách thức chuyển đổi (convert) qua lại giữa các kiểu dữ liệu string và datetime. (2) Cách sử dụng cột date là index và các kĩ thuật selection/slice tương ứng. (3) Kĩ thuật resample dữ liệu để có thể khai phá dữ liệu được phân định theo giờ, ngày, tháng, năm … |
