Python đọc bảng html từ trang web

Dữ liệu dạng bảng là một trong những nguồn dữ liệu tốt nhất trên web. Chúng có thể lưu trữ một lượng lớn thông tin hữu ích mà không làm mất định dạng dễ đọc của nó, khiến nó trở thành mỏ vàng cho các dự án liên quan đến dữ liệu

Cho dù đó là cạo dữ liệu bóng đá hay trích xuất dữ liệu thị trường chứng khoán, chúng ta có thể sử dụng Python để nhanh chóng truy cập, phân tích cú pháp và trích xuất dữ liệu từ các bảng HTML nhờ Requests và Beautiful Soup

Ngoài ra, cuối cùng chúng tôi có một bất ngờ đen trắng nhỏ dành cho bạn, vì vậy hãy tiếp tục đọc

Hiểu cấu trúc của bảng HTML

Nhìn trực quan, bảng HTML là một tập hợp các hàng và cột hiển thị thông tin ở định dạng bảng. Đối với hướng dẫn này, chúng tôi sẽ cạo bảng ở trên

Để có thể cạo dữ liệu có trong bảng này, chúng ta sẽ cần tìm hiểu sâu hơn một chút về mã hóa của nó

Nói chung, các bảng HTML thực sự được xây dựng bằng cách sử dụng các thẻ HTML sau

• //api.scraperapi.com?api_key={Your_API_KEY}&url={TARGET_URL}
  

  0. Nó đánh dấu sự bắt đầu của một bảng HTML

• //api.scraperapi.com?api_key={Your_API_KEY}&url={TARGET_URL}
  

  1 hoặc

  //api.scraperapi.com?api_key={Your_API_KEY}&url={TARGET_URL}
  

  2. Xác định một hàng làm tiêu đề của bảng

• //api.scraperapi.com?api_key={Your_API_KEY}&url={TARGET_URL}
  

  3. Cho biết phần chứa dữ liệu

• //api.scraperapi.com?api_key={Your_API_KEY}&url={TARGET_URL}
  

  4. Cho biết một hàng trong bảng

• //api.scraperapi.com?api_key={Your_API_KEY}&url={TARGET_URL}
  

  5. Định nghĩa một ô trong bảng

Tuy nhiên, như chúng ta sẽ thấy trong các tình huống thực tế, không phải tất cả các nhà phát triển đều tôn trọng các quy ước này khi xây dựng bảng của họ, khiến cho một số dự án khó hơn những dự án khác. Tuy nhiên, hiểu cách chúng hoạt động là rất quan trọng để tìm ra phương pháp phù hợp

Hãy nhập URL của bảng [https. //dữ liệu. mạng/ví dụ/tạo kiểu/sọc. html] trong trình duyệt của chúng tôi và kiểm tra trang để xem điều gì đang xảy ra bên trong

This is why this is a great page to practice scraping tabular data with Python. There’s a clear

Một vài điều nữa cần biết về bảng này là nó có tổng cộng 57 mục mà chúng tôi muốn thu thập và dường như có hai giải pháp để truy cập dữ liệu. Đầu tiên là nhấp vào menu thả xuống và chọn “100” để hiển thị tất cả các mục nhập

Hoặc nhấp vào nút tiếp theo để di chuyển qua phân trang

Vậy cái nào sẽ là?

Tất nhiên, vì đây là bảng HTML nên tất cả dữ liệu phải nằm trên chính tệp HTML mà không cần phải tiêm AJAX. Để xác minh điều này, Nhấp chuột phải> Xem nguồn trang. Tiếp theo, sao chép một vài ô và tìm kiếm chúng trong Mã nguồn

Chúng tôi đã làm điều tương tự cho một vài mục khác từ các ô được phân trang khác nhau và vâng, có vẻ như tất cả dữ liệu mục tiêu của chúng tôi đều ở đó mặc dù giao diện người dùng không hiển thị nó

Và với thông tin này, chúng tôi đã sẵn sàng chuyển sang mã

Cạo các bảng HTML bằng cách sử dụng món súp đẹp mắt của Python

Bởi vì tất cả dữ liệu nhân viên mà chúng tôi muốn thu thập đều nằm trên tệp HTML, nên chúng tôi có thể sử dụng thư viện Yêu cầu để gửi yêu cầu HTTP và phân tích cú pháp phản hồi bằng Beautiful Soup

Ghi chú. Nếu bạn chưa quen với việc quét web, chúng tôi đã tạo một hướng dẫn về quét web trong Python dành cho người mới bắt đầu. Mặc dù bạn có thể làm theo mà không cần kinh nghiệm, nhưng luôn luôn nên bắt đầu từ những điều cơ bản

1. Gửi yêu cầu chính của chúng tôi

Hãy tạo một thư mục mới cho dự án có tên python-html-table, sau đó một thư mục mới có tên bs4-table-scraper và cuối cùng, tạo một python_table_scraper mới. tập tin py. 54

Từ thiết bị đầu cuối, hãy

//api.scraperapi.com?api_key={Your_API_KEY}&url={TARGET_URL}

import requests
from bs4 import BeautifulSoup

Để gửi yêu cầu HTTP bằng Yêu cầu, tất cả những gì chúng ta cần làm là đặt URL và chuyển qua yêu cầu. get[], lưu trữ HTML được trả về bên trong một biến phản hồi và in phản hồi. status_code

Ghi chú. Nếu bạn hoàn toàn chưa quen với Python, bạn có thể chạy mã của mình từ thiết bị đầu cuối bằng lệnh python3 python_table_scraper. py

________số 8

Nếu nó hoạt động, nó sẽ trả về mã trạng thái 200. Bất cứ điều gì khác có nghĩa là IP của bạn đang bị từ chối bởi các hệ thống chống cạo mà trang web đã đặt. Một giải pháp tiềm năng là thêm các tiêu đề tùy chỉnh vào tập lệnh của bạn để làm cho tập lệnh của bạn trông giống con người hơn – nhưng điều đó có thể là chưa đủ. Một giải pháp khác là sử dụng API quét web để xử lý tất cả những vấn đề phức tạp này cho bạn

2. Tích hợp ScraperAPI để tránh hệ thống Anti-Scraping

ScraperAPI là một giải pháp tao nhã để tránh hầu hết mọi loại kỹ thuật chống cạo. Nó sử dụng máy học và nhiều năm phân tích thống kê để xác định các tiêu đề và tổ hợp IP tốt nhất để truy cập dữ liệu, xử lý CAPTCHA và xoay vòng IP của bạn giữa mỗi yêu cầu

Để bắt đầu, hãy tạo một tài khoản miễn phí ScraperAPI mới để đổi 5000 API miễn phí và Khóa API của chúng tôi. Từ bảng điều khiển tài khoản của chúng tôi, chúng tôi có thể sao chép giá trị chính của mình để tạo URL của yêu cầu

//api.scraperapi.com?api_key={Your_API_KEY}&url={TARGET_URL}

Theo cấu trúc này, chúng tôi thay thế chủ sở hữu bằng dữ liệu của chúng tôi và gửi lại yêu cầu của chúng tôi

//api.scraperapi.com?api_key={Your_API_KEY}&url={TARGET_URL}

Tuyệt vời, nó hoạt động mà không có bất kỳ trục trặc nào

3. Xây dựng trình phân tích cú pháp bằng cách sử dụng Beautiful Soup

Trước khi có thể trích xuất dữ liệu, chúng tôi cần biến HTML thô thành dữ liệu được định dạng hoặc phân tích cú pháp. Chúng tôi sẽ lưu trữ HTML được phân tích cú pháp này vào một đối tượng súp như thế này

//api.scraperapi.com?api_key={Your_API_KEY}&url={TARGET_URL}

Từ đây, chúng ta có thể duyệt qua cây phân tích cú pháp bằng cách sử dụng các thẻ HTML và các thuộc tính của chúng

Nếu chúng ta quay trở lại bảng trên trang, chúng ta đã thấy rằng bảng được đặt giữa các thẻ

  

//api.scraperapi.com?api_key={Your_API_KEY}&url={TARGET_URL}

//api.scraperapi.com?api_key={Your_API_KEY}&url={TARGET_URL}

//api.scraperapi.com?api_key={Your_API_KEY}&url={TARGET_URL}

Ghi chú. Sau khi test thêm class thứ 2 [dataTable] không trả về phần tử. Trên thực tế, trong các phần tử trả về, lớp của bảng chỉ có sọc. Bạn cũng có thể sử dụng id = ‘ví dụ’

Đây là những gì nó trả về

Bây giờ chúng tôi đã lấy bảng, chúng tôi có thể lặp qua các hàng và lấy dữ liệu chúng tôi muốn

4. Vòng qua bảng HTML

Nghĩ lại về cấu trúc của bảng, mỗi hàng được đại diện bởi một phần tử

//api.scraperapi.com?api_key={Your_API_KEY}&url={TARGET_URL}

//api.scraperapi.com?api_key={Your_API_KEY}&url={TARGET_URL}

//api.scraperapi.com?api_key={Your_API_KEY}&url={TARGET_URL}

Để trích xuất dữ liệu, chúng tôi sẽ tạo hai giao diện, một để lấy phần

//api.scraperapi.com?api_key={Your_API_KEY}&url={TARGET_URL}

//api.scraperapi.com?api_key={Your_API_KEY}&url={TARGET_URL}

Trong các hàng, chúng tôi sẽ lưu trữ tất cả các phần tử

//api.scraperapi.com?api_key={Your_API_KEY}&url={TARGET_URL}

Để bắt đầu, hãy thử chọn tên của nhân viên đầu tiên trên bảng điều khiển của trình duyệt bằng cách sử dụng. phương thức querySelectorAll[]. Một tính năng thực sự hữu ích của phương pháp này là chúng ta có thể đi sâu hơn vào hệ thống phân cấp thực hiện ký hiệu lớn hơn [>] để xác định phần tử cha [ở bên trái] và phần tử con mà chúng ta muốn lấy [ở bên phải]

//api.scraperapi.com?api_key={Your_API_KEY}&url={TARGET_URL}

That couldn’t work any better. As you see, once we grab all

//api.scraperapi.com?api_key={Your_API_KEY}&url={TARGET_URL}

//api.scraperapi.com?api_key={Your_API_KEY}&url={TARGET_URL}

url = '//datatables.net/examples/styling/stripe.html'

response = requests.get[url]

print[response.status_code]

url = '//datatables.net/examples/styling/stripe.html'

response = requests.get[url]

print[response.status_code]

url = '//datatables.net/examples/styling/stripe.html'

response = requests.get[url]

print[response.status_code]

//api.scraperapi.com?api_key={Your_API_KEY}&url={TARGET_URL}

//api.scraperapi.com?api_key={Your_API_KEY}&url={TARGET_URL}

url = '//datatables.net/examples/styling/stripe.html'

response = requests.get[url]

print[response.status_code]

url = '//datatables.net/examples/styling/stripe.html'

response = requests.get[url]

print[response.status_code]

url = '//datatables.net/examples/styling/stripe.html'

response = requests.get[url]

print[response.status_code]

url = '//datatables.net/examples/styling/stripe.html'

response = requests.get[url]

print[response.status_code]

url = '//datatables.net/examples/styling/stripe.html'

response = requests.get[url]

print[response.status_code]

url = '//datatables.net/examples/styling/stripe.html'

response = requests.get[url]

print[response.status_code]

url = '//datatables.net/examples/styling/stripe.html'

response = requests.get[url]

print[response.status_code]