Hướng dẫn how do i find a link in python? - làm thế nào để tôi tìm thấy một liên kết trong python?

Bạn có muốn cạo các liên kết không?

Mô -đun Urllib2 có thể được sử dụng để tải xuống dữ liệu trang web. Dữ liệu trang web luôn được định dạng ở định dạng HTML.

Để đối phó với dữ liệu định dạng HTML, chúng tôi sử dụng mô -đun Python có tên BeautifulSoup. Đẹp là một mô -đun Python để phân tích các trang web (HTML).

Khóa học liên quan: Khóa học & Bài tập lập trình Python hoàn chỉnh Complete Python Programming Course & Exercises

Nhận tất cả các liên kết từ một trang web

Tất cả các liên kết sẽ được trả về dưới dạng danh sách, như vậy:

['//slashdot.org/faq/slashmeta.shtml', ... ,'mailto:[email protected]', '#', '//slashdot.org/blog', '#', '#', '//slashdot.org']

Chúng tôi xóa một trang web với các bước sau:

• Tải xuống dữ liệu trang web (HTML)
• Tạo dữ liệu trang web của BeautifulSoup và Parse and parse webpage data
• Sử dụng phương pháp súp tìm kiếm để tìm tất cả các liên kết bằng thẻ AfindAll to find all links by the a tag
• Lưu trữ tất cả các liên kết trong danh sách

Để nhận tất cả các liên kết từ một trang web:

 
from bs4 import BeautifulSoup
from urllib.request import Request, urlopen
import re

req = Request("http://slashdot.org")
html_page = urlopen(req)

soup = BeautifulSoup(html_page, "lxml")

links = []
for link in soup.findAll('a'):
    links.append(link.get('href'))

print(links)

Làm thế nào nó hoạt động?

Dòng này tải xuống dữ liệu trang web (được bao quanh bởi các thẻ HTML):

req = Request("http://slashdot.org")
html_page = urlopen(req)

Dòng tiếp theo tải nó vào một đối tượng đẹp:

soup = BeautifulSoup(html_page, "lxml")

CodeBlock liên kết sau đó sẽ nhận tất cả các liên kết bằng cách sử dụng.

links = []
for link in soup.findAll('a'):
    links.append(link.get('href'))

Cuối cùng chúng tôi hiển thị danh sách các liên kết:

import webbrowser
webbrowser.open("http://www.example.com")

Tải xuống các ví dụ mạng