Hướng dẫn python crawl data from website - dữ liệu thu thập dữ liệu python từ trang web

Cài đặt PIP Yêu cầu BeautifulSoup4 LXML

Nhập yêu cầurequests

# Lat-lon của New York

URL="https://weather.com/weather/today/l/40.75,-73.98"="https://weather.com/weather/today/l/40.75,-73.98"

resp=requests.get(URL)=requests.get(URL)

print(resp.status_code)(resp.status_code)

print(resp.text)(resp.text)

200

name = "ViewPort" Content = "Width = Device-Width, Ban đầu-scale = 1, chế độ xem-fit = cover"/>

...

Nhập IOio

Nhập Pandas ASPDpandas aspd

Nhập yêu cầurequests

URL="https://fred.stlouisfed.org/graph/fredgraph.csv?id=T10YIE&cosd=2017-04-14&coed=2022-04-14"="https://fred.stlouisfed.org/graph/fredgraph.csv?id=T10YIE&cosd=2017-04-14&coed=2022-04-14"

resp=requests.get(URL)= requests.get(URL)

ifresp.status_code==200:resp.status_code==200:

# Lat-lon của New Yorkcsvtext=resp.text

   csvbuffer= io.StringIO(csvtext)

name = "ViewPort" Content = "Width = Device-Width, Ban đầu-scale = 1, chế độ xem-fit = cover"/>df=pd.read_csv(csvbuffer)

...print(df)

Nếu bạn quen thuộc với HTTP, có lẽ bạn có thể nhớ lại rằng mã trạng thái 200 có nghĩa là yêu cầu được thực hiện thành công. Sau đó, chúng ta có thể đọc phản hồi. Ở trên, chúng tôi đọc phản hồi văn bản và nhận HTML của trang web. Nếu nó là CSV hoặc một số dữ liệu văn bản khác, chúng ta có thể đưa chúng vào thuộc tính text của đối tượng phản hồi. Ví dụ, đây là cách chúng ta có thể đọc CSV từ dữ liệu kinh tế của Dự trữ Liên bang:

Nhập IO

Nhập Pandas ASPD

& nbsp; & nbsp; csvtext = resp.text

& nbsp; & nbsp; csvbuffer = io.Stringio (csvtext)

& nbsp; & nbsp; df = pd.read_csv (csvbuffer)

...          ...    ...

& nbsp; & nbsp; In (DF)

Ngày t10yie

0 & nbsp; & nbsp; & nbsp; & nbsp; 2017-04-17 & nbsp; & nbsp; 1,88

1302  2022-04-13    2.8

1 & nbsp; & nbsp; & nbsp; & nbsp; 2017-04-18 & nbsp; & nbsp; 1,85

2 & nbsp; & nbsp; & nbsp; & nbsp; 2017-04-19 & nbsp; & nbsp; 1,85

Nhập yêu cầurequests

URL="https://api.github.com/users/jbrownlee"="https://api.github.com/users/jbrownlee"

resp=requests.get(URL)=requests.get(URL)

ifresp.status_code==200:resp.status_code==200:

    data=resp.json()data=resp.json()

    print(data)print(data)

# Lat-lon của New York

'avatar_url': 'https://avatars.githubusercontent.com/u/12891?v=4',

name = "ViewPort" Content = "Width = Device-Width, Ban đầu-scale = 1, chế độ xem-fit = cover"/>

...

...

Nếu bạn quen thuộc với HTTP, có lẽ bạn có thể nhớ lại rằng mã trạng thái 200 có nghĩa là yêu cầu được thực hiện thành công. Sau đó, chúng ta có thể đọc phản hồi. Ở trên, chúng tôi đọc phản hồi văn bản và nhận HTML của trang web. Nếu nó là CSV hoặc một số dữ liệu văn bản khác, chúng ta có thể đưa chúng vào thuộc tính text của đối tượng phản hồi. Ví dụ, đây là cách chúng ta có thể đọc CSV từ dữ liệu kinh tế của Dự trữ Liên bang:

Nhập IO

Nhập Pandas ASPD

& nbsp; & nbsp; csvtext = resp.text

& nbsp; & nbsp; csvbuffer = io.Stringio (csvtext)

& nbsp; & nbsp; df = pd.read_csv (csvbuffer)

Nhập yêu cầurequests

URL="https://en.wikipedia.org/static/images/project-logos/enwiki.png"="https://en.wikipedia.org/static/images/project-logos/enwiki.png"

wikilogo=requests.get(URL)=requests.get(URL)

ifwikilogo.status_code==200:wikilogo.status_code== 200:

& nbsp; & nbsp; & nbsp; & nbsp; với Openwith open("enwiki.png","wb")asfp:

        fp.write(wikilogo.content)fp.write(wikilogo.content)

.....

từ nhập khẩu LXML ETREElxml import etree

# Tạo DOM từ văn bản HTML

dom=etree.HTML(resp.text)=etree.HTML(resp.text)

# Tìm kiếm phần tử nhiệt độ và nhận nội dung

Elements = dom.xpath ("// span [@data-testid = 'nhiệt độValue' và chứa (@class, 'currentConditions')]") =dom.xpath("//span[@data-testid='TemperatureValue' and contains(@class,'CurrentConditions')]")

print(elements[0].text)(elements[0].text)

.....

từ nhập khẩu LXML ETREEbs4 import BeautifulSoup

soup=BeautifulSoup(resp.text,"lxml")=BeautifulSoup(resp.text,"lxml")

elements=soup.select('span[data-testid="TemperatureValue"][class^="CurrentConditions"]')= soup.select('span[data-testid="TemperatureValue"][class^="CurrentConditions"]')

print(elements[0].text)(elements[0].text)

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

Elements = dom.xpath ("// span [@data-testid = 'nhiệt độValue' và chứa (@class, 'currentConditions')]")requests

từ nhập khẩu LXML ETREElxml import etree

# Tạo DOM từ văn bản HTML

URL="https://weather.com/weather/today/l/40.75,-73.98"="https://weather.com/weather/today/l/40.75,-73.98"

resp=requests.get(URL)=requests.get(URL)

ifresp.status_code==200: resp.status_code==200:

# Tìm kiếm phần tử nhiệt độ và nhận nội dung# Using lxml

    dom=etree.HTML(resp.text)dom=etree.HTML(resp.text)

Elements = dom.xpath ("// span [@data-testid = 'nhiệt độValue' và chứa (@class, 'currentConditions')]")elements =dom.xpath("//span[@data-testid='TemperatureValue' and contains(@class,'CurrentConditions')]")

    print(elements[0].text)print(elements[0].text)

XPath là một chuỗi chỉ định cách tìm một phần tử. Đối tượng LXML cung cấp hàm xpath() để tìm kiếm DOM cho các phần tử khớp với chuỗi XPath, có thể là nhiều trận đấu. XPath ở trên có nghĩa là tìm một phần tử HTML ở bất cứ đâu với thẻ ____ 7 & nbsp; và với thuộc tính & nbsp; ____ ____ 8 phù hợp với ____ ____99 và & nbsp; Chúng ta có thể tìm hiểu điều này từ các công cụ phát triển của trình duyệt (ví dụ: ảnh chụp màn hình Chrome bên dưới) bằng cách kiểm tra nguồn HTML.# Using BeautifulSoup

    soup=BeautifulSoup(resp.text,"lxml")soup =BeautifulSoup(resp.text,"lxml")

    elements=soup.select('span[data-testid="TemperatureValue"][class^="CurrentConditions"]')elements=soup.select('span[data-testid="TemperatureValue"][class^="CurrentConditions"]')

    print(elements[0].text)print(elements[0].text)

Ở trên, trước tiên chúng tôi chuyển văn bản HTML của chúng tôi cho BeautifulSoup. Đẹp hỗ trợ các trình phân tích cú pháp HTML khác nhau, mỗi người có khả năng khác nhau. Ở trên, chúng tôi sử dụng thư viện lxml làm trình phân tích cú pháp theo khuyến nghị của BeautifulSoup (và nó cũng thường là nhanh nhất). Bộ chọn CSS là một ngôn ngữ nhỏ khác nhau, với ưu và nhược điểm so với XPath. Bộ chọn ở trên giống hệt với XPath chúng tôi đã sử dụng trong ví dụ trước. Do đó, chúng ta có thể nhận được cùng nhiệt độ từ phần tử phù hợp đầu tiên.pandas aspd

tables=pd.read_html("https://www.federalreserve.gov/releases/h25/")=pd.read_html("https://www.federalreserve.gov/releases/h25/")

print(tables)(tables)

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

Sau đây là mã hoàn chỉnh để in nhiệt độ hiện tại của New York theo thông tin thời gian thực trên web:

Nhập yêu cầu

# Đọc nhiệt độ của New York

2 & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; Phi tài chính & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; nan & nbsp; & nbsp; Nan & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; Nan & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; Nan

3 & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; 0,30 & nbsp; & nbsp; & nbsp; & nbsp; 0,34 & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; 0.36 & nbsp;

4 & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; N.A. & nbsp; & nbsp; & nbsp; & nbsp; 0,48 & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp;

5 & ​​nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; N.A. & nbsp; & nbsp; & nbsp; & nbsp; N.A. & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp;

6 & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; Nan & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; Nan & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; Nan

7 & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; 0,49 & nbsp; & nbsp; & nbsp; & nbsp; 0,45 & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; 0.46 & nbsp;

8 & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; N.A. & nbsp; & nbsp; & nbsp; & nbsp; N.A. & nbsp; & nbsp; & nbsp; & nbsp; & nbsp;

9 & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; 0,85 & nbsp; & nbsp; & nbsp; & nbsp; 0,81 & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; 0,75 & nbsp;

10 & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; Khoản vay Ngân hàng Prime 2 3 7 & nbsp; & nbsp; & nbsp; & nbsp; 3.50 & nbsp; & nbsp; & nbsp; & nbsp; 3.50 & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; 3.50 & nbsp;

11 & nbsp; & nbsp; & nbsp; & nbsp; 0,50 & nbsp; & nbsp; & nbsp; & nbsp; 0,50 & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; 0,50 & nbsp;

12 & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; Chứng khoán chính phủ & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; nan & nbsp; & nbsp; Nan & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; Nan & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; Nan

13 & nbsp; & nbsp; Hóa đơn Kho bạc (Thị trường thứ cấp) 3 4 & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; nan & nbsp; & nbsp; Nan & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; Nan & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; Nan

14 & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; 0,21 & nbsp; & nbsp; & nbsp; & nbsp; 0,20 & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; 0.21 & nbsp;

15 & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; 3 tháng & nbsp; & nbsp; & nbsp; & nbsp; 0,68 & nbsp; & nbsp; & nbsp; & nbsp; 0,69 & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; 0,78 & nbsp; & nbsp;

16 & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; 6 tháng & nbsp; & nbsp; & nbsp; & nbsp; 1.12 & nbsp; & nbsp; & nbsp; & nbsp; 1.16 & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; 1.22 & nbsp; & nbsp;

17 & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; 1.69 & nbsp; & nbsp; & nbsp; & nbsp; 1.72 & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; 1.75 & nbsp; & nbsp;

18 & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; Nan & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; Nan & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; Nan & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; Nan

19 & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; Danh nghĩa 9 & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; nan & nbsp; & nbsp; & nbsp; Nan & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; Nan & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; Nan

20 & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; 1 tháng & nbsp; & nbsp; & nbsp; & nbsp; 0,21 & nbsp; & nbsp; & nbsp; & nbsp; 0,20 & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; 0,22 & nbsp; & nbsp;

21 & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; 3 tháng & nbsp; & nbsp; & nbsp; & nbsp; 0,68 & nbsp; & nbsp; & nbsp; & nbsp; 0,70 & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; 0,77 & nbsp;

22 & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; 6 tháng & nbsp; & nbsp; & nbsp; & nbsp; 1.15 & nbsp; & nbsp; & nbsp; & nbsp; 1.19 & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; 1.23 & nbsp; & nbsp;

23 & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; 1.78 & nbsp; & nbsp; & nbsp; & nbsp; 1.81 & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; 1.85 & nbsp; & nbsp;

24 & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; 2.47 & nbsp; & nbsp; & nbsp; & nbsp; 2.53 & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; 2.50 & nbsp; & nbsp;

25 & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; 2.66 & nbsp; & nbsp; & nbsp; & nbsp; 2.73 & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; 2.73 & nbsp; & nbsp;

26 & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; 2.70 & nbsp; & nbsp; & nbsp; & nbsp; 2.76 & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; 2.79 & nbsp; & nbsp;

27 & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; 2.73 & nbsp; & nbsp; & nbsp; & nbsp; 2.79 & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; 2.84 & nbsp; & nbsp;

28 & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; 10 năm & nbsp; & nbsp; & nbsp; & nbsp; 2.66 & nbsp; & nbsp; & nbsp; & nbsp; 2.72 & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; 2.79 & nbsp; & nbsp;

NBSP; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; 20 năm & nbsp; & nbsp; & nbsp; & nbsp; 2.87 & nbsp; & nbsp; & nbsp; & nbsp; 2.94 & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; 3.02 & nbsp; & nbsp;

30 & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; 30 năm & nbsp; & nbsp; & nbsp; & nbsp; 2.69 & nbsp; & nbsp; & nbsp; & nbsp; 2.76 & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; 2.84 & nbsp; & nbsp;

31 & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; nan & nbsp; & nbsp; & nbsp; & nbsp; Nan & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; Nan & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; Nan

32 & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; -0,58 & nbsp; & nbsp; & nbsp; & nbsp; -0,65 & nbsp; & nbsp; & nbsp; & nbsp; -0,59

33 & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; -0.32 & nbsp; & nbsp; & nbsp; & nbsp; -0.36 & nbsp; & nbsp; & nbsp; & nbsp; -0.31

34 & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; 10 năm & nbsp; & nbsp; & nbsp; & nbsp; -0.16 & nbsp; -0.12 & nbsp; & nbsp; & nbsp; & nbsp; -0,14 & nbsp; & nbsp; & nbsp; & nbsp; -0.10

NBSP; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; 20 năm & nbsp; & nbsp; & nbsp; & nbsp; 0,09 & nbsp; & nbsp; & nbsp; & nbsp; 0.11 & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; 0.15 & nbsp;

36 & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; 30 năm & nbsp; & nbsp; & nbsp; & nbsp; 0,21 & nbsp; & nbsp; & nbsp; & nbsp; 0,23 & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; 0.27 & nbsp;

37 & nbsp; & nbsp; lạm phát trung bình dài hạn 11 & nbsp; & nbsp; & nbsp; & nbsp; 0,23 & nbsp; & nbsp; & nbsp; & nbsp; 0,26 & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; 0,30 & nbsp; & nbsp; ; & nbsp; 0 & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; 1

0 & nbsp; & nbsp; n.a. & nbsp; & nbsp; không có sẵn.]

Nhập yêu cầurequests

# Đọc trang chủ Yahoo

URL="https://www.yahoo.com/"="https://www.yahoo.com/"

resp=requests.get(URL)=requests.get(URL)

dom=etree.HTML(resp.text)= etree.HTML(resp.text)

# Tiêu đề tin tức

elements=dom.xpath("//h3/a[u[@class='StretchedBox']]")=dom.xpath("//h3/a[u[@class='StretchedBox']]")

Sự bất đồng của Forelem:elem inelements:

    print(etree.tostring(elem,method="text",encoding="unicode"))print(etree.tostring(elem, method="text",encoding="unicode"))

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

Thời gian nhập khẩutime

từ Selenium Nhập WebDriverselenium import webdriver

từ selenium.webdriver.support.ui Nhập WebDriverWaitselenium.webdriver.support.ui import WebDriverWait

từ selenium.webdriver.common.by nhập bằng cáchselenium.webdriver.common.by import By

# Khởi chạy trình duyệt Chrome ở chế độ không đầu

options=webdriver.ChromeOptions()=webdriver.ChromeOptions()

options.add_argument("headless").add_argument("headless")

browser=webdriver.Chrome(options=options)= webdriver.Chrome(options=options)

# Tải trang web

browser.get("https://www.yahoo.com").get("https://www.yahoo.com")

# Vận chuyển mạng cần có thời gian. Đợi cho đến khi trang được tải đầy đủ

DEF IS_READY (Trình duyệt):is_ready(browser):

    returnbrowser.execute_script(r"""returnbrowser.execute_script(r"""

& nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp;

    """)"")

WebDriverWait(browser,30).until(is_ready)(browser, 30).until(is_ready)

# Cuộn xuống cuối trang để kích hoạt hành động JavaScript

Browser.execute_script ("window.scrollto (0, document.body.scrollHeight);").execute_script("window.scrollTo(0, document.body.scrollHeight);")

time.sleep(1).sleep(1)

WebDriverWait(browser,30).until(is_ready)(browser, 30).until(is_ready)

# Tìm kiếm các tiêu đề tin tức và in

elements=browser.find_elements(By.XPATH,"//h3/a[u[@class='StretchedBox']]")=browser.find_elements(By.XPATH,"//h3/a[u[@class='StretchedBox']]")

Sự bất đồng của Forelem:elem inelements:

    print(elem.text)print(elem.text)

Điều này là do các trang web như thế này dựa vào JavaScript để điền vào nội dung. Các khung web nổi tiếng như AngularJS hoặc React đang đằng sau việc cung cấp năng lượng cho thể loại này. Thư viện Python, chẳng hạn như requests, không hiểu JavaScript. Do đó, bạn sẽ thấy kết quả khác nhau. Nếu dữ liệu bạn muốn tìm nạp từ web là một trong số đó, bạn có thể nghiên cứu cách JavaScript được gọi và bắt chước hành vi của trình duyệt trong chương trình của bạn. Nhưng điều này có lẽ là quá tẻ nhạt để làm cho nó hoạt động.

browser.close().close()

options=webdriver.FirefoxOptions()=webdriver.FirefoxOptions()

options.set_headless().set_headless()

browser=webdriver.Firefox(firefox_options=options)=webdriver.Firefox(firefox_options=options)