Làm cách nào để kiểm tra trạng thái của URL trong Python?

Thiết lập môi trường phát triển

Trước khi bạn bắt đầu mã hóa một dự án mới, bạn nên thực hiện một số bước chuẩn bị. Trong Python, bạn thường bắt đầu bằng việc tạo một môi trường ảo cho dự án. Một môi trường ảo cung cấp một trình thông dịch Python biệt lập và một không gian để cài đặt các phụ thuộc của dự án của bạn

Để bắt đầu, hãy tiếp tục và tạo thư mục gốc của dự án, được gọi là

for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

Lệnh đầu tiên tạo một môi trường ảo Python đầy đủ chức năng có tên là

for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

[venv] $ python -m pip install aiohttp

Với lệnh này, bạn cài đặt

[venv] $ python -m pip install aiohttp

[venv] $ python -m pip install aiohttp

Mát mẻ. Bạn có một môi trường ảo Python đang hoạt động với tất cả các thành phần phụ thuộc mà bạn sẽ cần để bắt đầu xây dựng dự án của mình. Giờ đây, bạn có thể tạo bố cục của dự án để sắp xếp mã của mình theo các phương pháp hay nhất về Python

Tổ chức Dự án Trình kiểm tra Kết nối Trang web của Bạn

Python linh hoạt một cách đáng ngạc nhiên khi nói đến việc cấu trúc các ứng dụng, vì vậy bạn có thể tìm thấy các cấu trúc khá khác nhau giữa các dự án. Tuy nhiên, nhỏ thường có một gói duy nhất, thường được đặt tên theo chính dự án

Theo phương pháp này, bạn có thể tổ chức ứng dụng kiểm tra kết nối trang web của mình bằng cấu trúc thư mục sau

import pandas as pd
import requests
df= pd.read_csv['path to file/file_name.csv']

Bạn có thể sử dụng bất kỳ tên nào cho dự án này và gói chính của nó. Trong hướng dẫn này, dự án sẽ được đặt tên là

df.to_csv['Status_codes.csv']

df.to_csv['Status_codes.csv']

df.to_csv['Status_codes.csv']

Tệp

df.to_csv['Status_codes.csv']

df.to_csv['Status_codes.csv']

df.to_csv['Status_codes.csv']

Tệp

df.to_csv['Status_codes.csv']

[venv] $ python -m pip install aiohttp

for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

Ghi chú. Bạn sẽ không thêm nội dung vào tệp

df.to_csv['Status_codes.csv']

df.to_csv['Status_codes.csv']

Trong thư mục

for url in df['urls']:  response= requests.get[url]  status= response.status_code  df['Status']=status
  if status == 404:
    print[url]
 

• for url in df['urls']:  response= requests.get[url]  status= response.status_code  df['Status']=status
    if status == 404:
      print[url]
   

  62 cho phép

  for url in df['urls']:  response= requests.get[url]  status= response.status_code  df['Status']=status
    if status == 404:
      print[url]
   

  61 dưới dạng gói Python

• for url in df['urls']:  response= requests.get[url]  status= response.status_code  df['Status']=status
    if status == 404:
      print[url]
   

  64 hoạt động như một tập lệnh điểm đầu vào cho ứng dụng

• for url in df['urls']:  response= requests.get[url]  status= response.status_code  df['Status']=status
    if status == 404:
      print[url]
   

  65 cung cấp các chức năng cốt lõi của ứng dụng

• for url in df['urls']:  response= requests.get[url]  status= response.status_code  df['Status']=status
    if status == 404:
      print[url]
   

  66 chứa giao diện dòng lệnh cho ứng dụng

Bây giờ hãy tiếp tục và tạo tất cả các tệp này dưới dạng tệp trống. Bạn có thể làm điều này bằng cách sử dụng trình soạn thảo mã hoặc IDE yêu thích của mình. Khi bạn hoàn thành việc tạo bố cục của dự án, bạn có thể bắt đầu mã hóa chức năng chính của ứng dụng. kiểm tra xem một trang web có trực tuyến hay không

Triển khai chức năng kiểm tra kết nối

Có một số công cụ và thư viện Python mà bạn có thể sử dụng để kiểm tra xem một trang web có trực tuyến tại một thời điểm nhất định hay không. Ví dụ: một tùy chọn phổ biến là thư viện bên thứ ba

[venv] $ python -m pip install aiohttp

Tuy nhiên, sử dụng

[venv] $ python -m pip install aiohttp

Khi xem nhanh thư viện chuẩn, bạn sẽ tìm thấy gói cung cấp một số mô-đun để xử lý các yêu cầu HTTP. Ví dụ: để kiểm tra xem một trang web có trực tuyến hay không, bạn có thể sử dụng chức năng từ mô-đun

>>>

df.to_csv['Status_codes.csv']

Hàm

[venv] $ python -m pip install aiohttp

Thế còn một công cụ cung cấp cho bạn quyền kiểm soát cấp thấp hơn đối với yêu cầu HTTP của bạn thì sao? . Mô-đun này cung cấp lớp, đại diện cho một kết nối đến một máy chủ HTTP nhất định

[venv] $ python -m pip install aiohttp

[venv] $ python -m pip install aiohttp

Tại thời điểm này, bạn đã có ý tưởng rõ ràng về công cụ sẽ sử dụng. Bây giờ bạn có thể làm một số bài kiểm tra nhanh. Hãy tiếp tục và chạy đoạn mã sau trong phiên tương tác Python

>>>

for url in df['urls']:  response= requests.get[url]  status= response.status_code  df['Status']=status
  if status == 404:
    print[url]
 

Trong ví dụ này, trước tiên bạn tạo một phiên bản

[venv] $ python -m pip install aiohttp

[venv] $ python -m pip install aiohttp

[venv] $ python -m pip install aiohttp

[venv] $ python -m pip install aiohttp

Sau đó, bạn thực hiện một yêu cầu

[venv] $ python -m pip install aiohttp

[venv] $ python -m pip install aiohttp

[venv] $ python -m pip install aiohttp

[venv] $ python -m pip install aiohttp

[venv] $ python -m pip install aiohttp

[venv] $ python -m pip install aiohttp

Trình kiểm tra kết nối trang web của bạn chỉ cần tạo kết nối và thực hiện yêu cầu

[venv] $ python -m pip install aiohttp

Bây giờ hãy tiếp tục và mở tệp

for url in df['urls']:  response= requests.get[url]  status= response.status_code  df['Status']=status
  if status == 404:
    print[url]
 

[venv] $ python -m pip install aiohttp

Đây là bảng phân tích về chức năng của mã này theo từng dòng

• Dòng 3 nhập

  [venv] $ python -m pip install aiohttp
  

  20 từ

  [venv] $ python -m pip install aiohttp
  

  2. Bạn sẽ sử dụng lớp này để thiết lập kết nối với trang web mục tiêu và xử lý các yêu cầu HTTP

• Dòng 4 nhập khẩu từ. Chức năng này sẽ giúp bạn phân tích các URL mục tiêu

• Dòng 6 định nghĩa

  for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

  800, nhận một đối số

  for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

  801 và một đối số

  [venv] $ python -m pip install aiohttp
  

  27. Đối số

  for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

  801 sẽ chứa một chuỗi đại diện cho URL của trang web. Trong khi đó,

  [venv] $ python -m pip install aiohttp
  

  27 sẽ giữ số giây chờ trước khi hết thời gian thử kết nối

• Dòng 11 định nghĩa một phiên bản

  for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

  805 chung làm trình giữ chỗ

• Dòng 12 định nghĩa một biến

  for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

  806 chứa kết quả phân tích cú pháp URL mục tiêu bằng cách sử dụng

  [venv] $ python -m pip install aiohttp
  

  28

• Dòng 13 sử dụng toán tử

  for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

  808 để trích xuất tên máy chủ từ URL mục tiêu

• Dòng 14 bắt đầu một vòng lặp

  for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

  809 qua các cổng HTTP và HTTPS. Bằng cách này, bạn có thể kiểm tra xem trang web có sẵn trên một trong hai cổng hay không

• Dòng 15 tạo một phiên bản

  [venv] $ python -m pip install aiohttp
  

  20 sử dụng

  for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

  811,

  for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

  812 và

  [venv] $ python -m pip install aiohttp
  

  27 làm đối số

• Dòng 16 đến 22 định nghĩa một câu lệnh

  for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

  814 …

  for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

  815 …

  for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

  816. Khối

  for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

  814 cố gắng thực hiện yêu cầu

  [venv] $ python -m pip install aiohttp
  

  23 tới trang web mục tiêu bằng cách gọi

  [venv] $ python -m pip install aiohttp
  

  22. Nếu yêu cầu thành công, thì hàm trả về

  for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

  820. Nếu một ngoại lệ xảy ra, thì khối

  for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

  815 sẽ giữ một tham chiếu đến ngoại lệ đó trong

  for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

  822. Khối

  for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

  816 đóng kết nối để giải phóng tài nguyên thu được

• Dòng 23 đưa ra ngoại lệ được lưu trữ trong

  for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

  822 nếu vòng lặp kết thúc mà không có yêu cầu thành công

Hàm

for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

Chạy kiểm tra kết nối đầu tiên của bạn

Để dùng thử chức năng

for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

>>>

[venv] $ python -m pip install aiohttp

Trong đoạn mã này, trước tiên bạn nhập

for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

df.to_csv['Status_codes.csv']

for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

Trong ví dụ cuối cùng, bạn gọi

for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

Tuyệt quá. Bạn đã triển khai chức năng chính của ứng dụng là kiểm tra khả năng kết nối của trang web. Bây giờ bạn có thể tiếp tục với dự án của mình bằng cách thiết lập CLI của nó

Phân tích cú pháp URL trang web tại Dòng lệnh

Để xây dựng CLI của ứng dụng với

[venv] $ python -m pip install aiohttp

Bây giờ hãy tiếp tục và mở tệp

for url in df['urls']:  response= requests.get[url]  status= response.status_code  df['Status']=status
  if status == 404:
    print[url]
 

[venv] $ python -m pip install aiohttp

Trong đoạn mã này, bạn tạo

for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

• for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

  841 định nghĩa tên chương trình

• for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

  842 cung cấp mô tả phù hợp cho ứng dụng. Mô tả này sẽ được hiển thị khi bạn gọi ứng dụng với tùy chọn

  for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

  843

Sau khi tạo trình phân tích cú pháp đối số, bạn thêm đối số dòng lệnh đầu tiên bằng cách sử dụng. Đối số này sẽ cho phép người dùng nhập một hoặc nhiều URL tại dòng lệnh. Nó sẽ sử dụng các công tắc

import pandas as pd
import requests
df= pd.read_csv['path to file/file_name.csv']

import pandas as pd
import requests
df= pd.read_csv['path to file/file_name.csv']

Phần còn lại của các đối số cho

for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

• for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

  848 đặt tên cho đối số trong thông báo sử dụng hoặc trợ giúp

• for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

  849 yêu cầu

  [venv] $ python -m pip install aiohttp
  

  1 chấp nhận danh sách các đối số dòng lệnh sau khóa chuyển đổi

  import pandas as pd
  import requests
  df= pd.read_csv['path to file/file_name.csv']

  20 hoặc

  import pandas as pd
  import requests
  df= pd.read_csv['path to file/file_name.csv']

  21

• for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

  853 đặt kiểu dữ liệu của đối số dòng lệnh, là

  for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

  854 trong đối số này

• for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

  855 đặt đối số dòng lệnh thành danh sách trống theo mặc định

• for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

  856 cung cấp thông báo trợ giúp cho người dùng

Cuối cùng, hàm của bạn trả về kết quả của việc gọi đối tượng trình phân tích cú pháp. Phương thức này trả về một đối tượng chứa các đối số được phân tích cú pháp

Tải URL trang web từ một tệp

Một tùy chọn có giá trị khác để triển khai trong trình kiểm tra kết nối trang web của bạn là khả năng tải danh sách URL từ tệp văn bản trên máy cục bộ của bạn. Để làm điều này, bạn có thể thêm một đối số dòng lệnh thứ hai với các cờ

import pandas as pd
import requests
df= pd.read_csv['path to file/file_name.csv']

import pandas as pd
import requests
df= pd.read_csv['path to file/file_name.csv']

Hãy tiếp tục và cập nhật

for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

Để tạo đối số dòng lệnh mới này, bạn sử dụng

for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

Hiển thị kết quả kiểm tra

Một thành phần thiết yếu của mọi ứng dụng tương tác với người dùng thông qua dòng lệnh là đầu ra của ứng dụng. Ứng dụng của bạn cần hiển thị kết quả hoạt động của nó cho người dùng. Tính năng này rất quan trọng để đảm bảo trải nghiệm người dùng thú vị

Trình kiểm tra kết nối trang web của bạn không cần đầu ra quá phức tạp. Nó chỉ cần thông báo cho người dùng về trạng thái hiện tại của các trang web được kiểm tra. Để triển khai chức năng này, bạn sẽ viết mã một hàm có tên là

for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

Bây giờ hãy quay lại tệp

for url in df['urls']:  response= requests.get[url]  status= response.status_code  df['Status']=status
  if status == 404:
    print[url]
 

for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

Hàm này nhận kết quả kiểm tra kết nối, URL đã kiểm tra và thông báo lỗi tùy chọn. Câu lệnh điều kiện kiểm tra xem

for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

Đó là nó. Trình kiểm tra kết nối trang web của bạn có giao diện dòng lệnh để cho phép người dùng tương tác với ứng dụng. Bây giờ là lúc kết hợp mọi thứ lại với nhau trong tập lệnh điểm đầu vào của ứng dụng

Tạo tập lệnh điểm đầu vào của ứng dụng

Bước tiếp theo trong việc xây dựng ứng dụng kiểm tra kết nối trang web của bạn là xác định tập lệnh điểm vào với hàm

for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

df.to_csv['Status_codes.csv']

for url in df['urls']:  response= requests.get[url]  status= response.status_code  df['Status']=status
  if status == 404:
    print[url]
 

for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

Để bắt đầu điền mã

for url in df['urls']:  response= requests.get[url]  status= response.status_code  df['Status']=status
  if status == 404:
    print[url]
 

for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

Sau khi nhập

for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

• Dòng 9 gọi

  for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

  840 để phân tích các đối số dòng lệnh. Đối tượng

  for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

  858 kết quả sau đó được lưu trữ trong biến cục bộ

  for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

  886

• Dòng 10 tập hợp danh sách các URL mục tiêu bằng cách gọi hàm trợ giúp có tên là

  for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

  887. Bạn sẽ mã hóa chức năng này trong giây lát

• Dòng 11 định nghĩa một câu lệnh

  for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

  888 để kiểm tra xem danh sách các URL có trống không. Nếu đúng như vậy, thì khối

  for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

  888 sẽ in thông báo lỗi cho người dùng và thoát khỏi ứng dụng

• Dòng 14 gọi một hàm có tên là

  for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

  890, lấy danh sách các URL mục tiêu làm đối số và chạy kiểm tra kết nối trên từng URL. Như tên đã chỉ ra, chức năng này sẽ chạy kiểm tra kết nối một cách đồng bộ hoặc lần lượt từng bước một. Một lần nữa, bạn sẽ mã hóa chức năng này trong giây lát

Với

for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

Xây dựng danh sách URL trang web mục tiêu

Ứng dụng kiểm tra kết nối trang web của bạn sẽ có thể kiểm tra nhiều URL trong mỗi lần thực thi. Người dùng sẽ cung cấp URL vào ứng dụng bằng cách liệt kê chúng tại dòng lệnh, cung cấp chúng trong tệp văn bản hoặc cả hai. Để tạo danh sách nội bộ của các URL mục tiêu, trước tiên, ứng dụng sẽ xử lý các URL được cung cấp tại dòng lệnh. Sau đó, nó sẽ thêm các URL bổ sung từ một tệp, nếu có

Đây là mã hoàn thành các tác vụ này và trả về danh sách các URL mục tiêu kết hợp cả nguồn, dòng lệnh và tệp văn bản tùy chọn

for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

Cập nhật đầu tiên trong đoạn mã này là nhập

for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

• Dòng 12 định nghĩa

  for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

  896, ban đầu lưu trữ danh sách các URL được cung cấp tại dòng lệnh. Lưu ý rằng nếu người dùng không cung cấp bất kỳ URL nào thì

  for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

  896 sẽ lưu trữ một danh sách trống

• Dòng 13 định nghĩa một điều kiện kiểm tra xem người dùng đã cung cấp tệp URL chưa. Nếu vậy, thì khối

  for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

  888 sẽ bổ sung danh sách các URL mục tiêu do gọi

  for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

  899 với tệp được cung cấp trong đối số dòng lệnh

  [venv] $ python -m pip install aiohttp
  

  00

• Dòng 15 trả về danh sách URL kết quả

Đồng thời,

for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

• Dòng 18 biến đối số

  [venv] $ python -m pip install aiohttp
  

  02 thành một đối tượng để tạo điều kiện xử lý tiếp theo

• Dòng 19 định nghĩa một câu lệnh có điều kiện để kiểm tra xem tệp hiện tại có phải là tệp thực trong hệ thống tệp cục bộ không. Để thực hiện kiểm tra này, các cuộc gọi có điều kiện trên đối tượng

  [venv] $ python -m pip install aiohttp
  

  05. Sau đó, khối

  for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

  888 mở tệp và đọc nội dung của nó bằng cách hiểu danh sách. Sự hiểu biết này loại bỏ mọi khoảng trắng đầu và cuối có thể có từ mọi dòng trong tệp để tránh lỗi xử lý sau này

• Dòng 22 định nghĩa một điều kiện lồng nhau để kiểm tra xem có URL nào đã được thu thập chưa. Nếu vậy, thì dòng 23 trả về danh sách URL kết quả. Mặt khác, dòng 24 in thông báo lỗi để thông báo cho người đọc rằng tệp đầu vào trống

Mệnh đề

for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

Ồ. Đó là rất nhiều, nhưng bạn đã làm cho nó đến cùng. Bây giờ bạn có thể tiếp tục với phần cuối cùng của

for url in df['urls']:  response= requests.get[url]  status= response.status_code  df['Status']=status
  if status == 404:
    print[url]
 

for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

Kiểm tra khả năng kết nối của nhiều trang web

Để chạy kiểm tra kết nối trên nhiều trang web, bạn cần lặp lại danh sách các URL mục tiêu, thực hiện kiểm tra và hiển thị kết quả tương ứng. Đó là chức năng của hàm

for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

Trong đoạn mã này, trước tiên bạn cập nhật quá trình nhập của mình bằng cách thêm

for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

• Dòng 12 bắt đầu vòng lặp

  for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

  809 lặp qua các URL mục tiêu

• Dòng 13 xác định và khởi tạo

  for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

  822 sẽ chứa thông báo sẽ được hiển thị nếu ứng dụng không nhận được phản hồi từ trang web mục tiêu

• Các dòng 14 đến 18 xác định một câu lệnh

  for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

  814 …

  for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

  815 bắt bất kỳ ngoại lệ nào có thể xảy ra trong quá trình kiểm tra kết nối. Các kiểm tra này chạy trên dòng 15, gọi

  for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

  800 với URL mục tiêu làm đối số. Sau đó, dòng 17 và 18 cập nhật các biến

  for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

  866 và

  for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

  822 nếu xảy ra sự cố kết nối

• Dòng 19 cuối cùng gọi

  for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

  864 với các đối số phù hợp để hiển thị kết quả kiểm tra kết nối ra màn hình

Để kết thúc tệp

for url in df['urls']:  response= requests.get[url]  status= response.status_code  df['Status']=status
  if status == 404:
    print[url]
 

[venv] $ python -m pip install aiohttp

for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

Chạy kiểm tra kết nối từ dòng lệnh

Bạn đã viết rất nhiều mã mà không có cơ hội nhìn thấy nó hoạt động. Bạn đã mã hóa CLI của trình kiểm tra kết nối trang web và tập lệnh điểm vào của nó. Bây giờ là lúc để thử ứng dụng của bạn. Trước khi làm điều đó, hãy đảm bảo rằng bạn đã tải xuống tài liệu bổ sung được đề cập ở đầu bước này, đặc biệt là tệp

[venv] $ python -m pip install aiohttp

Bây giờ hãy quay lại dòng lệnh của bạn và thực hiện các lệnh sau

for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

Trình kiểm tra kết nối trang web của bạn hoạt động tốt. Khi bạn chạy

df.to_csv['Status_codes.csv']

[venv] $ python -m pip install aiohttp

for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

Ứng dụng có thể lấy một số URL tại dòng lệnh hoặc từ tệp văn bản và kiểm tra kết nối của chúng. Nếu xảy ra lỗi trong quá trình kiểm tra, thì bạn sẽ nhận được thông báo trên màn hình với thông tin về nguyên nhân gây ra lỗi

Hãy tiếp tục thử một số URL và tính năng khác. Ví dụ: cố gắng kết hợp các URL tại dòng lệnh với các URL từ một tệp bằng cách sử dụng công tắc

import pandas as pd
import requests
df= pd.read_csv['path to file/file_name.csv']

import pandas as pd
import requests
df= pd.read_csv['path to file/file_name.csv']

Mát mẻ. Ứng dụng kiểm tra kết nối trang web của bạn hoạt động tốt và trơn tru phải không? . Thời gian thực thi có thể quá tải khi bạn chạy ứng dụng với một danh sách dài các URL mục tiêu, bởi vì tất cả các kiểm tra kết nối đều chạy đồng bộ

Để khắc phục sự cố này và cải thiện hiệu suất của ứng dụng, bạn có thể thực hiện kiểm tra kết nối không đồng bộ. Đó là những gì bạn sẽ làm trong phần sau

Triển khai chức năng kiểm tra kết nối không đồng bộ

Bước đầu tiên trong quá trình làm cho trình kiểm tra kết nối trang web của bạn hoạt động đồng thời là viết một hàm

[venv] $ python -m pip install aiohttp

for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

Quay lại tệp

for url in df['urls']:  response= requests.get[url]  status= response.status_code  df['Status']=status
  if status == 404:
    print[url]
 

for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

Trong bản cập nhật này, trước tiên bạn thêm các mục nhập bắt buộc,

[venv] $ python -m pip install aiohttp

[venv] $ python -m pip install aiohttp

[venv] $ python -m pip install aiohttp

[venv] $ python -m pip install aiohttp

• Dòng 15 định nghĩa một thể hiện chung chung của

  for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

  805 làm trình giữ chỗ

• Dòng 16 định nghĩa một biến

  for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

  806 chứa kết quả phân tích cú pháp URL mục tiêu bằng cách sử dụng

  [venv] $ python -m pip install aiohttp
  

  28

• Dòng 17 sử dụng toán tử

  for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

  808 để trích xuất tên máy chủ từ URL mục tiêu

• Dòng 18 định nghĩa một vòng lặp

  for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

  809 qua các lược đồ HTTP và HTTPS. Điều này sẽ cho phép bạn kiểm tra xem trang web có sẵn trên một trong hai không

• Dòng 19 tạo URL bằng lược đồ hiện tại và tên máy chủ

• Dòng 20 định nghĩa một câu lệnh

  [venv] $ python -m pip install aiohttp
  

  48 để xử lý một phiên bản

  [venv] $ python -m pip install aiohttp
  

  49. Lớp này là giao diện được đề xuất để thực hiện các yêu cầu HTTP với

  [venv] $ python -m pip install aiohttp
  

  3

• Dòng 21 đến 27 định nghĩa một câu lệnh

  for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

  814 …

  for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

  815. Khối

  for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

  814 thực hiện và chờ yêu cầu

  [venv] $ python -m pip install aiohttp
  

  23 đến trang web mục tiêu bằng cách gọi

  [venv] $ python -m pip install aiohttp
  

  55 trên đối tượng

  [venv] $ python -m pip install aiohttp
  

  56. Nếu yêu cầu thành công, thì hàm trả về

  for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

  820. Mệnh đề

  for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

  815 đầu tiên bắt các ngoại lệ của

  [venv] $ python -m pip install aiohttp
  

  59 và đặt

  for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

  822 thành một phiên bản

  for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

  805 mới. Mệnh đề

  for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

  815 thứ hai bắt bất kỳ ngoại lệ nào khác và cập nhật biến

  for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

  822 tương ứng

• Dòng 28 đưa ra ngoại lệ được lưu trữ trong

  for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

  822 nếu vòng lặp kết thúc mà không có yêu cầu thành công

Việc triển khai

[venv] $ python -m pip install aiohttp

for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

Sự khác biệt chính giữa các chức năng này là

[venv] $ python -m pip install aiohttp

[venv] $ python -m pip install aiohttp

Với chức năng này, bạn có thể tiến hành cập nhật CLI của ứng dụng với một tùy chọn mới cho phép bạn chạy kiểm tra kết nối không đồng bộ

Thêm tùy chọn không đồng bộ vào CLI của ứng dụng

Bây giờ, bạn cần thêm một tùy chọn vào CLI của ứng dụng kiểm tra kết nối trang web của mình. Tùy chọn mới này sẽ yêu cầu ứng dụng chạy kiểm tra không đồng bộ. Tùy chọn chỉ có thể là cờ Boolean. Để triển khai loại tùy chọn này, bạn có thể sử dụng đối số

[venv] $ python -m pip install aiohttp

for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

Bây giờ hãy tiếp tục và cập nhật

for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

for url in df['urls']:  response= requests.get[url]  status= response.status_code  df['Status']=status
  if status == 404:
    print[url]
 

for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

Cuộc gọi này tới

for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

[venv] $ python -m pip install aiohttp

[venv] $ python -m pip install aiohttp

[venv] $ python -m pip install aiohttp

[venv] $ python -m pip install aiohttp

[venv] $ python -m pip install aiohttp

[venv] $ python -m pip install aiohttp

[venv] $ python -m pip install aiohttp

for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

Với tùy chọn mới này, đã đến lúc viết logic để kiểm tra khả năng kết nối của nhiều trang web một cách không đồng bộ

Kiểm tra khả năng kết nối của nhiều trang web không đồng bộ

Để kiểm tra khả năng kết nối của nhiều trang web một cách không đồng bộ, bạn sẽ viết một hàm

[venv] $ python -m pip install aiohttp

[venv] $ python -m pip install aiohttp

df.to_csv['Status_codes.csv']

for url in df['urls']:  response= requests.get[url]  status= response.status_code  df['Status']=status
  if status == 404:
    print[url]
 

for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

Trong đoạn mã này, trước tiên bạn cập nhật quá trình nhập của mình để truy cập

[venv] $ python -m pip install aiohttp

[venv] $ python -m pip install aiohttp

[venv] $ python -m pip install aiohttp

• Dòng 11 định nghĩa một hàm

  [venv] $ python -m pip install aiohttp
  

  6 bên trong có tên là

  [venv] $ python -m pip install aiohttp
  

  92. Chức năng này cho phép bạn sử dụng lại mã kiểm tra một URL để kết nối

• Dòng 12 xác định và khởi tạo một biến giữ chỗ

  for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

  822, biến này sẽ được sử dụng trong lệnh gọi tới

  for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

  864 sau này

• Các dòng 13 đến 17 xác định một câu lệnh

  for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

  814 …

  for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

  815 để hoàn thành việc kiểm tra kết nối. Khối

  for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

  814 gọi và đợi

  [venv] $ python -m pip install aiohttp
  

  41 với URL mục tiêu làm đối số. Nếu cuộc gọi thành công, thì

  for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

  866 sẽ kết thúc bằng

  for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

  820. Nếu cuộc gọi đưa ra một ngoại lệ, thì

  for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

  866 sẽ là

  import pandas as pd
  import requests
  df= pd.read_csv['path to file/file_name.csv']

  202 và

  for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

  822 sẽ giữ thông báo lỗi kết quả

• Dòng 18 gọi

  for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

  864 sử dụng

  for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

  866,

  for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

  801 và

  for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

  822 làm đối số. Cuộc gọi này hiển thị thông tin về tính khả dụng của trang web

• Dòng 20 gọi và chờ chức năng từ mô-đun

  [venv] $ python -m pip install aiohttp
  

  5. Hàm này chạy một danh sách đồng thời và trả về một danh sách tổng hợp các giá trị kết quả nếu tất cả các đối tượng có thể chờ hoàn tất thành công. Để cung cấp danh sách các đối tượng có thể chờ đợi, bạn sử dụng lệnh gọi

  [venv] $ python -m pip install aiohttp
  

  92 cho mỗi URL mục tiêu

Được chứ. Bạn gần như đã sẵn sàng để dùng thử khả năng không đồng bộ của ứng dụng kiểm tra kết nối trang web của mình. Trước khi làm điều đó, bạn cần quan tâm đến một chi tiết cuối cùng. cập nhật chức năng

for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

Thêm kiểm tra không đồng bộ vào mã chính của ứng dụng

Để thêm chức năng không đồng bộ vào chức năng

for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

[venv] $ python -m pip install aiohttp

[venv] $ python -m pip install aiohttp

Hãy tiếp tục và mở lại tệp

for url in df['urls']:  response= requests.get[url]  status= response.status_code  df['Status']=status
  if status == 404:
    print[url]
 

for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

Câu lệnh điều kiện trên các dòng 12 đến 15 kiểm tra xem người dùng đã cung cấp cờ

[venv] $ python -m pip install aiohttp

[venv] $ python -m pip install aiohttp

for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

import pandas as pd
import requests
df= pd.read_csv['path to file/file_name.csv']

for url in df['urls']:   response= requests.get[url]   status= response.status_code   df['Status']=status

Đó là nó. Bây giờ bạn có thể kiểm tra tính năng mới này của trình kiểm tra kết nối trang web của mình trong thực tế. Quay trở lại dòng lệnh của bạn và chạy như sau

[venv] $ python -m pip install aiohttp

Lệnh đầu tiên cho thấy ứng dụng của bạn hiện có tùy chọn

[venv] $ python -m pip install aiohttp

[venv] $ python -m pip install aiohttp

Lệnh thứ hai làm cho

df.to_csv['Status_codes.csv']

[venv] $ python -m pip install aiohttp

[venv] $ python -m pip install aiohttp

Cuối cùng, trong lệnh thứ ba, bạn sử dụng cờ

[venv] $ python -m pip install aiohttp

df.to_csv['Status_codes.csv']

Như một bài tập, bạn có thể thử chạy ứng dụng kiểm tra kết nối trang web của mình với một danh sách dài các URL mục tiêu và so sánh thời gian thực thi khi ứng dụng chạy kiểm tra đồng bộ và không đồng bộ