Làm thế nào để bạn liên kết một url trong python?

Gần đây tôi muốn lấy tất cả các liên kết trong kho lưu trữ các bản tin. Mục tiêu là có một tệp văn bản với các liên kết để tôi không phải xem từng bản tin theo cách thủ công

Đây là một ví dụ trong thế giới thực vì vậy tôi muốn nó nhanh chóng và dễ dàng. Đây là cách tôi thực sự đã làm với python

Gói quét web tốt nhất cho python trong BeautifulSoup. Và gói tốt nhất để thực hiện cuộc gọi url là Yêu cầu

pip install beautifulsoup4, requests

Tôi đã làm tất cả công việc của python trong sổ ghi chép jupyter. Tôi có xu hướng sử dụng jupyter nếu tôi đang thử nghiệm với python hoặc tạo một tập lệnh nhanh. Nhưng bạn chắc chắn có thể làm điều tương tự trong một. py hoặc trình chỉnh sửa mã

Nhập các gói

from bs4 import BeautifulSoup
import requests

Lấy danh sách các trang trong kho lưu trữ bản tin
Lấy html từ trang lưu trữ bản tin. Tôi đã chọn một trang lưu trữ ngẫu nhiên từ internet chỉ với mục đích trình diễn.

URL = "//www.comnetwork.org/newsletter-archive/"
page = requests.get[URL]soup = BeautifulSoup[page.content, "html.parser"]
for a_href in soup.find_all["a", href=True]:
    print[a_href["href"]]

Vì sẽ không chỉ có các liên kết bản tin trong kho lưu trữ bản tin, tôi chỉ cần in tất cả chúng ra và dán chúng vào vim [nhưng bạn có thể sử dụng bất kỳ trình soạn thảo văn bản nào]. Sau đó, tôi đã xóa bất kỳ thứ gì trông không giống liên kết bản tin

Có nhiều cách tốt hơn để làm điều này. Thay vào đó, bạn có thể thêm vào danh sách trong python nếu bạn biết liên kết bản tin bắt đầu bằng gì. Nhưng tại thời điểm này, tôi nghĩ rằng sẽ nhanh hơn nếu thực hiện công việc theo cách thủ công

Tôi nhận thấy rằng tất cả các trang bản tin đều bắt đầu bằng mailchi. mp

Vì vậy, tôi đã xóa mọi thứ khác và thêm dấu ngoặc kép xung quanh các liên kết và dấu phẩy sau các liên kết

Khi tôi hoàn thành, tôi đã dán lại các liên kết vào python

Bây giờ tôi đã có một danh sách các liên kết bản tin. Đây là một mẫu

archive_links = ["//mailchi.mp/4bd5002a15e1/february2018", "//mailchi.mp/comnetwork/16may2018"]

Lấy tất cả các liên kết từ tất cả các trang
Bước cuối cùng là lấy tất cả các liên kết trên tất cả các trang bản tin đó và lưu chúng vào một tệp văn bản.

for link in archive_links:
    page = requests.get[link]
    soup = BeautifulSoup[page.content, "html.parser"]    for a_href in soup.find_all["a", href=True]:
        with open["newsletter_links.txt", "a"] as linkfile:
            linkfile.write[a_href["href"]+"\n"]

Sử dụng vòng lặp for để duyệt qua danh sách. Lấy html từ mỗi trang. Tìm tất cả các liên kết. Và viết chúng vào một tập tin văn bản

Lưu ý rằng tôi sử dụng open để ghi tệp văn bản. With được khuyên dùng vì nó tự động đóng tệp khi hoàn thành. Có một chữ "a" ở phần mở vì tôi đang nối thêm từng liên kết và không ghi đè lên. “\n” là ký tự dòng mới. Nó đặt mỗi liên kết trên một dòng riêng biệt

Tại thời điểm này bản tin_links. txt nếu chứa đầy tất cả các liên kết từ tất cả các bản tin, kể cả những thứ tôi không cần. Vì vậy, tôi đã đi vào tập tin văn bản. Sắp xếp các liên kết. Và xóa bất cứ thứ gì mà tôi không muốn

Bạn có thể xem video hướng dẫn đầy đủ về quy trình của tôi tại đây

Nếu bạn yêu thích trăn và bạn biết mình yêu thích, hãy xem trang web tham khảo Pyspark của tôi và các câu chuyện phương tiện khác của tôi

con trăn. hệ điều hành. phương thức liên kết []

Cải thiện bài viết

Lưu bài viết

Thích bài viết

• Cập nhật lần cuối. 02/03/2021

Cải thiện bài viết

Lưu bài viết

Mô-đun hệ điều hành trong Python cung cấp các hàm để tương tác với hệ điều hành. Hệ điều hành đi kèm với các mô-đun tiện ích tiêu chuẩn của Python. Mô-đun này cung cấp một cách di động để sử dụng chức năng phụ thuộc vào hệ điều hành.
os. Phương thức link[] trong Python được sử dụng để tạo liên kết cứng. Phương pháp này tạo một liên kết cứng trỏ đến đích có tên nguồn.
Để đọc về liên kết cứng, vui lòng tham khảo bài viết này.
 

Ghi chú. Phương pháp này chỉ khả dụng trên nền tảng Windows và Unix.
 

Cú pháp. hệ điều hành. link[src, dst, *, src_dir_fd = Không, dst_dir_fd = Không, follow_symlinks = True]
Tham số.
src. Một đối tượng giống như đường dẫn đại diện cho đường dẫn hệ thống tệp. Đây là đường dẫn của tệp nguồn mà liên kết cứng sẽ được tạo theo đó 
dst. Một đối tượng giống như đường dẫn đại diện cho đường dẫn hệ thống tệp. Đây là đường dẫn tệp đích nơi liên kết cứng sẽ được tạo.
Đối tượng giống đường dẫn là đối tượng chuỗi hoặc byte đại diện cho đường dẫn.
src_dir_fd [tùy chọn]. Một bộ mô tả tập tin đề cập đến một thư mục. Giá trị mặc định của tham số này là Không có. Nếu đường dẫn src được chỉ định là tuyệt đối thì tham số này sẽ bị bỏ qua. Nếu đường dẫn src được chỉ định là tương đối và src_dir_fd không phải là Không thì đường dẫn src được chỉ định có liên quan đến thư mục được liên kết với src_dir_fd.
dst_dir_fd [tùy chọn]. Một bộ mô tả tập tin đề cập đến một thư mục.
follow_symlinks [tùy chọn]. Một giá trị Boolean.
Kiểu trả về. Phương thức này không trả về bất kỳ giá trị nào.
 

Mã. Sử dụng hệ điều hành. link[] 
 

Python3

# Python program to explain os.link[] method

________số 8

import

from bs4 import BeautifulSoup
import requests

from bs4 import BeautifulSoup
import requests

from bs4 import BeautifulSoup
import requests

from bs4 import BeautifulSoup
import requests

from bs4 import BeautifulSoup
import requests

# Python program to explain os.link[] method0

# Python program to explain os.link[] method1

from bs4 import BeautifulSoup
import requests

# Python program to explain os.link[] method4

# Python program to explain os.link[] method5

# Python program to explain os.link[] method6

# Python program to explain os.link[] method7

# Python program to explain os.link[] method8# Python program to explain os.link[] method9______70  1

đầu ra.

Hard link created successfully

Tham khảo. https. // tài liệu. con trăn. org/3/library/os. html#os. liên kết
 

Ghi chú cá nhân của tôi arrow_drop_up

Tiết kiệm

Vui lòng Đăng nhập để nhận xét.

Làm cách nào để chèn URL trong Python?

Python kết nối với URL như thế nào?

Làm cách nào để tạo liên kết trong Python?