Hướng dẫn what is unicode encoding in python? - mã hóa unicode trong python là gì?
Trong hướng dẫn này, chúng tôi sẽ tìm hiểu về phương thức Python String Encode () với sự trợ giúp của các ví dụ. Show
Phương thức 0 trả về một phiên bản được mã hóa của chuỗi đã cho.Thí dụ
Cú pháp của chuỗi mã hóa ()Cú pháp của phương pháp 0 là:string.encode(encoding='UTF-8',errors='strict') Chuỗi mã hóa () tham sốTheo mặc định, phương thức 0 không yêu cầu bất kỳ tham số nào.Nó trả về một phiên bản được mã hóa UTF-8 của chuỗi. Trong trường hợp thất bại, nó làm tăng ngoại lệ 3.Tuy nhiên, phải mất hai tham số:
Ví dụ 1: Mã hóa cho mã hóa UTF-8 mặc định
Đầu ra The string is: pythön! The encoded version is: b'pyth\xc3\xb6n!' Ví dụ 2: Mã hóa với tham số lỗi
Đầu ra The string is: pythön! The encoded version (with ignore) is: b'pythn!' The encoded version (with replace) is: b'pyth?n!'
Ví dụ 2: Mã hóa với tham số lỗiLưu ý: Hãy thử các tham số mã hóa và lỗi khác nhau. Mã hóa chuỗiencoding. Vì Python 3.0, các chuỗi được lưu trữ dưới dạng unicode, tức là mỗi ký tự trong chuỗi được biểu thị bằng một điểm mã. Vì vậy, mỗi chuỗi chỉ là một chuỗi các điểm mã Unicode.utf-8, ascii, etc. Để lưu trữ hiệu quả các chuỗi này, chuỗi các điểm mã được chuyển đổi thành một tập hợp các byte. Quá trình được gọi là mã hóa.utf-8 encoding. Xem bây giờ hướng dẫn này có một khóa học video liên quan được tạo bởi nhóm Python thực sự. Xem nó cùng với hướng dẫn bằng văn bản để làm sâu sắc thêm sự hiểu biết của bạn: Unicode in Python: Làm việc với mã hóa ký tự This tutorial has a related video course created by the Real Python team. Watch it together with the written tutorial to deepen your understanding: Unicode in Python: Working With Character Encodings Mã hóa và unicode là gì? Tiêu chuẩn mã hóa ký tự Unicode là sơ đồ mã hóa ký tự có độ dài cố định bao gồm các ký tự từ hầu hết các ngôn ngữ sống trên thế giới. Thông tin về Unicode có thể được tìm thấy trong tiêu chuẩn Unicode và từ trang web Unicode Consortium tại www.unicode.org. Unicode và ASCII trong Python là gì?
Vì Python 3.0, các chuỗi được lưu trữ dưới dạng unicode, tức là mỗi ký tự trong chuỗi được biểu thị bằng một điểm mã. Vì vậy, mỗi chuỗi chỉ là một chuỗi các điểm mã Unicode. Để lưu trữ hiệu quả các chuỗi này, chuỗi các điểm mã được chuyển đổi thành một tập hợp các byte. Quá trình được gọi là mã hóa. Xử lý mã hóa ký tự trong Python hoặc bất kỳ ngôn ngữ nào khác có thể có vẻ đau đớn. Những nơi như Stack Overflow có hàng ngàn câu hỏi xuất phát từ sự nhầm lẫn về các ngoại lệ như # unicode string string = 'pythön!' # print string print('The string is:', string) # ignore error print('The encoded version (with ignore) is:', string.encode("ascii", "ignore")) # replace error print('The encoded version (with replace) is:', string.encode("ascii", "replace"))3 và # unicode string string = 'pythön!' # print string print('The string is:', string) # ignore error print('The encoded version (with ignore) is:', string.encode("ascii", "ignore")) # replace error print('The encoded version (with replace) is:', string.encode("ascii", "replace"))6. Hướng dẫn này được thiết kế để xóa sương mù # unicode string string = 'pythön!' # print string print('The string is:', string) # ignore error print('The encoded version (with ignore) is:', string.encode("ascii", "ignore")) # replace error print('The encoded version (with replace) is:', string.encode("ascii", "replace"))7 và minh họa rằng làm việc với dữ liệu văn bản và nhị phân trong Python 3 có thể là một trải nghiệm suôn sẻ. Hỗ trợ của Python sườn Unicode rất mạnh mẽ và mạnh mẽ, nhưng phải mất một thời gian để làm chủ.Hướng dẫn này là khác nhau bởi vì nó không phải là ngôn ngữ-bất khả tri mà thay vào đó là cố tình trung tâm. Bạn vẫn sẽ nhận được một đoạn mồi không liên tục ngôn ngữ, nhưng sau đó bạn sẽ đi sâu vào các hình minh họa trong Python, với các đoạn văn nặng về văn bản được giữ ở mức tối thiểu. Bạn có thể thấy cách sử dụng các khái niệm mã hóa ký tự trong mã Python trực tiếp. Cho dù bạn tự học hay có nền tảng khoa học máy tính chính thức, rất có thể bạn đã thấy một bảng ASCII một hoặc hai lần. ASCII là một nơi tốt để bắt đầu tìm hiểu về mã hóa ký tự vì nó là một mã hóa nhỏ và có chứa. (Quá nhỏ, hóa ra.) Nó bao gồm những điều sau đây:
Vậy một định nghĩa chính thức hơn về mã hóa ký tự là gì? Ở cấp độ rất cao, nó có một cách dịch các ký tự (như chữ cái, dấu câu, ký hiệu, khoảng trắng và ký tự điều khiển) sang số nguyên và cuối cùng là các bit. Mỗi ký tự có thể được mã hóa thành một chuỗi các bit duy nhất. Đừng lo lắng nếu bạn run rẩy về khái niệm bit, bởi vì chúng tôi sẽ sớm nhận được chúng. Các loại khác nhau được phác thảo đại diện cho các nhóm ký tự. Mỗi ký tự duy nhất có một điểm mã tương ứng, mà bạn có thể nghĩ là chỉ là một số nguyên. Các ký tự được phân đoạn thành các phạm vi khác nhau trong bảng ASCII:code point, which you can think of as just an integer. Characters are segmented into different ranges within the ASCII table:
Toàn bộ bảng ASCII chứa 128 ký tự. Bảng này ghi lại bộ ký tự hoàn chỉnh mà ASCII cho phép. Nếu bạn không thấy một nhân vật ở đây, thì bạn chỉ cần thể hiện nó dưới dạng văn bản in theo sơ đồ mã hóa ASCII.character set that ASCII permits. If you don’t see a character here, then you simply can’t express it as printed text under the ASCII encoding scheme.
Mô -đun string.encode(encoding='UTF-8',errors='strict')54Mô-đun Python sườn string.encode(encoding='UTF-8',errors='strict')54 là một cửa hàng thuận tiện cho các hằng số chuỗi rơi vào bộ ký tự ASCII. Ở đây, cốt lõi của mô -đun trong tất cả vinh quang của nó:
Hầu hết các hằng số này nên tự ghi chép trong tên định danh của chúng. Chúng tôi sẽ bao gồm những gì string.encode(encoding='UTF-8',errors='strict')56 và string.encode(encoding='UTF-8',errors='strict')57 trong thời gian ngắn. Bạn có thể sử dụng các hằng số này để thao tác chuỗi hàng ngày: >>>
Một chút bồi dưỡngBây giờ là thời điểm tốt cho việc bồi dưỡng ngắn về bit, đơn vị thông tin cơ bản nhất mà máy tính biết.bit, the most fundamental unit of information that a computer knows. Một chút là một tín hiệu chỉ có hai trạng thái có thể. Có nhiều cách khác nhau để thể hiện một chút một chút mà tất cả đều có nghĩa là cùng một điều:
Bảng ASCII của chúng tôi từ phần trước sử dụng những gì bạn và tôi sẽ gọi các số (0 đến 127), nhưng những gì được gọi chính xác hơn là các số trong cơ sở 10 (thập phân). Bạn cũng có thể thể hiện từng số cơ sở này với một chuỗi bit (cơ sở 2). Dưới đây là các phiên bản nhị phân từ 0 đến 10 trong thập phân:
Lưu ý rằng khi số thập phân N tăng, bạn cần các bit quan trọng hơn để thể hiện ký tự được thiết lập và bao gồm cả số đó.significant bits to represent the character set up to and including that number. Ở đây, một cách tiện dụng để đại diện cho các chuỗi ASCII như các chuỗi bit trong Python. Mỗi ký tự từ chuỗi ASCII được mã hóa giả thành 8 bit, với khoảng trắng ở giữa các chuỗi 8 bit mà mỗi người đại diện cho một ký tự duy nhất: >>>
String fling string.encode(encoding='UTF-8',errors='strict')60 sử dụng đặc tả định dạng Python, ngôn ngữ nhỏ, đây là cách chỉ định định dạng cho các trường thay thế trong các chuỗi định dạng:
Thủ thuật này chủ yếu chỉ là để giải trí, và nó sẽ thất bại rất tệ đối với bất kỳ nhân vật nào mà bạn không thấy hiện tại trong bảng ASCII. Chúng tôi sẽ thảo luận về cách các mã hóa khác khắc phục vấn đề này sau này. Chúng tôi cần nhiều bit hơn!Có một công thức cực kỳ quan trọng mà liên quan đến định nghĩa của một chút. Đưa ra một số bit, n, số lượng các giá trị khác biệt có thể được biểu diễn trong n bit là 2N:
Ở đây, điều đó có nghĩa là gì:
Có một hệ quả cho công thức này: đưa ra một loạt các giá trị khác biệt có thể, làm thế nào chúng ta có thể tìm thấy số lượng bit, n, được yêu cầu cho phạm vi được thể hiện đầy đủ? Những gì bạn đang cố gắng giải quyết là n trong phương trình 2n = x (nơi bạn đã biết x). Ở đây, những gì làm việc để làm việc: >>> string.encode(encoding='UTF-8',errors='strict')0 Lý do mà bạn cần sử dụng trần trong string.encode(encoding='UTF-8',errors='strict')66 là để giải thích các giá trị không phải là sức mạnh sạch của 2. Giả sử bạn cần lưu trữ tổng số ký tự gồm 110 ký tự. Ngây thơ, điều này sẽ mất string.encode(encoding='UTF-8',errors='strict')67 bit, nhưng ở đó, không có thứ gọi là 0,781 bit. 110 giá trị sẽ yêu cầu 7 bit, không phải 6, với các khe cuối cùng không cần thiết: >>> string.encode(encoding='UTF-8',errors='strict')1 Tất cả điều này phục vụ để chứng minh một khái niệm: ASCII, nói đúng, một mã 7 bit. Bảng ASCII mà bạn đã thấy ở trên chứa 128 điểm và ký tự mã, bao gồm từ 0 đến 127. Điều này đòi hỏi 7 bit: >>> string.encode(encoding='UTF-8',errors='strict')2 Vấn đề với điều này là các máy tính hiện đại don don lưu trữ nhiều thứ trong các khe 7 bit. Họ lưu lượng truy cập theo đơn vị 8 bit, được gọi là một byte.byte. Điều này có nghĩa là không gian lưu trữ được ASCII sử dụng là nửa trống. Nếu nó không rõ lý do tại sao điều này, hãy nghĩ lại bảng thập phân đến nhị phân từ trên cao. Bạn có thể diễn đạt số 0 và 1 chỉ với 1 bit hoặc bạn có thể sử dụng 8 bit để diễn đạt chúng lần lượt là 00000000 và 00000001. Bạn có thể biểu thị các số từ 0 đến 3 chỉ với 2 bit hoặc 00 đến 11 hoặc bạn có thể sử dụng 8 bit để diễn đạt chúng dưới dạng 00000000, 00000001, 00000010 và 00000011, tương ứng. Điểm mã ASCII cao nhất, 127, chỉ yêu cầu 7 bit đáng kể. Biết được điều này, bạn có thể thấy rằng string.encode(encoding='UTF-8',errors='strict')68 chuyển đổi chuỗi ASCII thành đại diện 8 của byte, trong đó mọi nhân vật tiêu thụ một byte:>>> string.encode(encoding='UTF-8',errors='strict')3 ASCII, việc sử dụng không đúng cách các byte 8 bit được cung cấp bởi các máy tính hiện đại đã dẫn đến một gia đình mã hóa không chính thức, mâu thuẫn mà mỗi ký tự bổ sung được chỉ định sẽ được sử dụng với 128 điểm mã có sẵn còn lại được phép trong sơ đồ mã hóa ký tự 8 bit. Không chỉ các mã hóa khác nhau này đụng độ với nhau, mà mỗi người trong số chúng vẫn là một đại diện không hoàn chỉnh của các nhân vật thế giới, bất kể thực tế là họ đã sử dụng thêm một bit. Trong những năm qua, một nhân vật mã hóa Mega-Scheme đã đến để cai trị tất cả. Tuy nhiên, trước khi chúng tôi đến đó, hãy để nói chuyện trong một phút về các hệ thống đánh số, đây là một nền tảng cơ bản của các sơ đồ mã hóa ký tự. Bao gồm tất cả các cơ sở: các hệ thống số khácTrong cuộc thảo luận về ASCII ở trên, bạn đã thấy rằng mỗi ký tự ánh xạ tới một số nguyên trong phạm vi từ 0 đến 127. Phạm vi số này được thể hiện trong thập phân (cơ sở 10). Đó là cách mà bạn, tôi và những người còn lại của chúng ta đã quen với việc đếm, không có lý do phức tạp hơn chúng ta có 10 ngón tay. Nhưng có những hệ thống đánh số khác cũng đặc biệt phổ biến trong suốt mã nguồn CPython. Mặc dù số cơ bản của người Viking là giống nhau, nhưng tất cả các hệ thống đánh số chỉ là những cách khác nhau để thể hiện cùng một số. Nếu tôi hỏi bạn số nào chuỗi string.encode(encoding='UTF-8',errors='strict')70 đại diện cho, bạn sẽ đúng khi cho tôi một cái nhìn kỳ lạ trước khi trả lời rằng nó đại diện cho mười một. Tuy nhiên, biểu diễn chuỗi này có thể diễn đạt các số cơ bản khác nhau trong các hệ thống đánh số khác nhau. Ngoài thập phân, các lựa chọn thay thế bao gồm các hệ thống đánh số phổ biến sau:
Nhưng chúng ta nói rằng, trong một hệ thống đánh số nhất định, các con số được thể hiện trong cơ sở n? Đây là cách tốt nhất mà tôi biết để nói rõ điều này có nghĩa là gì: đó là số lượng ngón tay mà bạn đã tính đến trong hệ thống đó. Nếu bạn muốn có một giới thiệu đầy đủ hơn nhưng vẫn nhẹ nhàng về các hệ thống đánh số, mã Charles Petzold, là một cuốn sách cực kỳ tuyệt vời khám phá các nền tảng của mã máy tính một cách chi tiết. Một cách để chứng minh cách các hệ thống đánh số khác nhau diễn giải cùng một điều với hàm tạo Python, ____171. Nếu bạn chuyển 8 sang string.encode(encoding='UTF-8',errors='strict')71, Python sẽ giả định theo mặc định rằng chuỗi thể hiện một số trong cơ sở 10 trừ khi bạn nói với nó khác: >>> string.encode(encoding='UTF-8',errors='strict')4 Có một cách phổ biến hơn để nói với Python rằng số nguyên của bạn được gõ vào một cơ sở khác 10. Python chấp nhận các dạng theo nghĩa đen của mỗi trong số 3 hệ thống đánh số thay thế ở trên:literal forms of each of the 3 alternative numbering systems above:
Tất cả đều là các dạng phụ của các chữ số nguyên. Bạn có thể thấy rằng chúng tạo ra các kết quả tương tự, tương ứng, khi các cuộc gọi đến string.encode(encoding='UTF-8',errors='strict')71 với các giá trị không mặc định string.encode(encoding='UTF-8',errors='strict')85. Tất cả họ chỉ là The string is: pythön! The encoded version (with ignore) is: b'pythn!' The encoded version (with replace) is: b'pyth?n!'0 để Python:integer literals. You can see that these produce the same results, respectively, as the calls to string.encode(encoding='UTF-8',errors='strict')71 with non-default string.encode(encoding='UTF-8',errors='strict')85 values. They’re all just The string is: pythön! The encoded version (with ignore) is: b'pythn!' The encoded version (with replace) is: b'pyth?n!'0 to Python: >>> string.encode(encoding='UTF-8',errors='strict')5 Có một cách phổ biến hơn để nói với Python rằng số nguyên của bạn được gõ vào một cơ sở khác 10. Python chấp nhận các dạng theo nghĩa đen của mỗi trong số 3 hệ thống đánh số thay thế ở trên:
string.encode(encoding='UTF-8',errors='strict')94 string.encode(encoding='UTF-8',errors='strict')6 string.encode(encoding='UTF-8',errors='strict')95 string.encode(encoding='UTF-8',errors='strict')27 Nhập UnicodeNhư bạn đã thấy, vấn đề với ASCII là nó gần như không phải là một bộ nhân vật đủ lớn để phù hợp với bộ ngôn ngữ, phương ngữ, biểu tượng và glyphs của thế giới. (Nó thậm chí không đủ lớn cho một mình tiếng Anh.) Unicode về cơ bản phục vụ mục đích tương tự như ASCII, nhưng nó chỉ bao gồm một cách, cách, cách tập hợp các điểm mã lớn hơn. Có một số ít các mã hóa xuất hiện theo trình tự thời gian giữa ASCII và Unicode, nhưng chúng không thực sự đáng được đề cập đến vì Unicode và một trong những sơ đồ mã hóa của nó, UTF-8, đã được sử dụng chủ yếu. Hãy nghĩ về Unicode như một phiên bản lớn của bảng ASCII, một người có 1.114.112 điểm mã có thể. Đó là từ 0 đến 1.114.111, hoặc 0 đến 17 * (216) - 1 hoặc 77 Hexadecimal. Trong thực tế, ASCII là một tập hợp con hoàn hảo của Unicode. 128 ký tự đầu tiên trong bảng Unicode tương ứng chính xác với các ký tự ASCII mà bạn đã mong đợi một cách hợp lý.Vì lợi ích của việc chính xác về mặt kỹ thuật, bản thân Unicode không phải là một mã hóa. Thay vào đó, Unicode được triển khai bởi các mã hóa ký tự khác nhau mà bạn sẽ thấy sớm. Unicode được coi là bản đồ tốt hơn (một cái gì đó như 78) hoặc bảng cơ sở dữ liệu 2 cột. Nó ánh xạ các ký tự (như 79, 80 hoặc thậm chí 81) thành các số nguyên dương, khác biệt. Một mã hóa nhân vật cần cung cấp thêm một chút.Unicode itself is not an encoding. Rather, Unicode is implemented by different character encodings, which you’ll see soon. Unicode is better thought of as a map (something like a 78) or a
2-column database table. It maps characters (like 79, 80, or even 81) to distinct, positive integers. A character encoding needs to offer a bit more.Unicode chứa hầu như mọi nhân vật mà bạn có thể tưởng tượng, bao gồm cả những người không thể in bổ sung. Một trong những mục yêu thích của tôi là dấu hiệu từ phải sang trái, có mã điểm 8207 và được sử dụng trong văn bản với cả các tập lệnh ngôn ngữ từ trái sang phải và từ phải, chẳng hạn như một bài viết có chứa cả đoạn văn tiếng Anh và tiếng Ả Rập . Unicode vs UTF-8Nó đã không mất nhiều thời gian để mọi người nhận ra rằng tất cả các nhân vật trên thế giới không thể được đóng gói thành một byte. Nó rõ ràng từ đó rằng các mã hóa hiện đại, toàn diện hơn sẽ cần sử dụng nhiều byte để mã hóa một số ký tự. Bạn cũng thấy ở trên rằng Unicode không phải là một mã hóa ký tự toàn diện. Tại sao vậy? Có một điều mà Unicode không nói với bạn: Nó không cho bạn biết làm thế nào để có được các bit thực tế từ văn bản chỉ các điểm mã. Nó không cho bạn biết đủ về cách chuyển đổi văn bản thành dữ liệu nhị phân và ngược lại. Unicode là một tiêu chuẩn mã hóa trừu tượng, không phải là mã hóa. Đó là nơi mà UTF-8 và các chương trình mã hóa khác xuất hiện. Tiêu chuẩn Unicode (Bản đồ các ký tự cho các điểm mã) xác định một số mã hóa khác nhau từ bộ ký tự đơn của nó. UTF-8 cũng như anh em họ ít sử dụng hơn, UTF-16 và UTF-32, là các định dạng mã hóa để đại diện cho các ký tự Unicode dưới dạng dữ liệu nhị phân của một hoặc nhiều byte trên mỗi ký tự. Chúng tôi sẽ thảo luận về UTF-16 và UTF-32 trong một khoảnh khắc, nhưng UTF-8 đã chiếm phần chia sẻ lớn nhất của chiếc bánh. Điều đó đưa chúng ta đến một định nghĩa đã quá hạn lâu. Nó có nghĩa là gì, chính thức, để mã hóa và giải mã?encode and decode? Mã hóa và giải mã trong Python 3Loại Python 3 8 có nghĩa là đại diện cho văn bản có thể đọc được của con người và có thể chứa bất kỳ ký tự Unicode nào.Loại 9, ngược lại, đại diện cho dữ liệu nhị phân hoặc chuỗi byte thô, bản chất không có mã hóa được gắn vào nó.Mã hóa và giải mã là quá trình đi từ cái này sang cái khác: Mã hóa so với giải mã (Hình ảnh: Python thật)Trong 84 và 85, tham số 86 là 87 theo mặc định, mặc dù nó thường an toàn hơn và không rõ ràng hơn để chỉ định nó:>>> string.encode(encoding='UTF-8',errors='strict')7 Kết quả của 88 là một đối tượng 9. Cả hai byte theo nghĩa đen (như 90) và các biểu diễn của byte chỉ cho phép các ký tự ASCII.Đây là lý do tại sao, khi gọi 91, tương thích ASCII 92 được phép được thể hiện như hiện tại, nhưng N với Tilde được trốn thoát đến 93. Trình tự trông lộn xộn đó đại diện cho hai byte, 94 và 95 trong hex:>>> string.encode(encoding='UTF-8',errors='strict')8 Kết quả của 88 là một đối tượng 9. Cả hai byte theo nghĩa đen (như 90) và các biểu diễn của byte chỉ cho phép các ký tự ASCII.Đây là lý do tại sao, khi gọi # unicode string string = 'pythön!' # print string print('The string is:', string) # default encoding to utf-8 string_utf = string.encode() # print result print('The encoded version is:', string_utf)91, tương thích ASCII # unicode string string = 'pythön!' # print string print('The string is:', string) # default encoding to utf-8 string_utf = string.encode() # print result print('The encoded version is:', string_utf)92 được phép được thể hiện như hiện tại, nhưng N với Tilde được trốn thoát đến # unicode string string = 'pythön!' # print string print('The string is:', string) # default encoding to utf-8 string_utf = string.encode() # print result print('The encoded version is:', string_utf)93. Trình tự trông lộn xộn đó đại diện cho hai byte, # unicode string string = 'pythön!' # print string print('The string is:', string) # default encoding to utf-8 string_utf = string.encode() # print result print('The encoded version is:', string_utf)94 và # unicode string string = 'pythön!' # print string print('The string is:', string) # default encoding to utf-8 string_utf = string.encode() # print result print('The encoded version is:', string_utf)95 trong hex:Đó là, ký tự 96 yêu cầu hai byte cho biểu diễn nhị phân của nó theo UTF-8.
Có một thuộc tính khác có nhiều sắc thái hơn, đó là mặc định 86 cho The string is: pythön! The encoded version is: b'pyth\xc3\xb6n!'12 tích hợp phụ thuộc vào nền tảng và phụ thuộc vào giá trị của The string is: pythön! The encoded version is: b'pyth\xc3\xb6n!'13: >>> string.encode(encoding='UTF-8',errors='strict')9 Một lần nữa, bài học ở đây là cẩn thận về việc đưa ra các giả định khi nói đến tính phổ quát của UTF-8, ngay cả khi đó là mã hóa chiếm ưu thế. Không bao giờ đau khi được rõ ràng trong mã của bạn. Một byte, hai byte, ba byte, bốnMột tính năng quan trọng là UTF-8 là một mã hóa có độ dài thay đổi. Nó rất hấp dẫn để che giấu ý nghĩa của điều này, nhưng nó đáng để đi sâu vào.variable-length encoding. It’s tempting to gloss over what this means, but it’s worth delving into. Nghĩ lại phần trên ASCII. Tất cả mọi thứ trong nhu cầu đất đai mở rộng nhiều nhất là một byte không gian. Bạn có thể nhanh chóng chứng minh điều này với biểu thức máy phát sau: >>> 0Một lần nữa, bài học ở đây là cẩn thận về việc đưa ra các giả định khi nói đến tính phổ quát của UTF-8, ngay cả khi đó là mã hóa chiếm ưu thế. Không bao giờ đau khi được rõ ràng trong mã của bạn. >>> 1Một lần nữa, bài học ở đây là cẩn thận về việc đưa ra các giả định khi nói đến tính phổ quát của UTF-8, ngay cả khi đó là mã hóa chiếm ưu thế. Không bao giờ đau khi được rõ ràng trong mã của bạn.
Nghĩ lại phần trên ASCII. Tất cả mọi thứ trong nhu cầu đất đai mở rộng nhiều nhất là một byte không gian. Bạn có thể nhanh chóng chứng minh điều này với biểu thức máy phát sau:
The string is: pythön! The encoded version is: b'pyth\xc3\xb6n!'31, The string is: pythön! The encoded version is: b'pyth\xc3\xb6n!'32, The string is: pythön! The encoded version is: b'pyth\xc3\xb6n!'33, The string is: pythön! The encoded version is: b'pyth\xc3\xb6n!'34 **A huge array of languages and symbols—mostly Chinese, Japanese, and Korean by volume (also ASCII and Latin alphabets) ***Additional Chinese, Japanese, Korean, and Vietnamese characters, plus more symbols and emojis 65536 đến 1114111The string is: pythön! The encoded version is: b'pyth\xc3\xb6n!'35 đến The string is: pythön! The encoded version is: b'pyth\xc3\xb6n!'36 Khác*** >>> 2The string is: pythön! The encoded version is: b'pyth\xc3\xb6n!'37, The string is: pythön! The encoded version is: b'pyth\xc3\xb6n!'38, The string is: pythön! The encoded version is: b'pyth\xc3\xb6n!'39, The string is: pythön! The encoded version is: b'pyth\xc3\xb6n!'40, *Chẳng hạn như tiếng Anh, tiếng Ả Rập, tiếng Hy Lạp và Ailen ** một loạt các ngôn ngữ và biểu tượng lớn nhất là tiếng Trung, tiếng Nhật và tiếng Hàn theo tập (cũng , cộng với nhiều biểu tượng và biểu tượng cảm xúc Còn UTF-16 và UTF-32 thì sao?
UTF-8 >>> 31 đến 4 Đúng UTF-16 2 đến 4UTF-32 Không
Một khía cạnh gây tò mò khác của gia đình UTF là UTF-8 sẽ không phải lúc nào cũng chiếm ít không gian hơn UTF-16. Điều đó có vẻ phản trực giác về mặt toán học, nhưng nó hoàn toàn có thể:
Ở đây, một cái nhìn chi tiết hơn về mỗi chín chức năng này:
The string is: pythön! The encoded version is: b'pyth\xc3\xb6n!'46 The string is: pythön! The encoded version is: b'pyth\xc3\xb6n!'77
4Đại diện nhị phân của một số nguyên, với tiền tố The string is: pythön! The encoded version is: b'pyth\xc3\xb6n!'80
5Đại diện nhị phân của một số nguyên, với tiền tố The string is: pythön! The encoded version is: b'pyth\xc3\xb6n!'80
6Đại diện nhị phân của một số nguyên, với tiền tố The string is: pythön! The encoded version is: b'pyth\xc3\xb6n!'80
7Đại diện nhị phân của một số nguyên, với tiền tố The string is: pythön! The encoded version is: b'pyth\xc3\xb6n!'80
8Đại diện nhị phân của một số nguyên, với tiền tố The string is: pythön! The encoded version is: b'pyth\xc3\xb6n!'80
9Đại diện nhị phân của một số nguyên, với tiền tố The string is: pythön! The encoded version is: b'pyth\xc3\xb6n!'80
The string is: pythön! The encoded version is: b'pyth\xc3\xb6n!'0 Đại diện nhị phân của một số nguyên, với tiền tố The string is: pythön! The encoded version is: b'pyth\xc3\xb6n!'80
The string is: pythön! The encoded version is: b'pyth\xc3\xb6n!'1 Đại diện nhị phân của một số nguyên, với tiền tố The string is: pythön! The encoded version is: b'pyth\xc3\xb6n!'80The string is: pythön! The encoded version is: b'pyth\xc3\xb6n!'47
The string is: pythön! The encoded version is: b'pyth\xc3\xb6n!'2 Đại diện nhị phân của một số nguyên, với tiền tố The string is: pythön! The encoded version is: b'pyth\xc3\xb6n!'80
The string is: pythön! The encoded version is: b'pyth\xc3\xb6n!'3 Đại diện nhị phân của một số nguyên, với tiền tố The string is: pythön! The encoded version is: b'pyth\xc3\xb6n!'80 The string is: pythön! The encoded version is: b'pyth\xc3\xb6n!'47 9Ép buộc (chuyển đổi) đầu vào thành 9, dữ liệu nhị phân thô
The string is: pythön! The encoded version is: b'pyth\xc3\xb6n!'45 cung cấp cho bạn một đại diện chỉ ASCII của một đối tượng, với các ký tự không phải ASCII đã thoát ra:
The string is: pythön! The encoded version is: b'pyth\xc3\xb6n!'4 Đại diện nhị phân của một số nguyên, với tiền tố The string is: pythön! The encoded version is: b'pyth\xc3\xb6n!'80
Chẳng hạn, nếu bạn tham khảo unicode-table.com để biết thông tin về chữ gothic faihu (hoặc FEHU), 61, bạn sẽ thấy rằng nó được liệt kê là có mã 62.Làm thế nào để bạn đặt điều này vào 44 hoặc 47? Chà, bạn có thể phù hợp với nó trong 44 bởi vì nó là một nhân vật 4 byte và sử dụng 47 để thể hiện nhân vật này, bạn sẽ cần phải bỏ lại chuỗi bên trái:Điều này cũng có nghĩa là mẫu 47 là chuỗi thoát duy nhất có khả năng giữ bất kỳ ký tự Unicode nào.Các mã hóa khác có sẵn trong PythonCho đến nay, bạn đã thấy bốn mã hóa nhân vật:
Có rất nhiều người khác ngoài kia. Một ví dụ là Latin-1 (còn được gọi là ISO-8859-1), về mặt kỹ thuật là mặc định cho giao thức chuyển siêu văn bản (HTTP), mỗi RFC 2616. Windows có biến thể Latin-1 riêng được gọi là CP1252. Danh sách đầy đủ các mã hóa được chấp nhận được chôn vùi trong tài liệu cho mô -đun 68, là một phần của thư viện tiêu chuẩn Python.Có một mã hóa được công nhận hữu ích hơn để nhận thức được, đó là 69. Nếu bạn có một 8 được giải mã và muốn nhanh chóng nhận được một đại diện cho chữ Unicode đã thoát ra của nó, thì bạn có thể chỉ định mã hóa này trong 84:>>> The string is: pythön! The encoded version is: b'pyth\xc3\xb6n!'5 Bạn biết những gì họ nói về các giả địnhChỉ vì Python đưa ra giả định mã hóa UTF-8 cho các tệp và mã mà bạn tạo ra không có nghĩa là bạn, lập trình viên, nên hoạt động với cùng một giả định về dữ liệu bên ngoài. Hãy để nói điều đó một lần nữa bởi vì nó là một quy tắc để sống bằng cách: khi bạn nhận được dữ liệu nhị phân (byte) từ nguồn bên thứ ba, cho dù đó là từ một tệp hoặc qua mạng, thực tế tốt nhất là kiểm tra xem dữ liệu chỉ định mã hóa. Nếu nó không có, thì nó sẽ hỏi bạn. Tất cả I/O xảy ra trong byte, không phải văn bản và byte chỉ là những cái và số không cho máy tính cho đến khi bạn nói với nó bằng cách thông báo về mã hóa. Ở đây, một ví dụ về nơi mọi thứ có thể đi sai. Bạn đã đăng ký API gửi cho bạn một công thức trong ngày mà bạn nhận được trong 9 và luôn được giải mã bằng cách sử dụng 73 mà không có vấn đề gì. Vào ngày đặc biệt này, một phần của công thức trông như thế này:>>> The string is: pythön! The encoded version is: b'pyth\xc3\xb6n!'6 Bạn biết những gì họ nói về các giả định >>> The string is: pythön! The encoded version is: b'pyth\xc3\xb6n!'7 Bạn biết những gì họ nói về các giả định >>> The string is: pythön! The encoded version is: b'pyth\xc3\xb6n!'8 Bạn biết những gì họ nói về các giả định Chỉ vì Python đưa ra giả định mã hóa UTF-8 cho các tệp và mã mà bạn tạo ra không có nghĩa là bạn, lập trình viên, nên hoạt động với cùng một giả định về dữ liệu bên ngoài. Hãy để nói điều đó một lần nữa bởi vì nó là một quy tắc để sống bằng cách: khi bạn nhận được dữ liệu nhị phân (byte) từ nguồn bên thứ ba, cho dù đó là từ một tệp hoặc qua mạng, thực tế tốt nhất là kiểm tra xem dữ liệu chỉ định mã hóa. Nếu nó không có, thì nó sẽ hỏi bạn. Tất cả I/O xảy ra trong byte, không phải văn bản và byte chỉ là những cái và số không cho máy tính cho đến khi bạn nói với nó bằng cách thông báo về mã hóa.Ở đây, một ví dụ về nơi mọi thứ có thể đi sai. Bạn đã đăng ký API gửi cho bạn một công thức trong ngày mà bạn nhận được trong 9 và luôn được giải mã bằng cách sử dụng 73 mà không có vấn đề gì. Vào ngày đặc biệt này, một phần của công thức trông như thế này:>>> The string is: pythön! The encoded version is: b'pyth\xc3\xb6n!'9 Bạn biết những gì họ nói về các giả địnhChỉ vì Python đưa ra giả định mã hóa UTF-8 cho các tệp và mã mà bạn tạo ra không có nghĩa là bạn, lập trình viên, nên hoạt động với cùng một giả định về dữ liệu bên ngoài. Hãy để nói điều đó một lần nữa bởi vì nó là một quy tắc để sống bằng cách: khi bạn nhận được dữ liệu nhị phân (byte) từ nguồn bên thứ ba, cho dù đó là từ một tệp hoặc qua mạng, thực tế tốt nhất là kiểm tra xem dữ liệu chỉ định mã hóa. Nếu nó không có, thì nó sẽ hỏi bạn.
Chúng tôi đi ở đó. Trong Latin-1, mọi nhân vật đều phù hợp với một byte duy nhất, trong khi ký tự ¼ ¼ chiếm hai byte trong UTF-8 ( 75).Bài học ở đây là nó có thể nguy hiểm khi cho rằng việc mã hóa bất kỳ dữ liệu nào được gửi cho bạn. Nó thường là UTF-8 trong những ngày này, nhưng nó có tỷ lệ nhỏ trong các trường hợp mà nó không phải là điều đó sẽ thổi bay mọi thứ.Nếu bạn thực sự cần phải từ bỏ tàu và đoán mã hóa, thì hãy xem thư viện 76, sử dụng phương pháp từ Mozilla để đưa ra dự đoán có giáo dục về văn bản được mã hóa mơ hồ. Điều đó nói rằng, một công cụ như 76 nên là phương sách cuối cùng của bạn, không phải đầu tiên của bạn.
Các tài liệu Python có hai trang về chủ đề:
Xem bây giờ hướng dẫn này có một khóa học video liên quan được tạo bởi nhóm Python thực sự. Xem nó cùng với hướng dẫn bằng văn bản để làm sâu sắc thêm sự hiểu biết của bạn: Unicode in Python: Làm việc với mã hóa ký tự This tutorial has a related video course created by the Real Python team. Watch it together with the written tutorial to deepen your understanding: Unicode in Python: Working With Character Encodings Mã hóa và unicode là gì?Tiêu chuẩn mã hóa ký tự Unicode là sơ đồ mã hóa ký tự có độ dài cố định bao gồm các ký tự từ hầu hết các ngôn ngữ sống trên thế giới. Thông tin về Unicode có thể được tìm thấy trong tiêu chuẩn Unicode và từ trang web Unicode Consortium tại www.unicode.org.a fixed-length, character encoding scheme that includes characters from almost all of the living languages of the world. Information about Unicode can be found in The Unicode Standard , and from the Unicode Consortium website at www.unicode.org.
Unicode và ASCII trong Python là gì?Unicode là mã hóa ký tự phổ quát được sử dụng để xử lý, lưu trữ và tạo điều kiện trao đổi dữ liệu văn bản bằng bất kỳ ngôn ngữ nào trong khi ASCII được sử dụng để biểu diễn văn bản như ký hiệu, chữ cái, chữ số, v.v. trong máy tính.ASCII: Đây là một tiêu chuẩn mã hóa ký tự cho giao tiếp điện tử.
Sự khác biệt giữa UTF và Unicode là gì?Sự khác biệt giữa Unicode và UTF-8 Unicode là một bộ ký tự.UTF-8 đang mã hóa.Unicode là danh sách các ký tự có số thập phân duy nhất (điểm mã).Unicode is a character set. UTF-8 is encoding. Unicode is a list of characters with unique decimal numbers (code points).
Mã hóa có nghĩa là gì trong Python?Vì Python 3.0, các chuỗi được lưu trữ dưới dạng unicode, tức là mỗi ký tự trong chuỗi được biểu thị bằng một điểm mã.Vì vậy, mỗi chuỗi chỉ là một chuỗi các điểm mã Unicode.Để lưu trữ hiệu quả các chuỗi này, chuỗi các điểm mã được chuyển đổi thành một tập hợp các byte.Quá trình được gọi là mã hóa.the sequence of code points is converted into a set of bytes. The process is known as encoding. |