Cosine tương tự và mô-đun bộ công cụ nltk được sử dụng trong chương trình này. Để thực hiện chương trình này, nltk phải được cài đặt trong hệ thống của bạn. Để cài đặt mô-đun nltk, hãy làm theo các bước bên dưới –
1. Open terminal[Linux]. 2. sudo pip3 install nltk 3. python3 4. import nltk 5. nltk.download[‘all’]
Các chức năng được sử dụng
nltk. token hóa. Nó được sử dụng để mã thông báo. Tokenization là quá trình theo đó một lượng lớn văn bản được chia thành các phần nhỏ hơn được gọi là token.
similarity: 0.28867513459481293 tách câu X đã cho thành các từ và trả về danh sáchnltk. kho văn bản. Trong chương trình này, nó được sử dụng để lấy danh sách các từ dừng. Từ dừng là một từ thường được sử dụng [chẳng hạn như “the”, “a”, “an”, “in”]
Dưới đây là triển khai Python -
similarity: 0.28867513459481294
similarity: 0.28867513459481295
similarity: 0.28867513459481296
similarity: 0.28867513459481297____58
similarity: 0.28867513459481299
similarity: 0.28867513459481296
similarity: 0.28867513459481290
similarity: 0.28867513459481298
similarity: 0.28867513459481292
similarity: 0.28867513459481293
similarity: 0.28867513459481294
similarity: 0.28867513459481295
similarity: 0.28867513459481296
similarity: 0.28867513459481297____18
similarity: 0.28867513459481299
similarity: 0.28867513459481297____531
similarity: 0.28867513459481293
similarity: 0.288675134594812933
similarity: 0.288675134594812934
similarity: 0.28867513459481297
similarity: 0.288675134594812936
similarity: 0.288675134594812937
similarity: 0.28867513459481297
similarity: 0.288675134594812939
similarity: 0.28867513459481293
similarity: 0.288675134594812941
similarity: 0.288675134594812942
similarity: 0.28867513459481297
similarity: 0.288675134594812944____545
similarity: 0.288675134594812946
similarity: 0.288675134594812947
similarity: 0.28867513459481297____549
similarity: 0.28867513459481297
similarity: 0.288675134594812951
similarity: 0.28867513459481293
similarity: 0.288675134594812953
similarity: 0.288675134594812954
similarity: 0.28867513459481297
similarity: 0.288675134594812956
similarity: 0.288675134594812957
similarity: 0.288675134594812958
similarity: 0.288675134594812959
similarity: 0.288675134594812934
similarity: 0.288675134594812961
similarity: 0.288675134594812962
similarity: 0.288675134594812958
similarity: 0.288675134594812959
similarity: 0.288675134594812965
similarity: 0.288675134594812966
similarity: 0.28867513459481297
similarity: 0.288675134594812956
similarity: 0.288675134594812957
similarity: 0.288675134594812958
similarity: 0.288675134594812959
similarity: 0.288675134594812937
similarity: 0.288675134594812961
similarity: 0.288675134594812962
similarity: 0.288675134594812958
similarity: 0.288675134594812959
similarity: 0.288675134594812977
similarity: 0.28867513459481293
similarity: 0.288675134594812979
similarity: 0.288675134594812980
similarity: 0.28867513459481297
similarity: 0.288675134594812982
________ 557 ________ 558 ________ 559 ________ 586
similarity: 0.288675134594812987
similarity: 0.288675134594812961
similarity: 0.288675134594812958
similarity: 0.288675134594812959
similarity: 0.288675134594812991
similarity: 0.288675134594812992
similarity: 0.288675134594812993
similarity: 0.288675134594812994
similarity: 0.288675134594812987
similarity: 0.288675134594812996____597
similarity: 0.288675134594812998
similarity: 0.288675134594812993
similarity: 0.288675134594812987
similarity: 0.288675134594812961
similarity: 0.288675134594812958
similarity: 0.288675134594812959
similarity: 0.288675134594812964
similarity: 0.288675134594812992
similarity: 0.288675134594812993
similarity: 0.288675134594812987
similarity: 0.288675134594812996____569
similarity: 0.288675134594812998
similarity: 0.288675134594812993
similarity: 0.288675134594812902
similarity: 0.28867513459481297
similarity: 0.288675134594812998
similarity: 0.28867513459481293
similarity: 0.288675134594812906
similarity: 0.288675134594812957
similarity: 0.288675134594812908
similarity: 0.288675134594812959
similarity: 0.288675134594812910
similarity: 0.288675134594812911
similarity: 0.288675134594812912
similarity: 0.288675134594812913
similarity: 0.288675134594812914
similarity: 0.288675134594812902
similarity: 0.288675134594812916
similarity: 0.28867513459481297
similarity: 0.288675134594812918
similarity: 0.288675134594812919
similarity: 0.288675134594812920
similarity: 0.288675134594812921
similarity: 0.28867513459481297
similarity: 0.288675134594812902_______124
similarity: 0.288675134594812925
similarity: 0.288675134594812926
similarity: 0.288675134594812927
similarity: 0.288675134594812928
similarity: 0.288675134594812919
similarity: 0.288675134594812927
similarity: 0.288675134594812931
similarity: 0.288675134594812919
similarity: 0.288675134594812919
similarity: 0.288675134594812934
similarity: 0.288675134594812993
Độ tương đồng về ngữ nghĩa được đo lường như thế nào?
Về mặt điện toán, có thể ước tính độ tương tự về ngữ nghĩa bằng cách xác định độ tương tự tô pô, bằng cách sử dụng các bản thể luận để xác định khoảng cách giữa các thuật ngữ/khái niệm .
Sự giống nhau về ngữ nghĩa trong NLP là gì?
Tương tự ngữ nghĩa là nhiệm vụ xác định mức độ giống nhau của hai câu, về ý nghĩa của chúng. Ví dụ này minh họa việc sử dụng SNLI [Stanford Natural Language Inference] Corpus để dự đoán sự giống nhau về ngữ nghĩa của câu với Transformers