Python ngoại suy

Con người vượt trội trong việc ngoại suy trong nhiều tình huống. Ví dụ, chúng ta có thể sử dụng số học để giải các bài toán với số lớn vô hạn. Người ta có thể đặt câu hỏi liệu máy học có thể làm điều tương tự và khái quát hóa cho các trường hợp cách xa dữ liệu đào tạo một cách tùy ý hay không. Phép ngoại suy là một kỹ thuật thống kê để ước tính các giá trị vượt ra ngoài một tập hợp dữ liệu hoặc quan sát cụ thể. Trái ngược với phép ngoại suy, chúng tôi sẽ giải thích các khía cạnh chính của nó trong bài viết này và cố gắng kết nối nó với học máy. Sau đây là những điểm chính sẽ được thảo luận trong bài viết này

Mục lục

1. Phép ngoại suy là gì?
2. Nội suy Vs Ngoại suy
3. Các vấn đề về phép ngoại suy
4. Trường hợp Extraplotaion thất bại?
5. Phương pháp ngoại suy
6. Triển khai phép ngoại suy tuyến tính trong Python

Hãy bắt đầu cuộc thảo luận bằng cách hiểu phép ngoại suy.  

Phép ngoại suy là gì?

Phép ngoại suy là một loại ước tính giá trị của một biến ngoài phạm vi quan sát ban đầu dựa trên mối quan hệ của nó với một biến khác. Phép ngoại suy tương tự như phép nội suy ở chỗ nó tạo ra các ước tính giữa các quan sát đã biết, nhưng nó không chắc chắn hơn và có nguy cơ đưa ra kết quả vô nghĩa cao hơn

Phép ngoại suy cũng có thể đề cập đến sự mở rộng của một phương pháp, giả định rằng các phương pháp tương tự được áp dụng. Phép ngoại suy là một thuật ngữ đề cập đến quá trình dự đoán, mở rộng hoặc mở rộng kinh nghiệm đã biết sang một lĩnh vực chưa biết hoặc chưa từng có kinh nghiệm trước đó để đạt được sự hiểu biết [điển hình là suy đoán] về điều chưa biết.

Phép ngoại suy là một phương pháp ước tính một giá trị nằm ngoài một phạm vi xác định. Hãy lấy một ví dụ chung. Nếu bạn là cha mẹ, bạn có thể nhớ con mình gọi bất kỳ sinh vật bốn chân nhỏ nào là mèo vì bộ phân loại đầu tiên của chúng chỉ sử dụng một vài đặc điểm. Họ cũng có thể xác định chính xác những con chó sau khi được huấn luyện để ngoại suy và tính đến các thuộc tính bổ sung.  

Ngay cả đối với con người, phép ngoại suy cũng là một thách thức. Các mô hình của chúng tôi là những cỗ máy nội suy, cho dù chúng thông minh đến đâu. Ngay cả những mạng thần kinh phức tạp nhất cũng có thể thất bại khi được yêu cầu ngoại suy vượt quá giới hạn của dữ liệu đào tạo của chúng

Theo truyền thống, học máy chỉ có thể nội suy dữ liệu, nghĩa là tạo ra các dự đoán về một kịch bản nằm “giữa” hai tình huống đã biết khác. Bởi vì máy học chỉ học cách mô hình hóa dữ liệu hiện có một cách chính xác nhất có thể, nên nó không thể ngoại suy – nghĩa là, nó không thể đưa ra dự đoán về các tình huống nằm ngoài các điều kiện đã biết. Phải mất thời gian và tài nguyên để thu thập đủ dữ liệu để nội suy tốt và cần có dữ liệu từ các cài đặt cực đoan hoặc nguy hiểm

Nội suy Vs Ngoại suy

Khi chúng ta sử dụng dữ liệu trong các bài toán hồi quy để tổng quát hóa một hàm chuyển một tập hợp các biến đầu vào X thành một tập hợp các biến đầu ra y. Có thể dự đoán giá trị y cho bất kỳ tổ hợp biến đầu vào nào bằng cách sử dụng ánh xạ hàm này. Khi các biến đầu vào nằm giữa dữ liệu huấn luyện, quy trình này được gọi là phép nội suy; .  

Các phần màu xám và trắng trong ví dụ đơn biến ở Hình trên lần lượt hiển thị các chế độ ngoại suy và nội suy. Các đường màu đen phản ánh lựa chọn các mô hình đa thức đã được sử dụng để đưa ra dự đoán trong và ngoài tập dữ liệu huấn luyện.  

Các mô hình bị hạn chế tốt trong chế độ nội suy, khiến chúng sụp đổ trong một khu vực nhỏ. Tuy nhiên, bên ngoài miền, các mô hình phân kỳ, tạo ra các dự đoán hoàn toàn khác nhau. Việc không có thông tin được cung cấp cho mô hình trong quá trình đào tạo sẽ giới hạn mô hình trong các dự đoán có phương sai nhỏ hơn là nguyên nhân dẫn đến sự khác biệt lớn của các dự đoán này [mặc dù là cùng một mô hình với các siêu đường kính hơi khác nhau và được đào tạo trên cùng một bộ dữ liệu]

Đây là rủi ro ngoại suy. dự đoán mô hình bên ngoài miền đào tạo đặc biệt nhạy cảm với dữ liệu đào tạo và tham số mô hình, dẫn đến hành vi không thể đoán trước trừ khi công thức mô hình chứa các giả định rõ ràng hoặc ngầm định

Các vấn đề về phép ngoại suy

Trong trường hợp không có dữ liệu huấn luyện, hầu hết người học không chỉ định hành vi của các chức năng cuối cùng của họ. Chúng thường được tạo ra để trở thành các công cụ xấp xỉ phổ quát hoặc càng gần càng tốt với một số ràng buộc về mô hình hóa. Kết quả là ở những nơi có ít hoặc không có dữ liệu, chức năng có rất ít quyền kiểm soát trước đó. Do đó, chúng tôi không thể điều chỉnh hành vi của chức năng dự đoán tại các điểm ngoại suy trong hầu hết các tình huống học máy và chúng tôi không thể biết khi nào đây là sự cố

Phép ngoại suy không phải là một vấn đề trong lý thuyết; . Tuy nhiên, hầu hết các tập huấn luyện không mang tính đại diện và chúng không được lấy từ các hệ thống tĩnh, do đó có thể cần phải ngoại suy

Ngay cả dữ liệu thực nghiệm thu được từ phân phối sản phẩm cũng có thể có mẫu tương quan mạnh khi được nhân rộng lên các thứ nguyên cao. Bởi vì các chức năng được học dựa trên một mẫu thực nghiệm, chúng có thể ngoại suy hiệu quả ngay cả ở những địa điểm dày đặc về mặt lý thuyết

Phép ngoại suy thất bại ở đâu?

Phép ngoại suy hoạt động với tuyến tính và các loại hồi quy khác ở một mức độ nào đó, nhưng không hoạt động với cây quyết định hoặc rừng ngẫu nhiên. Trong Cây quyết định và Rừng ngẫu nhiên, đầu vào được sắp xếp và lọc thành các nút lá không có mối quan hệ trực tiếp với các nút lá khác trong cây hoặc rừng. Điều này có nghĩa là, mặc dù rừng ngẫu nhiên sắp xếp dữ liệu rất tốt, nhưng không thể ngoại suy kết quả vì nó không biết cách phân loại dữ liệu bên ngoài miền

Phương pháp ngoại suy

Một quyết định đúng đắn về việc sử dụng phương pháp ngoại suy nào dựa trên sự hiểu biết trước đó về quy trình tạo ra các điểm dữ liệu hiện có. Một số chuyên gia đã khuyến nghị sử dụng các yếu tố nhân quả để đánh giá các phương pháp ngoại suy. Chúng ta sẽ thấy một vài trong số họ. Đây là những phương pháp toán học thuần túy, người ta nên liên hệ đúng với vấn đề của bạn

Phép ngoại suy tuyến tính là quá trình vẽ một đường tiếp tuyến từ đầu của dữ liệu đã biết và mở rộng nó ra ngoài điểm đó. Chỉ sử dụng phép ngoại suy tuyến tính để mở rộng đồ thị của hàm cơ bản là tuyến tính hoặc không vượt quá nhiều so với dữ liệu hiện có để có kết quả tốt. Phép ngoại suy tuyến tính tạo ra hàm nếu hai điểm dữ liệu gần nhất với điểm x* được ngoại suy là [xk-1,yk-1] và [xk,yk]

Một đường cong đa thức có thể được xây dựng bằng cách sử dụng tất cả các dữ liệu đã biết hoặc chỉ một phần nhỏ của nó [hai điểm cho phép ngoại suy tuyến tính, ba điểm cho phép ngoại suy bậc hai, v.v. ]. Đường cong kết quả sau đó có thể được mở rộng ra ngoài dữ liệu có sẵn. Cách phổ biến nhất của phép ngoại suy đa thức là sử dụng phép nội suy Lagrange hoặc phương pháp sai phân hữu hạn của Newton để tạo ra một chuỗi Newton khớp với dữ liệu. Dữ liệu có thể được ngoại suy bằng cách sử dụng đa thức thu được

Năm điểm gần cuối của dữ liệu đã cho có thể được sử dụng để tạo một phần hình nón. Nếu phần hình nón là hình elip hoặc hình tròn, nó sẽ lặp lại và tự nối lại khi ngoại suy. Một parabol hoặc hyperbol đã được ngoại suy sẽ không tự nối lại mà có thể cong ngược về phía trục X. Mẫu phần hình nón [trên giấy] hoặc máy tính có thể được sử dụng cho hình thức ngoại suy này

Hơn nữa, chúng ta sẽ thấy cách triển khai python đơn giản của phép ngoại suy tuyến tính.  

Triển khai phép ngoại suy tuyến tính trong Python

Kỹ thuật này có lợi khi biết hàm tuyến tính. Nó được thực hiện bằng cách vẽ một tiếp tuyến và kéo dài nó ra ngoài giới hạn. Khi điểm được chiếu gần với các điểm còn lại, phép ngoại suy tuyến tính mang lại kết quả tốt

# Code is taken from GeeksforGeeks
# Extrapolation
def extrapolation_[q, r]:
    result = [q[0][1] + [r - q[0][0]] /
        [q[1][0] - q[0][0]] *
        [q[1][1] - q[0][1]]];
 
    return result
 
# dataset
q = [[ 5.2, 8.7 ], [2.4, 4.1 ]];
# Sample Value 
r = 2.1;
 
# Finding the extrapolation
print["Value of y at x = 2.1 :",extrapolation_[q, r]]

Từ cuối cùng

Phép ngoại suy là một kỹ thuật hữu ích, nhưng nó phải được sử dụng cùng với mô hình thích hợp để mô tả dữ liệu và nó có những hạn chế sau khi bạn rời khỏi khu vực đào tạo. Các ứng dụng của nó bao gồm dự đoán trong các tình huống mà bạn có dữ liệu liên tục, chẳng hạn như thời gian, tốc độ, v.v. Dự đoán nổi tiếng là không chính xác và độ chính xác giảm khi khoảng cách từ khu vực đã học tăng lên. Trong các tình huống cần ngoại suy, mô hình phải được cập nhật và đào tạo lại để giảm sai số. Thông qua bài viết này, chúng ta đã hiểu về phép ngoại suy và phép nội suy của nó về mặt toán học, đồng thời liên hệ chúng với ML và thấy tác động của chúng đối với hệ thống ML. Chúng tôi cũng đã thấy đặc biệt nơi nó không thành công và các phương pháp có thể được sử dụng.    

Người giới thiệu

• ngoại suy
• CHẨN ĐOÁN VÀ NGOẠI TRỪ TRONG MÁY HỌC
• So sánh các thuật toán học máy trong nội suy và ngoại suy

Nhiều câu chuyện AIM tuyệt vời hơn

Vijaysinh là một người đam mê học máy và học sâu. Anh ấy có kỹ năng về các thuật toán ML, thao tác dữ liệu, xử lý và trực quan hóa, xây dựng mô hình

Có phải là một ý tưởng tốt để ngoại suy?

Ngoại suy dữ liệu có nghĩa là gì?

một ví dụ về ngoại suy là gì?