Hướng dẫn how to train machine learning model in python - cách đào tạo mô hình học máy trong python

Question

Bỏ qua nội dung chính

Trình duyệt này không còn được hỗ trợ.

Nội dung chính Show

Hướng dẫn: Đào tạo mô hình học máy đầu tiên của bạn (SDK V1, Phần 2 trên 3)
Trong bài viết này
Điều kiện tiên quyết
Tạo kịch bản đào tạo
Kiểm tra cục bộ
Tạo môi trường Python
Tạo tập lệnh điều khiển
Hiểu các thay đổi mã
Gửi việc chạy đến Azure Machine Learning
Xem đầu ra
Số liệu đào tạo đăng nhập
Sửa đổi Train.py để bao gồm ghi nhật ký
Cập nhật tệp môi trường Conda
Gửi việc chạy đến Azure Machine Learning
Xem đầu ra

Nâng cấp lên Microsoft Edge để tận dụng các tính năng mới nhất, cập nhật bảo mật và hỗ trợ kỹ thuật.

Hướng dẫn: Đào tạo mô hình học máy đầu tiên của bạn (SDK V1, Phần 2 trên 3)

Bài báo
10/12/2022
8 phút để đọc

Trong bài viết này

Áp dụng cho: Python SDK Azureml V1

Hướng dẫn how to train machine learning model in python - cách đào tạo mô hình học máy trong python

Python SDK azureml v1

v1
v2

Hướng dẫn này chỉ cho bạn cách đào tạo mô hình học máy trong học tập máy Azure. Hướng dẫn này là phần 2 của loạt hướng dẫn gồm ba phần.

Trong Phần 1: Chạy "Xin chào Thế giới!" của loạt bài, bạn đã học cách sử dụng tập lệnh điều khiển để chạy một công việc trên đám mây.

Trong hướng dẫn này, bạn thực hiện bước tiếp theo bằng cách gửi một kịch bản đào tạo mô hình học máy. Ví dụ này sẽ giúp bạn hiểu cách học máy Azure làm giảm hành vi nhất quán giữa gỡ lỗi cục bộ và chạy từ xa.

Trong hướng dẫn này, bạn:

Tạo một kịch bản đào tạo.
Sử dụng Conda để xác định môi trường học máy Azure.
Tạo một tập lệnh điều khiển.

Hiểu các lớp học máy Azure (Environment, Run,

import torch
import torch.optim as optim
import torchvision
import torchvision.transforms as transforms

from model import Net

# download CIFAR 10 data
trainset = torchvision.datasets.CIFAR10(
    root="../data",
    train=True,
    download=True,
    transform=torchvision.transforms.ToTensor(),
)
trainloader = torch.utils.data.DataLoader(
    trainset, batch_size=4, shuffle=True, num_workers=2
)


if __name__ == "__main__":

    # define convolutional network
    net = Net()

    # set up pytorch loss /  optimizer
    criterion = torch.nn.CrossEntropyLoss()
    optimizer = optim.SGD(net.parameters(), lr=0.001, momentum=0.9)

    # train the network
    for epoch in range(2):

        running_loss = 0.0
        for i, data in enumerate(trainloader, 0):
            # unpack the data
            inputs, labels = data

            # zero the parameter gradients
            optimizer.zero_grad()

            # forward + backward + optimize
            outputs = net(inputs)
            loss = criterion(outputs, labels)
            loss.backward()
            optimizer.step()

            # print statistics
            running_loss += loss.item()
            if i % 2000 == 1999:
                loss = running_loss / 2000
                print(f"epoch={epoch + 1}, batch={i + 1:5}: loss {loss:.2f}")
                running_loss = 0.0

    print("Finished Training")

0).

Gửi và chạy kịch bản đào tạo của bạn.
Xem đầu ra mã của bạn trong đám mây.
Các số liệu đăng nhập để học máy Azure.
Xem số liệu của bạn trong đám mây.

Điều kiện tiên quyết

Hoàn thành Phần 1 của loạt bài.

Tạo kịch bản đào tạo

Đầu tiên bạn xác định kiến trúc mạng thần kinh trong tệp model.py. Tất cả mã đào tạo của bạn sẽ đi vào thư mục con

import torch
import torch.optim as optim
import torchvision
import torchvision.transforms as transforms

from model import Net

# download CIFAR 10 data
trainset = torchvision.datasets.CIFAR10(
    root="../data",
    train=True,
    download=True,
    transform=torchvision.transforms.ToTensor(),
)
trainloader = torch.utils.data.DataLoader(
    trainset, batch_size=4, shuffle=True, num_workers=2
)


if __name__ == "__main__":

    # define convolutional network
    net = Net()

    # set up pytorch loss /  optimizer
    criterion = torch.nn.CrossEntropyLoss()
    optimizer = optim.SGD(net.parameters(), lr=0.001, momentum=0.9)

    # train the network
    for epoch in range(2):

        running_loss = 0.0
        for i, data in enumerate(trainloader, 0):
            # unpack the data
            inputs, labels = data

            # zero the parameter gradients
            optimizer.zero_grad()

            # forward + backward + optimize
            outputs = net(inputs)
            loss = criterion(outputs, labels)
            loss.backward()
            optimizer.step()

            # print statistics
            running_loss += loss.item()
            if i % 2000 == 1999:
                loss = running_loss / 2000
                print(f"epoch={epoch + 1}, batch={i + 1:5}: loss {loss:.2f}")
                running_loss = 0.0

    print("Finished Training")

1, bao gồm cả model.py.

Mã đào tạo được lấy từ ví dụ giới thiệu này từ Pytorch. Lưu ý rằng các khái niệm học máy Azure áp dụng cho bất kỳ mã học máy nào, không chỉ Pytorch.

Tạo một tệp model.py trong thư mục con SRC. Sao chép mã này vào tệp:src subfolder. Copy this code into the file:

import torch.nn as nn
import torch.nn.functional as F


class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.conv1 = nn.Conv2d(3, 6, 5)
        self.pool = nn.MaxPool2d(2, 2)
        self.conv2 = nn.Conv2d(6, 16, 5)
        self.fc1 = nn.Linear(16 * 5 * 5, 120)
        self.fc2 = nn.Linear(120, 84)
        self.fc3 = nn.Linear(84, 10)

    def forward(self, x):
        x = self.pool(F.relu(self.conv1(x)))
        x = self.pool(F.relu(self.conv2(x)))
        x = x.view(-1, 16 * 5 * 5)
        x = F.relu(self.fc1(x))
        x = F.relu(self.fc2(x))
        x = self.fc3(x)
        return x

Trên thanh công cụ, chọn Lưu để lưu tệp. Đóng tab nếu bạn muốn.Save to save the file. Close the tab if you wish.

Tiếp theo, xác định kịch bản đào tạo, cũng trong thư mục con SRC. Kịch bản này tải xuống bộ dữ liệu CIFAR10 bằng cách sử dụng API Pytorch

import torch
import torch.optim as optim
import torchvision
import torchvision.transforms as transforms

from model import Net

# download CIFAR 10 data
trainset = torchvision.datasets.CIFAR10(
    root="../data",
    train=True,
    download=True,
    transform=torchvision.transforms.ToTensor(),
)
trainloader = torch.utils.data.DataLoader(
    trainset, batch_size=4, shuffle=True, num_workers=2
)


if __name__ == "__main__":

    # define convolutional network
    net = Net()

    # set up pytorch loss /  optimizer
    criterion = torch.nn.CrossEntropyLoss()
    optimizer = optim.SGD(net.parameters(), lr=0.001, momentum=0.9)

    # train the network
    for epoch in range(2):

        running_loss = 0.0
        for i, data in enumerate(trainloader, 0):
            # unpack the data
            inputs, labels = data

            # zero the parameter gradients
            optimizer.zero_grad()

            # forward + backward + optimize
            outputs = net(inputs)
            loss = criterion(outputs, labels)
            loss.backward()
            optimizer.step()

            # print statistics
            running_loss += loss.item()
            if i % 2000 == 1999:
                loss = running_loss / 2000
                print(f"epoch={epoch + 1}, batch={i + 1:5}: loss {loss:.2f}")
                running_loss = 0.0

    print("Finished Training")

2, thiết lập mạng được xác định trong model.py và đào tạo nó cho hai kỷ nguyên bằng cách sử dụng tổn thất SGD tiêu chuẩn và mất chéo.src subfolder. This script downloads the CIFAR10 dataset by using PyTorch

import torch
import torch.optim as optim
import torchvision
import torchvision.transforms as transforms

from model import Net

# download CIFAR 10 data
trainset = torchvision.datasets.CIFAR10(
    root="../data",
    train=True,
    download=True,
    transform=torchvision.transforms.ToTensor(),
)
trainloader = torch.utils.data.DataLoader(
    trainset, batch_size=4, shuffle=True, num_workers=2
)


if __name__ == "__main__":

    # define convolutional network
    net = Net()

    # set up pytorch loss /  optimizer
    criterion = torch.nn.CrossEntropyLoss()
    optimizer = optim.SGD(net.parameters(), lr=0.001, momentum=0.9)

    # train the network
    for epoch in range(2):

        running_loss = 0.0
        for i, data in enumerate(trainloader, 0):
            # unpack the data
            inputs, labels = data

            # zero the parameter gradients
            optimizer.zero_grad()

            # forward + backward + optimize
            outputs = net(inputs)
            loss = criterion(outputs, labels)
            loss.backward()
            optimizer.step()

            # print statistics
            running_loss += loss.item()
            if i % 2000 == 1999:
                loss = running_loss / 2000
                print(f"epoch={epoch + 1}, batch={i + 1:5}: loss {loss:.2f}")
                running_loss = 0.0

    print("Finished Training")

2 APIs, sets up the network defined in model.py, and trains it for two epochs by using standard SGD and cross-entropy loss.

Tạo tập lệnh Train.py trong thư mục con SRC:src subfolder:

import torch
import torch.optim as optim
import torchvision
import torchvision.transforms as transforms

from model import Net

# download CIFAR 10 data
trainset = torchvision.datasets.CIFAR10(
    root="../data",
    train=True,
    download=True,
    transform=torchvision.transforms.ToTensor(),
)
trainloader = torch.utils.data.DataLoader(
    trainset, batch_size=4, shuffle=True, num_workers=2
)


if __name__ == "__main__":

    # define convolutional network
    net = Net()

    # set up pytorch loss /  optimizer
    criterion = torch.nn.CrossEntropyLoss()
    optimizer = optim.SGD(net.parameters(), lr=0.001, momentum=0.9)

    # train the network
    for epoch in range(2):

        running_loss = 0.0
        for i, data in enumerate(trainloader, 0):
            # unpack the data
            inputs, labels = data

            # zero the parameter gradients
            optimizer.zero_grad()

            # forward + backward + optimize
            outputs = net(inputs)
            loss = criterion(outputs, labels)
            loss.backward()
            optimizer.step()

            # print statistics
            running_loss += loss.item()
            if i % 2000 == 1999:
                loss = running_loss / 2000
                print(f"epoch={epoch + 1}, batch={i + 1:5}: loss {loss:.2f}")
                running_loss = 0.0

    print("Finished Training")

Bây giờ bạn có cấu trúc thư mục sau:

Kiểm tra cục bộ

Chọn Lưu và chạy tập lệnh trong Terminal để chạy tập lệnh Train.py trực tiếp trên thể hiện tính toán.Save and run script in terminal to run the train.py script directly on the compute instance.

Sau khi hoàn thành tập lệnh, chọn Làm mới trên các thư mục tệp. Bạn sẽ thấy thư mục dữ liệu mới được gọi là get-start/data mở rộng thư mục này để xem dữ liệu đã tải xuống.Refresh above the file folders. You'll see the new data folder called get-started/data Expand this folder to view the downloaded data.

Tạo môi trường Python

Azure Machine Learning cung cấp khái niệm về một môi trường để thể hiện môi trường Python có thể tái tạo, được phiên bản để chạy thử nghiệm. Thật dễ dàng để tạo ra một môi trường từ môi trường căn hộ hoặc pip địa phương.

Đầu tiên bạn sẽ tạo một tệp với các phụ thuộc gói.

Tạo một tệp mới trong thư mục get-start có tên

import torch
import torch.optim as optim
import torchvision
import torchvision.transforms as transforms

from model import Net

# download CIFAR 10 data
trainset = torchvision.datasets.CIFAR10(
    root="../data",
    train=True,
    download=True,
    transform=torchvision.transforms.ToTensor(),
)
trainloader = torch.utils.data.DataLoader(
    trainset, batch_size=4, shuffle=True, num_workers=2
)


if __name__ == "__main__":

    # define convolutional network
    net = Net()

    # set up pytorch loss /  optimizer
    criterion = torch.nn.CrossEntropyLoss()
    optimizer = optim.SGD(net.parameters(), lr=0.001, momentum=0.9)

    # train the network
    for epoch in range(2):

        running_loss = 0.0
        for i, data in enumerate(trainloader, 0):
            # unpack the data
            inputs, labels = data

            # zero the parameter gradients
            optimizer.zero_grad()

            # forward + backward + optimize
            outputs = net(inputs)
            loss = criterion(outputs, labels)
            loss.backward()
            optimizer.step()

            # print statistics
            running_loss += loss.item()
            if i % 2000 == 1999:
                loss = running_loss / 2000
                print(f"epoch={epoch + 1}, batch={i + 1:5}: loss {loss:.2f}")
                running_loss = 0.0

    print("Finished Training")

3:get-started folder called

import torch
import torch.optim as optim
import torchvision
import torchvision.transforms as transforms

from model import Net

# download CIFAR 10 data
trainset = torchvision.datasets.CIFAR10(
    root="../data",
    train=True,
    download=True,
    transform=torchvision.transforms.ToTensor(),
)
trainloader = torch.utils.data.DataLoader(
    trainset, batch_size=4, shuffle=True, num_workers=2
)


if __name__ == "__main__":

    # define convolutional network
    net = Net()

    # set up pytorch loss /  optimizer
    criterion = torch.nn.CrossEntropyLoss()
    optimizer = optim.SGD(net.parameters(), lr=0.001, momentum=0.9)

    # train the network
    for epoch in range(2):

        running_loss = 0.0
        for i, data in enumerate(trainloader, 0):
            # unpack the data
            inputs, labels = data

            # zero the parameter gradients
            optimizer.zero_grad()

            # forward + backward + optimize
            outputs = net(inputs)
            loss = criterion(outputs, labels)
            loss.backward()
            optimizer.step()

            # print statistics
            running_loss += loss.item()
            if i % 2000 == 1999:
                loss = running_loss / 2000
                print(f"epoch={epoch + 1}, batch={i + 1:5}: loss {loss:.2f}")
                running_loss = 0.0

    print("Finished Training")

3:

name: pytorch-env
channels:
    - defaults
    - pytorch
dependencies:
    - python=3.6.2
    - pytorch
    - torchvision

Trên thanh công cụ, chọn Lưu để lưu tệp. Đóng tab nếu bạn muốn.Save to save the file. Close the tab if you wish.

Tạo tập lệnh điều khiển

Sự khác biệt giữa tập lệnh điều khiển sau và chữ cái mà bạn đã sử dụng để gửi "Xin chào thế giới!" là bạn thêm một vài dòng bổ sung để đặt môi trường.

Tạo một tệp python mới trong thư mục get-start có tên là

import torch
import torch.optim as optim
import torchvision
import torchvision.transforms as transforms

from model import Net

# download CIFAR 10 data
trainset = torchvision.datasets.CIFAR10(
    root="../data",
    train=True,
    download=True,
    transform=torchvision.transforms.ToTensor(),
)
trainloader = torch.utils.data.DataLoader(
    trainset, batch_size=4, shuffle=True, num_workers=2
)


if __name__ == "__main__":

    # define convolutional network
    net = Net()

    # set up pytorch loss /  optimizer
    criterion = torch.nn.CrossEntropyLoss()
    optimizer = optim.SGD(net.parameters(), lr=0.001, momentum=0.9)

    # train the network
    for epoch in range(2):

        running_loss = 0.0
        for i, data in enumerate(trainloader, 0):
            # unpack the data
            inputs, labels = data

            # zero the parameter gradients
            optimizer.zero_grad()

            # forward + backward + optimize
            outputs = net(inputs)
            loss = criterion(outputs, labels)
            loss.backward()
            optimizer.step()

            # print statistics
            running_loss += loss.item()
            if i % 2000 == 1999:
                loss = running_loss / 2000
                print(f"epoch={epoch + 1}, batch={i + 1:5}: loss {loss:.2f}")
                running_loss = 0.0

    print("Finished Training")

4:get-started folder called

import torch
import torch.optim as optim
import torchvision
import torchvision.transforms as transforms

from model import Net

# download CIFAR 10 data
trainset = torchvision.datasets.CIFAR10(
    root="../data",
    train=True,
    download=True,
    transform=torchvision.transforms.ToTensor(),
)
trainloader = torch.utils.data.DataLoader(
    trainset, batch_size=4, shuffle=True, num_workers=2
)


if __name__ == "__main__":

    # define convolutional network
    net = Net()

    # set up pytorch loss /  optimizer
    criterion = torch.nn.CrossEntropyLoss()
    optimizer = optim.SGD(net.parameters(), lr=0.001, momentum=0.9)

    # train the network
    for epoch in range(2):

        running_loss = 0.0
        for i, data in enumerate(trainloader, 0):
            # unpack the data
            inputs, labels = data

            # zero the parameter gradients
            optimizer.zero_grad()

            # forward + backward + optimize
            outputs = net(inputs)
            loss = criterion(outputs, labels)
            loss.backward()
            optimizer.step()

            # print statistics
            running_loss += loss.item()
            if i % 2000 == 1999:
                loss = running_loss / 2000
                print(f"epoch={epoch + 1}, batch={i + 1:5}: loss {loss:.2f}")
                running_loss = 0.0

    print("Finished Training")

4:

# run-pytorch.py
from azureml.core import Workspace
from azureml.core import Experiment
from azureml.core import Environment
from azureml.core import ScriptRunConfig

if __name__ == "__main__":
    ws = Workspace.from_config()
    experiment = Experiment(workspace=ws, name='day1-experiment-train')
    config = ScriptRunConfig(source_directory='./src',
                             script='train.py',
                             compute_target='cpu-cluster')

    # set up pytorch environment
    env = Environment.from_conda_specification(
        name='pytorch-env',
        file_path='pytorch-env.yml'
    )
    config.run_config.environment = env

    run = experiment.submit(config)

    aml_url = run.get_portal_url()
    print(aml_url)

Mẹo

Nếu bạn đã sử dụng một tên khác khi bạn tạo cụm tính toán của mình, hãy đảm bảo điều chỉnh tên trong mã

import torch
import torch.optim as optim
import torchvision
import torchvision.transforms as transforms

from model import Net

# download CIFAR 10 data
trainset = torchvision.datasets.CIFAR10(
    root="../data",
    train=True,
    download=True,
    transform=torchvision.transforms.ToTensor(),
)
trainloader = torch.utils.data.DataLoader(
    trainset, batch_size=4, shuffle=True, num_workers=2
)


if __name__ == "__main__":

    # define convolutional network
    net = Net()

    # set up pytorch loss /  optimizer
    criterion = torch.nn.CrossEntropyLoss()
    optimizer = optim.SGD(net.parameters(), lr=0.001, momentum=0.9)

    # train the network
    for epoch in range(2):

        running_loss = 0.0
        for i, data in enumerate(trainloader, 0):
            # unpack the data
            inputs, labels = data

            # zero the parameter gradients
            optimizer.zero_grad()

            # forward + backward + optimize
            outputs = net(inputs)
            loss = criterion(outputs, labels)
            loss.backward()
            optimizer.step()

            # print statistics
            running_loss += loss.item()
            if i % 2000 == 1999:
                loss = running_loss / 2000
                print(f"epoch={epoch + 1}, batch={i + 1:5}: loss {loss:.2f}")
                running_loss = 0.0

    print("Finished Training")

5.

Hiểu các thay đổi mã

Tài liệu tham khảo tệp phụ thuộc bạn đã tạo ở trên.

import torch
import torch.optim as optim
import torchvision
import torchvision.transforms as transforms

from model import Net

# download CIFAR 10 data
trainset = torchvision.datasets.CIFAR10(
    root="../data",
    train=True,
    download=True,
    transform=torchvision.transforms.ToTensor(),
)
trainloader = torch.utils.data.DataLoader(
    trainset, batch_size=4, shuffle=True, num_workers=2
)


if __name__ == "__main__":

    # define convolutional network
    net = Net()

    # set up pytorch loss /  optimizer
    criterion = torch.nn.CrossEntropyLoss()
    optimizer = optim.SGD(net.parameters(), lr=0.001, momentum=0.9)

    # train the network
    for epoch in range(2):

        running_loss = 0.0
        for i, data in enumerate(trainloader, 0):
            # unpack the data
            inputs, labels = data

            # zero the parameter gradients
            optimizer.zero_grad()

            # forward + backward + optimize
            outputs = net(inputs)
            loss = criterion(outputs, labels)
            loss.backward()
            optimizer.step()

            # print statistics
            running_loss += loss.item()
            if i % 2000 == 1999:
                loss = running_loss / 2000
                print(f"epoch={epoch + 1}, batch={i + 1:5}: loss {loss:.2f}")
                running_loss = 0.0

    print("Finished Training")

6

Gửi việc chạy đến Azure Machine Learning

Chọn Lưu và Chạy tập lệnh trong Terminal để chạy tập lệnh Run-Pytorch.py.Save and run script in terminal to run the run-pytorch.py script.
Bạn sẽ thấy một liên kết trong cửa sổ thiết bị đầu cuối mở ra. Chọn liên kết để xem công việc.
Ghi chú
Bạn có thể thấy một số cảnh báo bắt đầu với thất bại trong khi tải azureml_run_type_providers .... bạn có thể bỏ qua những cảnh báo này. Sử dụng liên kết ở dưới cùng của các cảnh báo này để xem đầu ra của bạn.

Xem đầu ra

Trong trang mở ra, bạn sẽ thấy trạng thái công việc. Lần đầu tiên bạn chạy tập lệnh này, Azure Machine Learning sẽ xây dựng hình ảnh Docker mới từ môi trường Pytorch của bạn. Toàn bộ công việc có thể mất khoảng 10 phút để hoàn thành. Hình ảnh này sẽ được tái sử dụng trong các công việc trong tương lai để làm cho chúng chạy nhanh hơn nhiều.
Bạn có thể thấy xem nhật ký xây dựng Docker trong studio Azure Machine Learning. Chọn tab Đầu ra + Nhật ký, sau đó chọn 20_IMAGE_BUILD_LOG.TXT.Outputs + logs tab, and then select 20_image_build_log.txt.
Khi trạng thái của công việc được hoàn thành, chọn đầu ra + nhật ký.Completed, select Output + logs.
Chọn std_log.txt để xem đầu ra của công việc của bạn.std_log.txt to view the output of your job.

Downloading https://www.cs.toronto.edu/~kriz/cifar-10-python.tar.gz to ../data/cifar-10-python.tar.gz
Extracting ../data/cifar-10-python.tar.gz to ../data
epoch=1, batch= 2000: loss 2.19
epoch=1, batch= 4000: loss 1.82
epoch=1, batch= 6000: loss 1.66
...
epoch=2, batch= 8000: loss 1.51
epoch=2, batch=10000: loss 1.49
epoch=2, batch=12000: loss 1.46
Finished Training

Nếu bạn thấy lỗi

import torch
import torch.optim as optim
import torchvision
import torchvision.transforms as transforms

from model import Net

# download CIFAR 10 data
trainset = torchvision.datasets.CIFAR10(
    root="../data",
    train=True,
    download=True,
    transform=torchvision.transforms.ToTensor(),
)
trainloader = torch.utils.data.DataLoader(
    trainset, batch_size=4, shuffle=True, num_workers=2
)


if __name__ == "__main__":

    # define convolutional network
    net = Net()

    # set up pytorch loss /  optimizer
    criterion = torch.nn.CrossEntropyLoss()
    optimizer = optim.SGD(net.parameters(), lr=0.001, momentum=0.9)

    # train the network
    for epoch in range(2):

        running_loss = 0.0
        for i, data in enumerate(trainloader, 0):
            # unpack the data
            inputs, labels = data

            # zero the parameter gradients
            optimizer.zero_grad()

            # forward + backward + optimize
            outputs = net(inputs)
            loss = criterion(outputs, labels)
            loss.backward()
            optimizer.step()

            # print statistics
            running_loss += loss.item()
            if i % 2000 == 1999:
                loss = running_loss / 2000
                print(f"epoch={epoch + 1}, batch={i + 1:5}: loss {loss:.2f}")
                running_loss = 0.0

    print("Finished Training")

7, thư mục dữ liệu được đặt trong giá trị

import torch
import torch.optim as optim
import torchvision
import torchvision.transforms as transforms

from model import Net

# download CIFAR 10 data
trainset = torchvision.datasets.CIFAR10(
    root="../data",
    train=True,
    download=True,
    transform=torchvision.transforms.ToTensor(),
)
trainloader = torch.utils.data.DataLoader(
    trainset, batch_size=4, shuffle=True, num_workers=2
)


if __name__ == "__main__":

    # define convolutional network
    net = Net()

    # set up pytorch loss /  optimizer
    criterion = torch.nn.CrossEntropyLoss()
    optimizer = optim.SGD(net.parameters(), lr=0.001, momentum=0.9)

    # train the network
    for epoch in range(2):

        running_loss = 0.0
        for i, data in enumerate(trainloader, 0):
            # unpack the data
            inputs, labels = data

            # zero the parameter gradients
            optimizer.zero_grad()

            # forward + backward + optimize
            outputs = net(inputs)
            loss = criterion(outputs, labels)
            loss.backward()
            optimizer.step()

            # print statistics
            running_loss += loss.item()
            if i % 2000 == 1999:
                loss = running_loss / 2000
                print(f"epoch={epoch + 1}, batch={i + 1:5}: loss {loss:.2f}")
                running_loss = 0.0

    print("Finished Training")

8 được sử dụng trong

import torch
import torch.optim as optim
import torchvision
import torchvision.transforms as transforms

from model import Net

# download CIFAR 10 data
trainset = torchvision.datasets.CIFAR10(
    root="../data",
    train=True,
    download=True,
    transform=torchvision.transforms.ToTensor(),
)
trainloader = torch.utils.data.DataLoader(
    trainset, batch_size=4, shuffle=True, num_workers=2
)


if __name__ == "__main__":

    # define convolutional network
    net = Net()

    # set up pytorch loss /  optimizer
    criterion = torch.nn.CrossEntropyLoss()
    optimizer = optim.SGD(net.parameters(), lr=0.001, momentum=0.9)

    # train the network
    for epoch in range(2):

        running_loss = 0.0
        for i, data in enumerate(trainloader, 0):
            # unpack the data
            inputs, labels = data

            # zero the parameter gradients
            optimizer.zero_grad()

            # forward + backward + optimize
            outputs = net(inputs)
            loss = criterion(outputs, labels)
            loss.backward()
            optimizer.step()

            # print statistics
            running_loss += loss.item()
            if i % 2000 == 1999:
                loss = running_loss / 2000
                print(f"epoch={epoch + 1}, batch={i + 1:5}: loss {loss:.2f}")
                running_loss = 0.0

    print("Finished Training")

9.data folder is located in the

import torch
import torch.optim as optim
import torchvision
import torchvision.transforms as transforms

from model import Net

# download CIFAR 10 data
trainset = torchvision.datasets.CIFAR10(
    root="../data",
    train=True,
    download=True,
    transform=torchvision.transforms.ToTensor(),
)
trainloader = torch.utils.data.DataLoader(
    trainset, batch_size=4, shuffle=True, num_workers=2
)


if __name__ == "__main__":

    # define convolutional network
    net = Net()

    # set up pytorch loss /  optimizer
    criterion = torch.nn.CrossEntropyLoss()
    optimizer = optim.SGD(net.parameters(), lr=0.001, momentum=0.9)

    # train the network
    for epoch in range(2):

        running_loss = 0.0
        for i, data in enumerate(trainloader, 0):
            # unpack the data
            inputs, labels = data

            # zero the parameter gradients
            optimizer.zero_grad()

            # forward + backward + optimize
            outputs = net(inputs)
            loss = criterion(outputs, labels)
            loss.backward()
            optimizer.step()

            # print statistics
            running_loss += loss.item()
            if i % 2000 == 1999:
                loss = running_loss / 2000
                print(f"epoch={epoch + 1}, batch={i + 1:5}: loss {loss:.2f}")
                running_loss = 0.0

    print("Finished Training")

8 value used in

import torch
import torch.optim as optim
import torchvision
import torchvision.transforms as transforms

from model import Net

# download CIFAR 10 data
trainset = torchvision.datasets.CIFAR10(
    root="../data",
    train=True,
    download=True,
    transform=torchvision.transforms.ToTensor(),
)
trainloader = torch.utils.data.DataLoader(
    trainset, batch_size=4, shuffle=True, num_workers=2
)


if __name__ == "__main__":

    # define convolutional network
    net = Net()

    # set up pytorch loss /  optimizer
    criterion = torch.nn.CrossEntropyLoss()
    optimizer = optim.SGD(net.parameters(), lr=0.001, momentum=0.9)

    # train the network
    for epoch in range(2):

        running_loss = 0.0
        for i, data in enumerate(trainloader, 0):
            # unpack the data
            inputs, labels = data

            # zero the parameter gradients
            optimizer.zero_grad()

            # forward + backward + optimize
            outputs = net(inputs)
            loss = criterion(outputs, labels)
            loss.backward()
            optimizer.step()

            # print statistics
            running_loss += loss.item()
            if i % 2000 == 1999:
                loss = running_loss / 2000
                print(f"epoch={epoch + 1}, batch={i + 1:5}: loss {loss:.2f}")
                running_loss = 0.0

    print("Finished Training")

9.

Chọn ... ở cuối thư mục, sau đó chọn Di chuyển để di chuyển dữ liệu đến thư mục Get-Started.... at the end of the folder, then select Move to move data to the get-started folder.

Số liệu đào tạo đăng nhập

Bây giờ bạn đã được đào tạo mô hình về học máy Azure, bắt đầu theo dõi một số số liệu hiệu suất.

Kịch bản đào tạo hiện tại in các số liệu cho thiết bị đầu cuối. Azure Machine Learning cung cấp một cơ chế để ghi nhật ký các số liệu có nhiều chức năng hơn. Bằng cách thêm một vài dòng mã, bạn có khả năng trực quan hóa các số liệu trong phòng thu và so sánh các số liệu giữa nhiều công việc.

Sửa đổi Train.py để bao gồm ghi nhật ký

Sửa đổi tập lệnh Train.py của bạn để bao gồm thêm hai dòng mã:

import torch
import torch.optim as optim
import torchvision
import torchvision.transforms as transforms
from model import Net
from azureml.core import Run


# ADDITIONAL CODE: get run from the current context
run = Run.get_context()

# download CIFAR 10 data
trainset = torchvision.datasets.CIFAR10(
    root='./data',
    train=True,
    download=True,
    transform=torchvision.transforms.ToTensor()
)
trainloader = torch.utils.data.DataLoader(
    trainset,
    batch_size=4,
    shuffle=True,
    num_workers=2
)


if __name__ == "__main__":
    # define convolutional network
    net = Net()
    # set up pytorch loss /  optimizer
    criterion = torch.nn.CrossEntropyLoss()
    optimizer = optim.SGD(net.parameters(), lr=0.001, momentum=0.9)
    # train the network
    for epoch in range(2):
        running_loss = 0.0
        for i, data in enumerate(trainloader, 0):
            # unpack the data
            inputs, labels = data
            # zero the parameter gradients
            optimizer.zero_grad()
            # forward + backward + optimize
            outputs = net(inputs)
            loss = criterion(outputs, labels)
            loss.backward()
            optimizer.step()
            # print statistics
            running_loss += loss.item()
            if i % 2000 == 1999:
                loss = running_loss / 2000
                # ADDITIONAL CODE: log loss metric to AML
                run.log('loss', loss)
                print(f'epoch={epoch + 1}, batch={i + 1:5}: loss {loss:.2f}')
                running_loss = 0.0
    print('Finished Training')

Lưu tệp này, sau đó đóng tab nếu bạn muốn. this file, then close the tab if you wish.

Hiểu thêm hai dòng mã

Trong Train.py, bạn truy cập vào đối tượng chạy từ trong tập lệnh đào tạo bằng cách sử dụng phương thức

name: pytorch-env
channels:
    - defaults
    - pytorch
dependencies:
    - python=3.6.2
    - pytorch
    - torchvision

0 và sử dụng nó để ghi nhật ký số liệu:

# ADDITIONAL CODE: get run from the current context
run = Run.get_context()

...
# ADDITIONAL CODE: log loss metric to AML
run.log('loss', loss)

Các số liệu trong Azure Machine Learning là:

Được tổ chức bởi thí nghiệm và chạy, vì vậy thật dễ dàng để theo dõi và so sánh các số liệu.
Được trang bị UI để bạn có thể trực quan hóa hiệu suất đào tạo trong phòng thu.
Được thiết kế để mở rộng quy mô, vì vậy bạn giữ những lợi ích này ngay cả khi bạn chạy hàng trăm thí nghiệm.

Cập nhật tệp môi trường Conda

Kịch bản

name: pytorch-env
channels:
    - defaults
    - pytorch
dependencies:
    - python=3.6.2
    - pytorch
    - torchvision

1 chỉ phụ thuộc mới vào

name: pytorch-env
channels:
    - defaults
    - pytorch
dependencies:
    - python=3.6.2
    - pytorch
    - torchvision

2. Cập nhật

import torch
import torch.optim as optim
import torchvision
import torchvision.transforms as transforms

from model import Net

# download CIFAR 10 data
trainset = torchvision.datasets.CIFAR10(
    root="../data",
    train=True,
    download=True,
    transform=torchvision.transforms.ToTensor(),
)
trainloader = torch.utils.data.DataLoader(
    trainset, batch_size=4, shuffle=True, num_workers=2
)


if __name__ == "__main__":

    # define convolutional network
    net = Net()

    # set up pytorch loss /  optimizer
    criterion = torch.nn.CrossEntropyLoss()
    optimizer = optim.SGD(net.parameters(), lr=0.001, momentum=0.9)

    # train the network
    for epoch in range(2):

        running_loss = 0.0
        for i, data in enumerate(trainloader, 0):
            # unpack the data
            inputs, labels = data

            # zero the parameter gradients
            optimizer.zero_grad()

            # forward + backward + optimize
            outputs = net(inputs)
            loss = criterion(outputs, labels)
            loss.backward()
            optimizer.step()

            # print statistics
            running_loss += loss.item()
            if i % 2000 == 1999:
                loss = running_loss / 2000
                print(f"epoch={epoch + 1}, batch={i + 1:5}: loss {loss:.2f}")
                running_loss = 0.0

    print("Finished Training")

3 để phản ánh sự thay đổi này:

name: pytorch-env
channels:
    - defaults
    - pytorch
dependencies:
    - python=3.6.2
    - pytorch
    - torchvision
    - pip
    - pip:
        - azureml-sdk

Hãy chắc chắn rằng bạn lưu tệp này trước khi bạn gửi lần chạy.

Gửi việc chạy đến Azure Machine Learning

Chọn Lưu và Chạy tập lệnh trong Terminal để chạy tập lệnh Run-Pytorch.py.Save and run script in terminal to re-run the run-pytorch.py script. Make sure you've saved your changes to

import torch
import torch.optim as optim
import torchvision
import torchvision.transforms as transforms

from model import Net

# download CIFAR 10 data
trainset = torchvision.datasets.CIFAR10(
    root="../data",
    train=True,
    download=True,
    transform=torchvision.transforms.ToTensor(),
)
trainloader = torch.utils.data.DataLoader(
    trainset, batch_size=4, shuffle=True, num_workers=2
)


if __name__ == "__main__":

    # define convolutional network
    net = Net()

    # set up pytorch loss /  optimizer
    criterion = torch.nn.CrossEntropyLoss()
    optimizer = optim.SGD(net.parameters(), lr=0.001, momentum=0.9)

    # train the network
    for epoch in range(2):

        running_loss = 0.0
        for i, data in enumerate(trainloader, 0):
            # unpack the data
            inputs, labels = data

            # zero the parameter gradients
            optimizer.zero_grad()

            # forward + backward + optimize
            outputs = net(inputs)
            loss = criterion(outputs, labels)
            loss.backward()
            optimizer.step()

            # print statistics
            running_loss += loss.item()
            if i % 2000 == 1999:
                loss = running_loss / 2000
                print(f"epoch={epoch + 1}, batch={i + 1:5}: loss {loss:.2f}")
                running_loss = 0.0

    print("Finished Training")

3 first.

Bạn sẽ thấy một liên kết trong cửa sổ thiết bị đầu cuối mở ra. Chọn liên kết để xem công việc.Metrics tab where you can now see live updates on the model training loss! It may take a 1 to 2 minutes before the training begins.

Ghi chú

Bạn có thể thấy một số cảnh báo bắt đầu với thất bại trong khi tải azureml_run_type_providers .... bạn có thể bỏ qua những cảnh báo này. Sử dụng liên kết ở dưới cùng của các cảnh báo này để xem đầu ra của bạn.

Xem đầu ra

Trong trang mở ra, bạn sẽ thấy trạng thái công việc. Lần đầu tiên bạn chạy tập lệnh này, Azure Machine Learning sẽ xây dựng hình ảnh Docker mới từ môi trường Pytorch của bạn. Toàn bộ công việc có thể mất khoảng 10 phút để hoàn thành. Hình ảnh này sẽ được tái sử dụng trong các công việc trong tương lai để làm cho chúng chạy nhanh hơn nhiều.

Ghi chú

Bạn có thể thấy một số cảnh báo bắt đầu với thất bại trong khi tải azureml_run_type_providers .... bạn có thể bỏ qua những cảnh báo này. Sử dụng liên kết ở dưới cùng của các cảnh báo này để xem đầu ra của bạn.

Xem đầu ra

Trong trang mở ra, bạn sẽ thấy trạng thái công việc. Lần đầu tiên bạn chạy tập lệnh này, Azure Machine Learning sẽ xây dựng hình ảnh Docker mới từ môi trường Pytorch của bạn. Toàn bộ công việc có thể mất khoảng 10 phút để hoàn thành. Hình ảnh này sẽ được tái sử dụng trong các công việc trong tương lai để làm cho chúng chạy nhanh hơn nhiều.

programming python Simple machine learning Learn machine learning Machine learning Train test split

Hướng dẫn how to train machine learning model in python - cách đào tạo mô hình học máy trong python

Hướng dẫn: Đào tạo mô hình học máy đầu tiên của bạn (SDK V1, Phần 2 trên 3)

Trong bài viết này

Điều kiện tiên quyết

Tạo kịch bản đào tạo

Kiểm tra cục bộ

Tạo môi trường Python

Tạo tập lệnh điều khiển

Hiểu các thay đổi mã

Gửi việc chạy đến Azure Machine Learning

Xem đầu ra

Số liệu đào tạo đăng nhập

Sửa đổi Train.py để bao gồm ghi nhật ký

Hiểu thêm hai dòng mã

Cập nhật tệp môi trường Conda

Gửi việc chạy đến Azure Machine Learning

Ghi chú

Xem đầu ra

Bài Viết Liên Quan

Quảng Cáo

Có thể bạn quan tâm

Toplist được quan tâm

Quảng cáo

Xem Nhiều

Quảng cáo

Chúng tôi

Điều khoản

Trợ giúp

Mạng xã hội