use ignite for exp2
This commit is contained in:
@@ -3,9 +3,10 @@ import numpy
|
||||
import torch
|
||||
from torch.utils.data import DataLoader, Dataset
|
||||
from torchvision.transforms import v2 as tvtrans
|
||||
import settings
|
||||
|
||||
class MnistDataset(Dataset):
|
||||
"""用于加载Mnist数据的自定义数据集"""
|
||||
"""适配PyTorch的自定义Dataset,用于加载MNIST数据。"""
|
||||
|
||||
shape: int
|
||||
transform: tvtrans.Transform
|
||||
@@ -29,15 +30,14 @@ class MnistDataset(Dataset):
|
||||
return self.shape
|
||||
|
||||
|
||||
class MnistDataSource:
|
||||
"""用于读取MNIST数据的数据读取器"""
|
||||
class MnistDataLoaders:
|
||||
"""包含适配PyTorch的训练数据Loader和测试数据Loader的类。"""
|
||||
|
||||
train_loader: DataLoader
|
||||
test_loader: DataLoader
|
||||
|
||||
def __init__(self, batch_size: int):
|
||||
dataset_path = Path(__file__).resolve().parent.parent / 'datasets' / 'mnist.npz'
|
||||
dataset = numpy.load(dataset_path)
|
||||
dataset = numpy.load(settings.MNIST_DATASET_PATH)
|
||||
|
||||
# 所有图片均为黑底白字
|
||||
# 6万张训练图片:60000x28x28。标签只有第一维。
|
||||
@@ -50,16 +50,19 @@ class MnistDataSource:
|
||||
# 定义数据转换器
|
||||
trans = tvtrans.Compose([
|
||||
# 从uint8转换为float32并自动归一化到0-1区间
|
||||
# YYC MARK: 下面这个被标outdated了,换下面两个替代。
|
||||
# tvtrans.ToTensor(),
|
||||
tvtrans.ToImage(),
|
||||
tvtrans.ToDtype(torch.float32, scale=True),
|
||||
|
||||
# 为了符合后面图像的输入颜色通道条件,要在最后挤出一个新的维度
|
||||
#tvtrans.Lambda(lambda x: x.unsqueeze(-1))
|
||||
# YYC MARK: 上面这两步已经帮我们自动挤出那个灰度通道了。
|
||||
# tvtrans.Lambda(lambda x: x.unsqueeze(-1))
|
||||
|
||||
# 这个特定的标准化参数 (0.1307, 0.3081) 是 MNIST 数据集的标准化参数,这些数值是MNIST训练集的全局均值和标准差。
|
||||
# 这种标准化有助于模型训练时的数值稳定性和收敛速度。
|
||||
#tvtrans.Normalize((0.1307,), (0.3081,)),
|
||||
# YYC MARK: 但我不想用,反正最后训练的也收敛。
|
||||
# tvtrans.Normalize((0.1307,), (0.3081,)),
|
||||
])
|
||||
|
||||
# 创建数据集
|
||||
@@ -69,9 +72,9 @@ class MnistDataSource:
|
||||
transform=trans)
|
||||
|
||||
# 赋值到自身
|
||||
self.train_loader = DataLoader(dataset=train_dataset,
|
||||
batch_size=batch_size,
|
||||
shuffle=False)
|
||||
self.test_loader = DataLoader(dataset=test_dataset,
|
||||
batch_size=batch_size,
|
||||
shuffle=False)
|
||||
self.train_loader = DataLoader(dataset=train_dataset,
|
||||
batch_size=batch_size,
|
||||
shuffle=False)
|
||||
self.test_loader = DataLoader(dataset=test_dataset,
|
||||
batch_size=batch_size,
|
||||
shuffle=False)
|
||||
|
||||
Reference in New Issue
Block a user