如何使用GAN拯救你的低分辨率老照片

如何用GAN保存你的低分辨率老照片，针对这个问题，本文详细介绍了相应的分析和解决方法，希望能帮助更多想要解决这个问题的小伙伴找到更简单更容易的方法。

1 项目背景

了解GAN的人都知道，GAN擅长捕捉概率分布，因此非常适合图像生成任务。在拍摄和传输图片和视频的过程中，我们经常会对图像进行压缩，导致图像的分辨率较低。此外，设备早些年拍摄的照片也存在分辨率低的问题，比如十年前的分辨率为320*240。为了解决这个问题，有必要使用图像超分辨率技术。

我们用GAN来完成图像超分辨率的任务，需要做的准备工作包括：

(1) Linux系统还是windows系统，使用Linux更有效率。

(2)安装的Pytorch需要进行GPU训练。

2 原理简介

图像超分辨率任务的输入是低分辨率图像，输出是分辨率提高的图片。以下是常见的框架图[1]:

该框架首先通过插值方法对输入图进行上采样，然后利用卷积层学习输入。这种框架的缺点是计算成本相对较高，因为整个网络运行在高分辨率的图上。

随后，研究人员提出在网络后端放大分辨率，扩大通道数量，然后重新分配以获得高分辨率图像。这个操作叫做(PixShuffle)[2]，这样整个网络的大部分计算都是在低分辨率图像上进行的，如下图所示：

以上构成了图像超分辨率的基本思想。之后，研究者将GAN纳入超分辨率框架[3]，实际上增加了对抗损失，同时用我们常说的感知损失代替了重建的MSE损失。

至于各种超分辨率框架的具体原理，可以搬到有三个AI知识的星球，也可以自己学习。由于这是一个实用的专栏，我们将不完整地介绍原理。

3 模型训练

超分辨率重建任务的大部分数据集是通过从高分辨率图像下采样获得的。论文中经常选择ImageNet数据集。因为我们打算在这里还原人脸的清晰度，所以我们选择了一个常用的高清人脸数据集CelebA-HQ，它发布于2019年，包含了3万张不同属性的高清人脸图像，其中图像大小都是10241024。预览如下。

接下来，我们解释代码：

3.1 数据预处理

图像超分辨率数据集往往是从高分辨率图像中采样得到低分辨率图像，然后形成图像对进行训练。以下是训练和验证集中数据处理的核心代码：

# #训练集高分辨率地图预处理功能。

def train_hr_transform(裁剪大小):

返回撰写([

随机作物(作物_

size),

        ToTensor(),

])

## 训练集低分辨率图预处理函数

def train_lr_transform(crop_size, upscale_factor):

    return Compose([

        ToPILImage(),

        Resize(crop_size // upscale_factor, interpolation=Image.BICUBIC),

        ToTensor()

    ])

## 训练数据集类

class TrainDatasetFromFolder(Dataset):

    def __init__(self, dataset_dir, crop_size, upscale_factor):

        super(TrainDatasetFromFolder, self).__init__()

        self.image_filenames = [join(dataset_dir, x) for x in listdir(dataset_dir) if is_image_file(x)] ##获得所有图像

crop_size = calculate_valid_crop_size(crop_size, upscale_factor)##获得裁剪尺寸

        self.hr_transform = train_hr_transform(crop_size) ##高分辨率图预处理函数

        self.lr_transform = train_lr_transform(crop_size, upscale_factor) ##低分辨率图预处理函数

##数据集迭代指针

    def __getitem__(self, index):

        hr_image = self.hr_transform(Image.open(self.image_filenames[index])) ##随机裁剪获得高分辨率图

        lr_image = self.lr_transform(hr_image) ##获得低分辨率图

        return lr_image, hr_image

    def __len__(self):

        return len(self.image_filenames)

## 验证数据集类

class ValDatasetFromFolder(Dataset):

    def __init__(self, dataset_dir, upscale_factor):

        super(ValDatasetFromFolder, self).__init__()

        self.upscale_factor = upscale_factor

        self.image_filenames = [join(dataset_dir, x) for x in listdir(dataset_dir) if is_image_file(x)]

关于如何使用GAN拯救你的低分辨率老照片问题的解答就分享到这里了，希望