一种AI算法可以代替手机图像处理器，让手机拍摄单反的味道| ETHZ最新研究

2月27日13:15

摄影已经是手机的最大卖点单反影像处理器，主要制造商在DxO，1亿像素，超级夜景，光学变焦...上越来越有趣.

但是，不同手机的材质不同. 一方面，镜头模块不同，另一方面，图像处理器（ISP）的软件调整也不同.

最近，苏黎世联邦理工学院（ETHZ）提出了一种新算法PyNet，该算法可以用单个端到端深度学习模型代替手机ISP.

其调整后的算法可以从一部手机移植到另一部手机，而无需使用手机的ISP. 即使两个手机芯片来自两个制造商，也没有问题.

将华为P20和SLR相机5D Mark IV调整后的算法移植到BlackBerry KeyOne中，与原始ISP输出相比，照片质量得到了大大改善.

华为P20使用麒麟970芯片+ 12百万像素IMX 380相机，而BlackBerry KeyOne使用Snapdragon 625 + 12百万像素Sony IMX 378相机.

目前，PyNET源代码，数据集和预先训练的模型已在GitHub上发布.

PyNET原则

按下快门后，手机会在不到一秒钟的时间内输出图片，但是后面的过程非常复杂.

在手机上拍照时，第一个输出是未经任何修改的原始光敏信息文件RAW.

RAW经过专门用于在手机SoC中计算图像的ISP中的一系列处理单反影像处理器，并将原始的暗淡原始图像转换成漂亮的结果.

这些过程包括: 消除噪音，校正白平衡，调整曝光，校正色彩对比度，超分辨率等.

现在，越来越多的手机开始使用NPU等AI内核，并且AI计算功能越来越强. 将来可以使用NPU代替ISP进行图像计算吗？这是ETHZ研究人员的想法.

研究人员首先在与训练数据集相同的场景中收集了由华为P20拍摄的20,000张原始RAW照片和由佳能SLR 5D Mark IV拍摄的照片.

但是，原始尺寸图像未在训练过程中使用，但从图像中选择了448×448的窗口. 最终生成了48043个RAW-RGB图像对.

为了能够对原始尺寸的图片使用较小比例的训练结果，PyNET使用了层次结构.

以下是PyNET的网络体系结构. 该模型具有倒金字塔形状，可以处理五个不同级别的图像.

PyNET体系结构具有多个块，这些块与大小不同（从3×3到9×9）的卷积滤波器并行处理特征图，然后级联相应卷积层的输出.

在较小尺度下获得的输出将由转置的卷积层上采样，与高级特征图堆叠在一起，然后在后续的卷积层中进行处理.

PyNET从最低层开始，并按顺序训练模型. 首先以较低的比例获得良好的图像重建结果，该结果用于处理分辨率非常低的图像并执行全局图像操作.

在对底层进行预训练之后，对下一级别应用相同的步骤，直到对原始分辨率图像进行训练为止.

由于每个高层都从模型的下部获得高层的高质量特征，因此它主要学习重建缺失的高层细节并改善结果.

培训后，将华为P20拍摄的RAW原始图像移交给PyNET进行处理，这些图像不会失去华为自有ISP的处理效果.

在Mechanical Turk平台上的手动评分显示，使用PyNet处理的图片的外观和感觉要优于P20的直线效果.

安装和培训

PyNET是使用TensorFlow实现的. 需要安装SciPy，NumPy，图像和枕头. GPU也必不可少，因为在训练过程中使用了CUDA和cuDNN.

此外，您需要下载预先训练的VGG-19，PyNet模型和RAW-RGB图像对数据集.

作者建议在具有16GB显存的V100 GPU上训练模型.

如果您没有强大的计算资源，也可以在开源代码中使用dng_to_png.py将RAW转换为PNG格式的图片，但是您使用的是官方的P20和佳能SLR培训结果.

论文地址:

源代码:

在今天晚上8点的第一门课程中，NVIDIA专家将分享如何构建和部署NVIDIA迁移学习工具包，调用预先训练的网络模型以及结合Deepstream来实现实时目标检测的方法.

实时注册|图像和视频处理课程

在家学习编程|柯基程序设计双老师互动课

在流行病的预防和控制中，家里的孩子有些无聊吗？

推荐给7-12岁的孩子，这很有趣，很有趣: 在家学习编码. 这是改善逻辑思维，数学思维和计算思维的绝佳方法.

本文来自电脑杂谈，转载请注明本文网址：
https://www.pc-fly.com/a/shumachanpin/article-173134-1.html