基于CNN的HDR重建(一 多帧的)

这篇文章简要叙述2017-2018 几篇HDR相关的论文，尤其基于CNN的HDR。

对于动态场景来说，从一组不同曝光的图像中生成高动态范围(HDR)图像是一个具有挑战性的过程。

这个问题可以分为两个阶段:1)对齐输入的LDR图像，2)合并对齐的图像到HDR图像。

方法主要分为两类：一种直接基于LDR对齐融合，一种是先通过相机响应函数线性化这些输入图像（一般就是一个单调的非线性函数），将LDR图像转为HDR域，然后在HDR域进行融合得到HDR图像。另图像，即过曝光以及欠曝区域减弱）。

目录

1

2

3

4

CNN单帧：基于CNN的HDR重建(二 单帧的)

1 Deep High Dynamic Range Imaging of Dynamic Scenes

现有HDR技术首先将输入图像对齐到参考图像，然后将对齐的图像合并得到HDR图像。然而，在最终的HDR图像中，对齐的artifact通常以重影和撕裂的形式出现。而该论文发现，在合并期间，对齐的artifact可以显著减少，它需要检测带有artifact的区域，并将它们从最终结果中排除。因此该论文也主攻融合这一块，靠融合解决artifact，作者采用CNN进行融合, 论文强调基于学习的系统能够通过检测这些区域并将它们从最终结果中排除包围曝光hdr，从而生成高质量的HDR图像。

本文三大贡献：

1提出了第一种基于机器学习的方法，用于从一组曝光包围的动态场景下的LDR图像重建HDR图像动态场景的HDR图像（创意在于采用了CNN），流程见上图。

2 展示三种不同的系统架构并对它们进行广泛的比较，充分地探讨本文提出的融合方法。

以上两张图片只是供大家娱乐，因为o-band智能手环和小米手环主打风格和部分功能不一样，所以我也不想多谈，两者有相互值得学习和借鉴的地方，比如o-band智能手环的显示功能值得小米学习，而小米的腕带固定同样值得o-band学习。但我们操作的项目来看，它们这种方式也许并不适合，就像我们所说的：只选对的，不选贵的但是简约明了、主题突出、大气自然的文案和版面风格是值得我们学习和借鉴的。现在很多90后白手起家的企业家创业故事很值得年轻人借鉴学习,我们90后怎么赚钱白手起家创业呢,白手起家的成功人士富豪有哪些人,有哪些适合白手起家创业的点子适合年轻创业者去做呢。

一．整个HDR重建流程和主要思想

1 ）预处理：输入的LDR图像可以是动态的场景，它们之间有相当大的运动（其实主要是前景运动场景），作者先通过伽玛校正把图像映射到一个更接近我们眼睛感知的区域（场强域），注意，这个过程将原始CRF替换为伽马曲线，伽马曲线用于将图像从LDR映射到HDR域，反之亦然。

2）对齐：对齐的方法很多，去不一致性，基于特征匹配等，这里作者采用光流法进行对齐。

3）融合：提出并比较三种不同的系统架构来建模HDR合并过程，其中作者提到，通常，我们需要在LDR和HDR域中对齐图像来测量它们的质量，LDR域内的图像是检测噪声区域或饱和区域所必需的。例如，一个简单的规则是考虑所有较小的像素（小于0.1）以及较大的像素（大于0.9）分别代表噪声和饱和区域。此外，HDR域内的图像可以通过测量与参考图像的偏差量等方法来帮助检测对齐问题。因此输入既需要LDR还需要HDR域图像。

二：数据集

我们通过提出一种创建一组具有运动的LDR图像及其对应的地面真值图像的方法来解决这个问题，具体地说，我们使用从静态场景中捕获的三张带括号的曝光图像生成ground truth HDR图像。然后，我们捕捉另一组三个包围的曝光图像的同一场景的运动。最后，我们用静态图像代替动态图像中的中等曝光图像。我们用这种方法创建了一个包含74个训练场景的数据集，并通过数据扩充对其进行了扩展。

其样本值得低级图像处理任务借鉴。我们要求受试者保持静止，在三脚架上捕捉三个曝光包围图像，然后将它们组合起来生成地面真值图像。我们还要求受试者移动并捕捉另一组曝光包围图像。我们通过从这个动态集合中获取高曝光和低曝光的图像，以及从静态集合中获取中曝光的图像来构建我们的输入集合。采用这种数据集可以学习融合具有前景运动的场景图像。

，会对图像中的事物进行一些简单的判别，比如识别人脸，对静态事物的图像采集也能让机器人辨别障碍物，或者计算出静态事物的大致几何图形甚至尺寸，对动态事物的图像采集，机器人可以计算出动态事物的运动轨迹甚至速度。而佳能eos 7d mark ii搭载的2020万像素的cmos图像传感器，不仅为佳能eos 7d mark ii提供了超高分辨率的图像画质，还为其提供了更加细腻的图像层次感和色彩还原。视音频采集：在保证实时性和图像质量的前提下，由于采用成熟的mpeg4/h.264图像解码技术能够传输高清晰的图像，图像可达到4/8/12/16/32路同步视音频采集、压缩、存储、网络传输、播放,标准分辨率352×288最高清晰度可达704×576实时，传输速率可以在1-25帧/秒间根据网络情况自适应变化。

2 Deep High Dynamic Range Imaging with Large Foreground Motions

该论文利用Deep High Dynamic Range Imaging of Dynamic Scenes提供的数据集设计了一个端到端的HDR重建网络，该论文认为网络也可以具有对齐功能，因此只是简单地采用单映射将输入图像进行背景对齐。然后直接输入三张LDR图像，输出HDR图像。

对齐问题涉及到前景运动和背景运动，即全局运动和局部运动，而且这些运动也是不可避免的，而全局运动的问题通过一些变换可以解决，局部运动则不好解决。因此解决这个问题的许多现有解决方案都倾向于在最终的HDR映像中引入工件或重影，或仅将未对齐区域中的像素作为离群值剔除，未能合并未对齐的HDR内容。

该论文将HDR成像问题表述为图像转换问题。框架本质上是一个对称的编码器-架构，有两个变体，Unet和ResNet。

整个操作流程：

1 预处理，LDR+HDR:作者根据上一篇论文，通过辐射校准获得HDR域图像，这里作者采用伽马校正来近似。这样输入包含3张LDR图像和3张HDR域图像，并且为了使HDR域图像的强度相同，作者将转换得到的HDR域图像除以相应的系数，这里系数由曝光值得到，曝光值采用相对值（0，2，4）或者（0，3，6），这样使得HDR域图像尽量强度接近。对齐：作者会简单的将背景对齐一下，单应性可能不会产生完美对齐的一个特殊情况是饱和区域存在视差效应。最终的HDR输出可能比较模糊。

2 网络结构：U-Net等一般图像转换采用的网络结构，或者残差网络。

包围曝光hdr，配套一个asic或dsp进行编码压缩和传输，这类方案相对高端，由于采用成像模组，原始图像效果好，所以整个ipc产品的效果很大部分取决于配套压缩传输模块的效果，主要的指标是压缩后图像的清晰度和实时性，一般中、高端方案采用此架构。根据本发明一各方面的图像识别装置，作为块图像的特征量，不仅采用根据该块图像的图像信息算出的局部特征量，还采用根据对象图像整体的图像信息算出的整体特征量，所以不仅能利用块图像其本身的信息还可以考虑块图像与对象图像之间的关系而对块图像进行分类。以及判别块图像是否被分类为类别的类别判别部，特征量计算部采用该块图像的局部特征量以及对象图像整体的整体特征量，并且在以块图像的多个特征为坐标轴的第2特征量空间中，采用组合多个局部特征量而成的特征量矢量的坐标位置和第2特征量空间的一个或多个任意区域，在整体特征量中包含对具有属于区域的特征量矢量的块图像按照每个区域进行计数后得到的块图像的数量。

PS：

图像下采样的方法，将相位相关法的配准精度由像素级推广到亚像素级鲫。传统的lcd屏的一个像素由红绿蓝三个亚像素组成，而sa屏的一个像素则可以看成由一个红色和一个绿色或者一个蓝色和一个绿色的亚像素组成以减小子像素个数达到以低分辨率去模拟高分辨率的效果，所以当sa想要呈现一个白色的时候，那个由红色和绿色组成的像素点就需要借用旁边那个像素点钟的蓝色，而另一半不发光的绿色就会形成锯齿状的亚像素边缘，聚集起来就变成了大家说的“颗粒感”了……再者，由于sa屏中绿色的亚像素多的原因，sa屏在色彩还原度方面要较tft差一些，画面的整体效果要偏鲜艳明亮，不够柔和。视野大小我们可以设定为20mm*12mm（考虑每次机械定位的误差，将视野比物体适当放大），假如能够取到很好的图像（比如可以打背光），而且我们软件的测量精度可以考虑1/2亚像素精度，那么我们需要的相机分辨率就是20/0.01/2=1000pixcel（像素），另一方向是12/0.01/2=600pixcel，也就是说我们相机的分辨率至少需要1000*600pixcel，桢率在10桢/秒，因此选择1024*768像素（软件性能和机械精度不能精确的情况下也可以考虑1280*1024pixcel），桢率在10桢/秒以上的即可。

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/shumachanpin/article-108911-1.html