手机摄影的历史转折点: 从光学系统到人工智能

关于写手机摄影的历史可以说太多了. 这是从30万像素VGA时始的历史. 过去几年中，手机相机的发展趋向于促进图像传感器和光学系统的发展. 允许相同尺寸的图像传感器容纳更多像素是技术进步，还是背光照明和堆叠结构的出现，以及镜头在控制像差的同时减小尺寸的努力.

但是，在过去的一两年中，手机摄影的发展已从图像传感器和光学系统转向了另一条跑道: 计算摄影（计算摄影），ISP（图像处理引擎）和神经网络单元正在拍照. 该领域的地位从未如此突出.

堆的方向改变了

通常认为，如果要拍摄一张好照片，则必须使CIS变大. 但是，移动电话的轻薄性受到限制，并且不能像照相机那样无法控制地增大体积和厚度. 成像领域的工程师们仍在尽力在尽可能小的空间内装满尽可能多的CIS. 从早期的1/4英寸发展到今天的1 / 2.x英寸甚至1 / 1.x英寸（例如，最近炙手可热的三星ISOCELL Bright HMX的实际像素为1.08亿，而传感器的尺寸最大为1 /1.33英寸），光学系统开始以各种方式进行“光学”缩放.

普通消费者通常期望手机摄影更接近单反和微型单反，至少第一眼的差）； 2.无法实现远距离拍摄（无法缩放）； 3.无法呈现较浅的景深（背景模糊，突出屏幕主体的能力较弱）.

这是计算摄影的基础. 因此出现了更有趣的发展方向. 例如，三星Galaxy手机通常不会改变CIS，但仍然可以具有更高的拍摄强度. 在计算摄影领域表现最为出色的Google现已开发出Night Sight夜间拍摄模式，以增强在弱光条件下拍摄的能力，并且还将这项功能转移到了第一代Pixel手机上，即使代电话不支持光学图像稳定. 所有这些充分表明，当代手机摄影走了与过去完全不同的道路.

响应多镜头多帧合成和各种对齐算法，移动电话中的ISP单元从未如此重要. ISP单元是手机SoC的重要组成部分，用于拍摄相机后进行测光，对焦和数据处理. 过去两年中，芯片制造商还大力提升了ISP的性能.

例如，联发科新发布的“天极1000” ISP支持3200万+ 1600万双，或高达8000万像素（似乎已经软升级为支持1.08亿像素），并且动态捕获能力可以达到以120 fps的速率捕获1600万像素，或以24 fps捕获完整的8000万像素. 此外，它还包括实时HDR，PDAF聚焦，3D数字降噪等，而高通公司的Snapdragon 865则据称可支持2亿像素（应该是1.08亿像素的双镜头）. 这实际上是现代手机相机. 进行的硬件基础之一.

但是，联发科有一个关键点，即“天极1000”目前是第一款具有5核ISP的芯片. 当然，这也是从手机上拍摄照片的痛苦点，包括夜间拍摄难以对焦，并且照片或视频拍摄的动态范围还不够. 弱光拍摄时会产生很多噪音. 不难理解，现在照相手机的堆叠越来越偏向于ISP和人工智能部门，而不是单个图像传感器.

人工智能的无声摄影革命

Google Pixel 2手机在当时并没有继续成为主流手机拍照图像形成流程，而是在CIS，相机和光学系统的数量上进行了努力，但是在手机内部添加了Google自行开发的Pixel Visual Core，专门执行AI相关图像. 在处理工作上，这一步骤还使Pixel 2拍摄的照片一度成为DxOMark列表冠军. 但是，这项技术已被华为成功继承.

响应计算摄影，ISP并不止渴. 例如，联发科天极1000还专门集成了APU 3.0，以加速神经网络执行. 在机器学习的早期发展中，最重要的应用之一就是拍照. 人工智能一直以一种微妙的方式影响着手机摄影，这可能不会被很注意到.

拍摄照片时AI可以做什么？机器学习实际上可以涵盖拍照的整个过程，包括自动白平衡，对焦，测光，甚至防抖和拍照后操作-当执行这些任务时，AI计算单元往往比ISP更了解您，或更准确地说. 这是一些示例.

过去两年中，Adobe和麻省理工学院（MIT）建立了一个包含5000张照片和训练有素的神经网络的数据集. 里面的每张照片实际上都是在后期由摄影师进行修饰的，具有很好的外观和感觉. 然后，Google和MIT使用这些数据构建算法，然后机器学习了这些照片是如何执行“ PS”的. 例如，在此调整亮度，并在此处降低饱和度. 通过这种机器学习，构建算法-当您按下快门时，手机的AI单元会实时执行特殊的“自定义”优化. 每个人都是摄影大师.

原始图像（左）与新算法处理的图像（右）的比较. （图片/网络）

计算摄影的另一个示例: 使用手机的陀螺仪和光学图像稳定传感器在视频拍摄期间获取动态源数据，然后剪切动态图片. 结合基于视觉跟踪的软件解决方案，借助硬件，还可以达到图像稳定的效果. 这也是许多手机实现防抖的基础. 当场景本身非常复杂且包含很多深度级别时，视觉分析可以大大减少处理痕迹. 该效果远优于光学防抖机制本身.

这是Google开发的一种防抖算法，将软件，硬件和机器学习结合在一起. 以上两个案例是AI悄悄优化拍摄体验和照片质量的研究成果;无论它们是否普及，至少都需要手机SoC内的APU单元来进行计算加速.

手机摄影的不同发展方向

以暗光下的动态拍摄为例-对于大多数手机来说，这是拍摄场景的绝杀. 我记得联发科曾提到过“真正的AI摄像机”的概念. 我还写了一篇文章来解释它. 实际上，它是三个元素的组合: 大像素图像传感器，强大的ISP处理能力和出色的AI性能. . 大像素可以增加光通量并获得更多信息；强大的ISP有助于噪声抑制和多帧合成对齐； AI进一步有助于图片的外观和感觉. 拍摄不褪色，夜间不弄脏且外观漂亮的照片需要花费很多精力.

这是计算摄影的典型应用，其中ISP和AI如上所述，并且仍有很大的发展潜力. 更有趣的是，原始成像技术的发展曾经是相机领域中的第一个，然后又落到了手机相机上. 但是计算摄影，尤其是AI技术在手机摄影中的应用并非如此. 而且这些技术也很有可能从下而上出现“逆流”.

CIS的技术发展和技术进步从未达到摩尔定律，而且它总是比CPU / GPU等组件慢得多，因此SLR和微型单反相机可以战斗几年. 但是，当成像技术开始集成到AI中时，作为当今半导体领域的核心组件的APU会按照摩尔定律进行迭代手机拍照图像形成流程，那么移动成像是否开辟了自己的独特方式？

ISOCELL Bright HMX 108MP MediaTek说的真正的AI摄像机是什么？

本文来自电脑杂谈，转载请注明本文网址：
https://www.pc-fly.com/a/ruanjian/article-170164-1.html