Google如何在Pixel 5上创建人像灯光效果？
在过去的一两年里，我们已经多次听到计算摄影这个词。
说到计算摄影，人们自然会想到谷歌的Pxiel系列手机。这个系列可以说是计算摄影的先锋，为我们揭示了计算摄影的力量和魅力。
正是因为计算摄影带来的力量如此惊人，这两年逐渐回归品味的手机厂商终于一头扎进去了。这个时候谷歌已经在玩更多的花了。
“人像光效”原本是这一代Pixel在今年10月Google发布Pixel 4aPixel 5时的专属功能。但是前几天谷歌更新了相机和相册应用，把这个功能委托给了Pixel 2之后的用户。
受人像摄影师使用的摄影灯的启发，“人像灯光效果”可以对光源进行重新定位和建模，然后将新的光源添加到照片的场景中。并且还可以识别初始光照的方向和强度，然后自动补充光照情况。
如此强大的计算摄影功能，自然离不开神经网络的机器学习能力。手机人像光效模式拍摄的照片经过数据库训练后，后期的“人像光效”能力启用了两个新算法：
自动添加合成光源：对于给定的人像照片，算法合成后添加到外部光源，与现实中摄影师的光照一致。
构图后再照明：对于给定的照明方向和人像照片，以最自然的方式添加构图光。
首先，第一个问题是确定光源的位置和添加。在现实中，摄影师通常利用经验和感性来观察光线落在摄影师脸上的强度和位置，进而决定如何发光。但是对于AI来说，要确定现有光源的方向和位置并不容易。
所以Google采用了全新的机器训练模型——全方位光照轮廓。这种新的光照计算模型可以使用人脸作为光检测器，从而从所有光照中推断光源的方向、相对强度和颜色，还可以通过另一种面部算法估计照片中头部的姿态。
虽然听起来很高，但是实际训练模型的演示效果还是挺可爱的。它会把人的头部看成三个圆形的银色球形物体，顶球的“纹理”是最粗糙的，用来模拟光线的漫反射。中间的球也是磨砂的，用来模拟聚光光源。底球是镜面“纹理”，用来模拟更平滑的镜面反射。
另外，每一个球体都可以根据自身的特点来反映环境照明的颜色、强度和方向性。
这样谷歌就可以找到合成后的光源应该在哪里。例如，经典人像光源位于视线上方30，与相机轴成30到60之间。谷歌也遵循这个经典规则。
了解了人像添加光源的方向后，接下来就是如何让添加的光源更加自然。
前一个问题有点像《九剑独行》的剑谱。学完之后会做一些固定的题目。要解决后一个问题，就要让“独孤九剑”尽可能的战斗，融合不同的实际情况，然后学会破解世间各种武功。
为了解决这个问题，Google开发了另一种新的训练模型，用于确定在原始照片中加入了自导向光源。一般情况下，这个模型是无法用现有的数据训练出来的，因为它无法面对近乎无限的光线照射的情况，必须与人脸完美匹配。
为此，谷歌创造了一个专门用于训练机器学习的设备——，一个球形的“笼子”。该装置有64个不同视角的摄像头和331个可单独编程的发光二极管光源。
如果你去过杜比影院，在杜比影院的预演中有一个环节，声音在半球形穹顶中移动，模拟现实中几乎无限的方向。Google其实也是类似的设备。
通过不断改变光照的方向和强度，模拟复杂光源，可以得到人的头发、皮肤和衣服的反射光数据，进而得到复杂光源下的光照应该是怎样的。
谷歌邀请了70个不同的人，用不同的特征，如脸、头发、肤色、衣服和配饰来训练这个模型。这就保证了合成光源能够最大程度的与现实相匹配。
另外，Google并不直接通过神经网络模型输出最终的图像，而是让神经网络模型输出分辨率较低的商图像。
这里我们解释一下什么是商像。一张图片可以分为两层：底层和细节层。底层包含图像的低频信息，大尺度上反映图像的强度变化；细节层包含图像的高频信息，在小尺度上反映图像的细节。底层乘以细节层就是源图像，细节层也可以称为商图像。
然后，通过原始图像的底层，在采样期间向输入商图像的数据添加额外的光源，并且可以获得最终的输出图像。
最后的流程是这样的：先给出一张图片，然后计算图片中人物的表面法线，再计算图片中的可见光光源，通过神经网络模型模拟额外的光源输出分辨率较低的商数图像，再乘以原始照片的底层作为细节层，最后得到一张额外光源的人像照片。
Google也优化了很多流水线，让模拟的光效可以在手机上实时交互，但是整个模型的大小只有10MB左右。
Pixel 5的人像灯光效果可以说是谷歌计算摄影的典型案例。通过对神经网络模型的不断训练，手机可以模拟现实中的人像照明。计算摄影的新应用场景已经完成。
有人说摄影是艺术，计算摄影从根本上是对摄影的侮辱。但自从1839年法国达盖尔制造出第一台实用相机以来，相机从少数人走向大众已经有一百多年了，直到手机相机的诞生，让每个人都有了几乎平等的拍照机会。而人的内心表达使得摄影艺术逐渐丰富。
没错，计算摄影也是在“摄影”的同时“计算阴影”，但算法早已是移动摄影不可分割的一部分，他们追求的依然是模拟现实中可以达到的效果。毕竟，没有人会称之为“魔术换天堂”的计算摄影。
当苹果和谷歌在计算摄影上越走越远的时候，我们发现算法其实是比硬件更强的屏障。
#欢迎关注爱发儿官方微信微信官方账号：爱发儿(微信号：ifanr)。更精彩的内容会尽快呈现给你。