五花八门的APP让人像修图越来越简单，磨皮、美白、亮肤都可以一键处理。
不过，如果把原片拍成这样，各类APP可能就无能无力了。
图片中人脸被大面积的阴影覆盖，如果不想放弃原图，只能用Photoshop等专业的修图软件处理。
不过，对于小白来说，Ps等软件有一定技术难度，而且操作步骤复杂，那么有没有一种简单，对小白友好的处理方法呢？
近日，来自伯克利，麻省理工学院和Google Research的研究人员声称，他们研发出一款最新AI算法，无需Ps，在几秒内中就可以精准去除图像中的“不需要”的阴影部分，而且对于面部图像的处理尤为适用。
AI修图神器
如果打开手机相册，你会发现户外自拍照或多或少都会存在阴影问题，这是光线位置、自拍角度和周围环境等因素造成的，比如在强光照下，周围树木、建筑，或者头戴的帽子都可能在面部形成阴影。
不过，并不是所阴影都需要全部去除，比如头发、五官的阴影会让照片看起来更加自然美观。
由伯克利，麻省理工学院和Google Research组成的研究团队称，他们开发的基于神经网络的AI模型不仅可以去除面部阴影，还可以准确识别哪些是需要处理的阴影，并自动完成补光。
我们先来看一组实验对比图。
可以看到，该AI算法的修复效果还是非常显著的。原图中，人脸的三分之二全部被阴影覆盖，修复后，阴影被大面积去除，而且基本保持了人像的原貌，看不出任何图片修复过的痕迹。
另外，我们看到脸颊侧面，眉骨下面的阴影被适度保留了。下面这幅实验效果图更为显著，阴影被适度去除，并且增加了一定的光感。
研究人员称，他们实验发现，这项识别并去除阴影的AI算法在人像处理方面表现最佳，未来几年，这项技术可能会被广泛应用到智能手机中，帮助用户轻松处理复杂的修图问题。
那么这项技术是如何做到呢？
研究人员称，其方法主要依赖于一对神经网络，一个是去除外部物体投射的外界阴影（Foreign Shadows），另一个是柔化由对象特征投射的面部阴影（Facial Shadows），并添加合成补光来提高照明率。在此框架的基础上，通过以下具体技术实现达成了图像修复效果：
大规模训练数据集：用于训练和评估针对异物阴影，面部阴影和虚拟补光的机器学习模型。
对称面部图像生成：用于显式编码对称提示，以训练面部阴影模型。
研究人员强调，他们的数据和模型获得的肖像增强效果，在数字指标和感知质量方面均优于所有基线方法。
接下来，我们来详细介绍具体的技术原理和实验结果。
外界阴影&面部阴影
需要说明的是，图像中阴影的检测和去除一直是计算机视觉研究的中心问题，传统的解决方案需要手动标记图像中的“阴影”或“亮”的区域，然后通过全局优化技术（例如图形切割）来解决阴影问题。显然这种手动方式在很大程度上限制了技术的适用性。
而本次研究的AI算法利用机器学习模型，实现了全自动化的阴影检测和处理。如上文所说，这套算法解决方案分为两个部分：一是外界阴影处理，而是面部阴影处理。
外界阴影。研究人员介绍，为了训练外界阴影的机器学习模型，他们构建了一个真实人像的数据集，该数据集大约有5000张图像，用于合成外界阴影的图像。具体的运行过程如下图：
图中的输入蒙版Min是从目标轮廓生成的， Min经过人皮肤的次表面散射（SS）近似生成Mss，然后根据空间变化和像素强度的变化生成M，最后由阴影蒙版M，结合原始图形It和阴影图像Is混合生成外界阴影图像。
面部阴影：在这里，研究人员使用Light Stage扫描的数据集来构建由小光源照明的输入/输出对，以及每张脸部可变和可补光的输出图像。
如图，每个OLAT渲染的图像与下方的光源构成图相对应，随着Key Light转件分配给可变数量的邻居，渲染的图像的光照强度逐渐减弱。
另外，在这里研究人员提出一种显式编码面部对称性的方法。研究人员称，人脸的对称性是推理光照的有用线索：人脸的反射率和几何形状很可能是对称的，但是投射在人脸上的阴影很可能是不对称的，利用这一点，将地标（Landmarks）检测系统应用于输入图像，并使用恢复的地标图像生成输入图像的的镜像版本。该镜像图像会附加到网络中的输入图像中，从而允许网络直接推断出可能由于面部和外部阴影而引起的不对称图像内容，进而提高性能。
对比实验：论文中，研究人员将以上两种方法与当前通用的修复模型进行了比较。从比较中可以看到该模型的优势显著。
在外界阴影处理方面，现有研究有图像分割技术（Guo）、基于自注意机制的神经网络模型（Cun），以及基于学习的最新方法（Hu）。
研究人员选用SRD基准数据集进行评估，并计算了PSNR，SSIM，以及基本事实与输出之间的学习感知度量LPIPS。结果该模型大大优于这些基准。如下图：
另外，从测试的图像上来看。 Guo等方法错误地将深色图像区域识别为阴影并将其删除，同时也未能识别出真实阴影部分。Cun和Hu的深度学习方法，在正确识别阴影区域方面做得很好，但可能无法完全去除阴影，而且更改了图像原来的整体亮度和色调。
对比之下，本次研究的模型能够完全去除外来阴影，同时仍保留被摄体的整体外观。
在面部阴影处理方面，研究人员与Sun等人的PR网络进行比较。结果如下图，PR-net在包含粗糙脸部阴影的图像上表现不佳，并且在训练过程中删除串联的“镜像”输入会降低所有这三个指标的准确性。
最后要说明的是面部阴影的柔和和补光效果。输入的图像很可能包含粗糙的面部阴影，例如脸颊、眼睛周围（如下图）。从下图可以看出，将面部阴影柔化模型与可变的“光度” M结合应用会产生更柔和的图像阴影，如bc列。
研究人员介绍称，镜面反射也被抑制是一种理想的摄影实践，因为镜面高光通常会分散和遮盖对象的表面。此外，该模型的亮度比分量通过在此处与检测到的琴键相反的方向形成的强度为训练中使用的最大值的合成补光度，从而降低了由面部阴影（d）引起的对比度。
不过，目前算法还是存在一定的局限性，比如模型有时无法去除双边对称的阴影。因为阴影增强模型的训练数据是通过增加光的大小来渲染的，所以简单的亮度设置会偏向于生成看起来模糊的图像。
更多论文详细内容请参考：https://arxiv.org/pdf/2005.08925.pdf
引用链接：（雷锋网雷锋网(公众号：雷锋网)雷锋网）
https://www.diyphotography.net/harsh-sunlight-no-problem-this-ai-removes-all-those-unwanted-shadows/
雷锋网原创文章，未经授权禁止转载。详情见转载须知。
