连用Game Boy拍的渣画质照片,都能被这个AI拯救
Game Boy摄像头是任天堂公司1998年针对这个掌机推出的一款外置附件,在当时的技术条件下,其只有5万像素,四阶灰度或颜色,能拍摄128*112分辨率的图片。
Game Boy摄像头
虽然用现在的眼光来看其技术早已过时,但其拍摄出来的图片对人类的来说尚可识别。在当年的吉尼斯世界纪录,这个摄像头还入选了最小的数码相机。
任天堂还为其加了不少好玩的特效,可说是萌系自拍App的先祖:
萌不?
近年来随着技术的进步,国外有人探索使用深度学习和神经网络等人工智能的手段来将Game Boy摄像头拍摄出的“渣画质”照片“还原”成更逼真的照片。
在图片处理方面,已经有几个使用卷积神经网络(深度神经网络的一种)的应用案例,其中包括超分辨率(无损放大图像)、上色(从灰度到RGB)和消除JPEG格式图像的压缩失真。还有4人联名发表了一篇论文,介绍如何实时风格转换和将素描转成真实图片的,而这些应用也已经登陆到了我们的智能手机之上,用以美颜及风格化处理照片。本文作者Roland Meertens的探索,正是基于这4人的研究成果。
废话不多说,先上图。下图是一个对比图:中间是“真实图片”(原始素材),左边是真实图片在Game Boy摄像头下的效果,右边则是使用深度神经网络将左边图像优化后生成的图片,这些图片都是首次上网,没有经过搜索引擎抓取和算法学习过的。
脸部照片对比图,中间是“真实图片”(原始素材),左边是真实图片在Game Boy摄像头下的效果,右边则是使用深度神经网络将左边图像优化后生成的图片
一些通过Game Boy摄像头拍摄的人脸照片:
作者从网上找了些Game Boy摄像头拍摄的人脸
以及Meertens使用Game Boy摄像头拍摄的自己人脸:
作者本人
Meertens预先训练深度神经网络算法识别了一小部分脸,然后让其来对Game Boy摄像头拍出的照片进行优化和还原,结果相当惊人,整个头部图片都能很好的被还原出来,肤色也能被算法所准确的识别。
关于Game Boy摄像头拍摄的人脸照片与真实照片之间的对应,网上并没有现成的训练数据集可用。Meertens为创建该数据集而做了一个函数,该函数在输入图片后能得到一个带有四度黑色阴影的图片,阴影基于图片的平均值和标准偏差生成,以确保最后得到的图片只有四色。
任天堂为Game Boy摄像头设定了一种算法,通过交替像素的方式来给图片创建渐变,以给人更多颜色的错觉。Meertens简单的通过给原始图片增加噪点的方式来模拟这种效果。
总的来说,就是通过这个函数,用计算机生成了类似Game Boy摄像头拍摄效果的图片。
Meertens预先让AI学习了三万张图片,计算出平均值和标准偏差,AI首先并不能识别肤色,当学习了9600张图片后,终于学会了正确识别肤色。这三万张图片的来源包括:名人脸部照片、通过“game Boy Camera”关键词从谷歌搜的图、在网上找到的使用Game Boy摄像头拍摄的脸部照片和Meertens自己的脸部照片。
当这三万张图片学习完之后,Meertens对学习结果相当满意:计算机模拟生成的照片都带有四度黑色阴影和非常细腻的噪点模式。也发现很多问题,即:AI对非标准面孔(如头发遮脸、戴太阳镜、侧脸等)的识别率很低。
通过Meertens的测试,我们可以发现:用AI的方式,可以将Game Boy摄像头拍摄的“渣画质”人脸头照片还原成为清晰度更高的彩照。假以时日,AI没准能被用来修复以前的黑白照片甚至影片。