对比 5 款「AI 修复」工具,谁能唤醒老照片里的记忆-动态焦点
时间:2023-04-26 16:10:58  来源:少数派  
1
听新闻


(资料图)

在大语言模型和各类 AI 应用日新月异的今天,我终于下定决心,趁着老照片们还没有完全发黄褪色、受潮粘连抑或损坏遗失,将上一代人实体相册里的纸质胶卷照片全部数字化,并进行一次彻底的 AI 修复,好让这些珍贵的记忆能更长久地保存下去。

数字化的方式是使用 Google 相册提供的「照片扫描仪」(Photoscan)应用,它能自动调整角度、裁剪边缘,消除眩光、阴影,并将原件和自动编辑过的图片同时保存在 iCloud 相册中。(条件允许的话,更建议使用扫描仪以得到最大的分辨率。) 接下来遇到的问题是如何挑选一款合适的 AI 修复工具。根据以往经验和近期热门,我挑选了 5 款候选。为了使修复效果达到最好,我把待修复的小几百张老照片,几乎每张都用全部工具试了一遍,也算是对这些工具进行了一次深度使用,因此下面就把体验分享给大家。

工具列表

这里额外介绍一下两款开源工具: CodeFormer:南洋理工大学周尚辰等人的作品,基于 Codebook Lookup TransFormer 模型实现。可以使用作者通过在线模型运行服务 Replicate 搭建的 demo 直接体验(受限于 Replicate 的免费额度,超出需要付费)。附我使用的参数供参考:fidelity = 0.8, background_enhance = true, face_upsample = true, upscale = 2 RestorePhotos.io:基于腾讯 ARC 实验室 GFP-GAN 模型实现的老照片修复工具。官网每天可以免费使用 5 次,但也可以通过 Vercel 等方式一键部署,并填入自己的 Replicate API key,从而不受限制地使用。 注:由于可以理解的隐私原因,以下就不放我实际用来修复的照片了,我从公开渠道搜集了一些图片用于测试,以供大家辨别参考。

第一组测试图片

单人及双人(大头照)

▍测试 1-1 邓丽君这是一张电视节目截图中的邓丽君。几乎所有工具都对这张图片进行了不错的还原,包括头发以及耳环(「CodeFormer」在牙齿的细节处理上存在一些瑕疵)。你觉得哪张图更像真实的邓丽君呢?
左:原图,右:CodeFormer 左:RestorePhotos.io,右:jpgHD.com
左:你我当年,右:老照片修复
▍测试 1-2 周杰伦这张周杰伦童年照的原始图片比较模糊,且有很多噪点。从还原表现上来看「CodeFormer」「你我当年」「老照片修复」在背景降噪、衣服质感的还原上更加出色,但只有「jpgHD.com」准确还原出了周董的单眼皮以及内眼角细节,在我看来它是最像图片最初模样的。其他工具均适当发挥了「想象力」。 左:原图,右:CodeFormer
左:RestorePhotos.io,右:jpgHD.com
左:你我当年,右:老照片修复
▍测试 1-3 张国荣与张柏芝合影一张模糊不清的合影,5 个工具的修复效果可谓齐轨连辔。
左:原图,右:CodeFormer
左:RestorePhotos.io,右:jpgHD.com
左:你我当年,右:老照片修复
▍测试 1-4 张学友与王祖贤合影除「jpgHD.com」对王祖贤的皮肤处理比较粗糙以外,各家工具在这种单人及双人大头照的处理上几乎难分伯仲。注意所有工具均对耳坠进行了还原修复。
左:原图,右:CodeFormer
左:RestorePhotos.io,右:jpgHD.com
左:你我当年,右:老照片修复
▍测试 1-5 爱因斯坦这里尝试对 1927 年第五次索尔维会议上的阿尔伯特·爱因斯坦、亨德里克·洛伦兹、居里夫人三位大神进行修复。原图为黑白,已经过人工上色处理,但并未对细节进行放大修复。可见「CodeFormer」对人脸、西装的修复效果都更好,且成功识别了后方只有半张脸的阿瑟·康普顿。
左:原图,右:CodeFormer
左:RestorePhotos.io,右:jpgHD.com
左:你我当年,右:老照片修复
▍测试 1-6 洛伦兹注意「老照片修复」错误地生成了一个模糊不清的眼镜轮廓。 左:原图,右:CodeFormer
左:RestorePhotos.io,右:jpgHD.com
左:你我当年,右:老照片修复
▍测试 1-7 居里夫人从皮肤质感上看「CodeFormer」的清晰程度领先于其他工具。
左:原图,右:CodeFormer
左:RestorePhotos.io,右:jpgHD.com
左:你我当年,右:老照片修复

第二组测试图片

多人(大合影)

▍测试 2-1:轻微模糊的多人合影图片作者无考,原标题为「镜头下:80 年代的中国儿童」。 原图 CodeFormer RestorePhotos.io jpgHD.com 你我当年 老照片修复 ▍测试 2-2:中度模糊的四人合影图片来源:南京理工大学经济管理学院国贸双学位班学生校园随拍(1990 年夏,左起:韩梦玲、周详文、石英、吕虹)。 对这张图片的处理产生了比较明显的差异,「CodeFormer」面部较为自然,成功还原了左三女生的眼镜(但产生了毛刺),并对头发、衣物和建筑物修复得更为精确;「你我当年」的面部修复效果非常自然,「老照片修复」在建筑物修复上也表现得很不错。而「RestorePhotos.io」则在面部还原上出现了较大程度的扭曲,左三女生的眼镜并没有被成功修复。 原图 CodeFormer RestorePhotos.io jpgHD.com 你我当年 老照片修复 ▍测试 2-3:高度模糊的多人合影图片来源:中国科学院上海光学精密机械研究所 80 年代西楼小会堂前合影(左起,前排:王慧敏、张莲英、杨姮彩、于阿滨、顾德英、李爱莲,后排:林岳明、方祖捷、张位在、金志良、刘枝伍、胡衍芝)。 这张图的人脸出现了较大程度的模糊,各个工具均充分发挥了想象进行脑补。 从五官的自然和谐程度上来看,我会对修复效果这么排序:CodeFormer > 老照片修复 > jpgHD.com > 你我当年 > RestorePhotos.io。 从背景、衣物的修复效果上来看,我会对修复效果这么排序:CodeFormer = 老照片修复 > 你我当年 > RestorePhotos.io = jpgHD.com。 原图 CodeFormer RestorePhotos.io jpgHD.com 你我当年 老照片修复 ▍测试结论

综合来看,我更推荐免费且开源的「CodeFormer」,如果大家与我一样有同时修复几百张照片的需求,可以将「CodeFormer」搭建在本地,处理起来就省心多了。「你我当年」、「老照片修复」表现都还算稳定,但在小头像的表现上不如「CodeFormer」,且是收费软件。 除「RestorePhotos.io」以外的工具都支持老照片上色,本文未对该功能进行测试。「RestorePhotos.io」对于大头照,以及磨砂颗粒或干涉条纹较多的疑难图片处理有一定的优势,其他情况都不甚理想。 ▍结语因精力有限,本文仅对一些常见情况做了测试比较,希望能帮大家做出一个初步的选择判断。实际上在老照片修复过程中还会面临诸多疑难杂症,例如因磨砂处理产生的颗粒、因翻拍屏幕产生的干涉条纹,以及一些涂抹、折痕、撕裂、霉斑等问题。 面对这些问题的时候,可以尝试不同的工具进行综合对比,甚至也需要更多的耐心人工介入,将不同修复工具的效果进行叠加处理。 对老照片进行初步修缮后,还可以尝试使用这些工具进行进一步无损放大,以及智能上色处理。也推荐动手能力强的朋友们对那些非常重要的珍贵照片进行人工调色、贴图等进一步的后期加工,毕竟尽管 AI 已经能帮我们很大程度上还原照片本来的模样,却不能 100% 准确再现历史。 对于修复照片有极致要求的朋友们,建议你们联系一个叫「TR 美术」的团队,我会把他们手工修复曾国藩、左宗棠的对比图附在下面,供你们参考。
「TR 美术」对曾国藩及左宗棠肖像的修复 原文链接: https://sspai.com/post/79376?utm_source=wechat&utm_medium=social 作者:太空小孩 责编:PlatyHsu /更多热门文章/
关键词: