峰哥博客
4月1日，是张国荣辞世19周年的纪念日。每年的这一天，全球无数歌迷、影迷都会用自己的方式缅怀“哥哥”张国荣。今年，由腾讯云多媒体实验室的智能影像修复技术支持，腾讯音乐娱乐集团与环球音乐旗下厂牌宝丽金携手，并联合腾讯云、微信视频号、腾讯视频等多个团队联合呈现的“张国荣2000年《热·情》演唱会超清修复版”全球首播。
4K版修复演唱会预告片。
《热·情》演唱会是张国荣生前的经典绝唱，由其亲自担任艺术总监，知名时尚设计师让-保罗·高缇耶负责服装设计。今年，得益于数字修复技术加持，这个被尘封21余年的“时代符号”被首度解锁。此次《热·情》演唱会修复采用的“超清沉浸感修复引擎”基于腾讯云多媒体实验室多年的多媒体通信和处理研发经验，高清修复则是利用该“引擎”的智能分析、画质修复、画质增强、智能编码四大模块，解决了因时间跨度大带来的划痕、噪点等问题。但演唱会整体环境较暗，细节不够丰富，场景切换快，灯光环境复杂，颜色丰富，对算法带来了挑战，此次面对清晰度较为欠缺的部分，无法精确建模，需要尝试不同的算法达到最佳修复效果等诸多技术难点，在接受新京报专访时，腾讯云多媒体实验室总监李松南、腾讯云多媒体实验室专家研究员夏珍进行了介绍。
修旧如旧：每个人心里都有一个标准
新京报：此次推出张国荣2000年《热·情》演唱会的超清修复版，想法是从何时产生的？
夏珍：我们也是一个比较偶然的机会接触到环球音乐旗下宝丽金唱片，了解到他们刚好有张国荣《热·情》演唱会的母带，觉得与我们的技术挺契合，就达成了合作的意向。三月初的时候，我们正式开始做这次修复工作。
新京报：在张国荣众多的演唱会里面，为什么选择《热·情》？
李松南：因为《热·情》是“哥哥”生前的最后一场演唱会，当时宝丽金唱片公司也是想看能不能对张国荣之前的一些演唱会或者片段做修复，因为我们实验室之前一直做智能影像的修复，所以双方很快就达成了合作意愿。
借4月1日这个特殊的日子推出修复的版本，其实也是特别荣幸的事情。每年的这一天，大家都会用电影的片段或者其他方式去纪念他，我们这次用修复演唱会的方式去做这件事情，也会觉得特别有意义和有价值。
从对比图能看出修复前后画质上的差别。
新京报：此次演唱会修复版的直播，是否会涉及版权等相关问题？
李松南：这次跟宝丽金的合作是基于对张国荣先生的一种缅怀，因此这里面不存在任何商业性的东西。另外，这次演唱会我们在很多平台进行直播，虽然这些直播的渠道以往对于明星艺人开设打赏功能，但张国荣这场直播是关闭的。
新京报：此次修复的过程花费了多长时间，哪部分修复是耗时比较久的？
夏珍：如果从算法上来讲，整个智能修复在算法上时间并不算长，但是因为我们还是想把演唱会做得“修旧如旧”，保留整场演唱会的艺术效果，中间还是尝试了不同的算法和效果，所以花了很多时间去做一个平衡。
新京报：整个修复过程中，你认为比较具有挑战的地方是什么？
夏珍：借助实验室的修复引擎等技术积累，可以极大限度地还原演唱会视频的清晰度，但对于演唱会视频中的色彩、画面切换较快，外加视频素材清晰度不高等问题，如何做到“修旧如旧”，给观众带来融入其中的沉浸感体验，对于团队来说是一个不小的挑战。
修复版演唱会能呈现从母带画质（上图）到修复后（下图）的效果，经历了去隔行、去除噪声和压缩失真、增强和超分环节。
新京报：在演唱会修复领域，修旧如旧的“旧”应该达到一种怎样的标准？
李松南：“修旧如旧”是我们以往做老的经典影像修复时，想达到的一个目标，这个理解应该是因人而异，业内也没有谁提出一个标准，演唱会的“修旧如旧”只是我们想表达的一个宗旨。
首先我们团队会有一个大概的判断，先去了解和规划这场演唱会在艺术上，应该怎么去遵从当时整个舞台想要表达的氛围，我们就尽量在算法方面往那方面调整。做完修复以后，我们也会跟老版做对比，看整个艺术的表达与整体的感官是否能达到当时“旧”的感觉，因为确实每个人对于“旧”都会有自己的看法。
技术亮点：分辨率提升6倍，场景降噪
新京报：这次提到“数据”相比电影和电视剧较少，这个数据具体指什么，为什么说它比较少？
夏珍：我们讲的“数据”，如此前做《天下人家》《康熙王朝》这类电视剧的修复，相对而言影视剧的场景比较固定，镜头的运动以及整个画面比较稳定，从头到尾的艺术表达形式、整体的色彩风格都是类似的。但演唱会不一样，演唱会里面的灯光与画面镜头会有特别多的切换，在之前的修复里很少遇到这样复杂的场景，我们说数据比较少，通常指的是我们之前比较少遇到的场景。
演唱会现场的灯光变幻，给修复带来了挑战。
新京报：这次修复，在画质上会有多大的提升，比如修复前后的分辨率是多少，修复之后有没有看到一些之前没有看到的细节？
李松南：从整体画面的主观感受上来看，修复后会比以前的画面更清晰、更真实。比如，我们能看到张国荣脸部的清晰度是非常高的，包括他脸部的轮廓、毛孔、胡子都会比老版要清晰很多。之前版权公司给的母带分辨率非常低，大概只有720×480的分辨率，现在做完修复以后接近4K的分辨率，分辨率大概提升了6倍，整个画面的流畅度也有所提升，在帧率上面我们也做了一些优化。
夏珍：我们做人脸修复的时候，有一个很大的人脸，刚好整场演唱会的灯光设计也是红色，当光打到张国荣脸上的时候，他整个脸的颜色就跟我们正常脸的颜色不一样，导致人脸的模型以及修复的结果会出现不太好的效果，那么我们就会专门针对这些问题去做优化。
新京报：从观众的角度看，高清修复更为关注人脸修复，这次修复如何达到最佳效果？
李松南：现在业界基本上很难找到基于视频的人脸修复，大部分的人脸修复只是基于图片或者单张照片，如果要用到视频上会遇到更多复杂的问题。比如脸的角度不一样，如果是侧脸或者很小的脸以及很大的脸，各种角度和姿态的脸都需要在算法处理里面能够解决这些问题。
这次演唱会修复有一个难点，就是演唱会有很多灯光，灯光的颜色会多变，比如整个颜色有红色、蓝色、绿色等，打在人脸上后，我们目前的算法会有一些处理不了的问题，也是给我们后面的工作或者优化提供了很多宝贵的经验。
新京报：修复对哪些具体场景进行了构建？
李松南：比如人脸，我们会针对有些场景对人脸去做修复，很大的场景我们会用GAN(生成对抗网络)技术，因为之前的母带里面有很多大的场景，镜头拉到远景的时候会变得很模糊，通过GAN技术以后，场景的清晰度与纹理都会特别清晰。除此之外，我们在不同的场景也会用一些不同的算法，比如，整个演唱会的场景有很大的噪声，我们也是对这个场景进行了降噪处理。
新京报：与传统人工修复相比，此次的技术有哪些优势？
李松南：整个演唱会有两个小时，相比之前传统的人工修复可能需要一、两个月的时间，如果从算法角度来讲，我们的算法处理就比较快。首先，利用多种智能评估算法的智能分析模块会对视频内容进行全方位、多维度分析，主要是为了评估视频的运动和纹理复杂度、压缩失真程度等。得到不同维度的分析结果后，画质修复模块就能利用多种智能算法，有的放矢地修复各类破坏画质的主要因素，包括但不限于划痕、竖线、雪花点、噪声、压缩失真、抖动等问题。这其中的算法基本都是腾讯自研，譬如划痕算法，实话说在公开服务中还没遇到过。
夏珍：划痕与雪花点的面积和数量与观看体验成反比关系。面积越大体验越差，反之亦然。与此同时，划痕修复也存在诸多难点。一方面划痕修复不可逆且成本高昂；另一方面目前缺少庞大的划痕公开数据库，算法难以调优，建设成本也非常昂贵。为此，实验室专门设计了针对性的多方向数据增广方案。方案包括划痕的裁切及合并、随机尺寸、随机模糊程度、局部及全局随机亮度调整、随机透明度调整等。
紧接着，画质增强模块便会选择最佳视频增强算法，对画面进行多维度画质提升，在空间和时间上提升视频的分辨率和帧率，在空域上提升细节清晰度、色彩丰富度。需要更好地驾驭和平衡CNN(卷积神经网络)和GAN(生成对抗网络)两种智能算法。
修复前后异同的视频对比。
新京报：为了营造直播演唱会“面对面”的效果，技术上还做了哪些尝试与努力？
夏珍：实验室团队还对张国荣演唱会的眼神细节做了特别算法调优。从修复后视频中截取一帧张国荣在舞台中央的静态画面，放大后仿佛可以透过其眼眸看到舞台折射的影像轮廓。
新京报：这个技术未来是否会更加接近大众？
夏珍：“超清沉浸感修复引擎”主要分为智能分析、画质修复、画质增强、智能编码四个部分，其中画质修复就是针对这种老视频去做修复，主要是去除其中的一些失帧。画质增强是希望在现有的视频基础上再进一步提高它的质量，包括提高分辨率、帧率、动态范围，甚至是往沉浸式的方向去发展，做一些维度转换的工作。我倒不觉得现在修复这边的应用前景非常小，因为我们之前接触到的很多业务，不管是传媒、泛娱乐还是影视行业，确实积累了大量老的素材，尤其是电视台这块，还是有挺大的市场。
新京报：除了这些专业技术外，观众在感官上需要注重哪些方面的体验？
李松南：感官确实是因人而异的，因为在整个演唱会的过程中，我们不会有修复前和修复后的对比，如果要让观众能感觉一个很好的效果，感觉这是一场很棒的演唱会，那么整个演唱会的一些细节比如“哥哥”的状态，能让大家感觉到已经跟现在的演唱会比较接近，那就算达到预期了。
因为当年的母带质量比较差，从我们的角度讲，能明显感受到修复后包括“哥哥”脸部的一些细节，他的眼睛、眼神，还有整个演唱会当中他所戴的假长发的发丝，清晰度会比以前要好很多。我们希望大家在观看这次演唱会的过程中，能通过当下的技术，很清晰地回望当年“哥哥”那场演唱会的全过程。
新京报资深记者 刘臻
资深编辑 田偲妮 校对 刘军
文章如无特别注明均为原创！
作者:
F_Robot，
转载或复制请以
超链接形式 并注明出处 峰哥博客。
原文地址《
张国荣演唱会修复：“修旧如旧”分辨率提升6倍，眼神有特别算法》发布于2022-4-3
若您发现软件中包含弹窗广告等还请第一时间留言反馈！
