财讯：腾讯多媒体实验室刘杉：万物皆媒的5G时代，多媒体打开新场景

本篇文章3859字，读完约10分钟

主题:腾讯多媒体实验室刘杉:在万物媒体的5g时代，多媒体将打开新的场景

12月19日至20日，腾讯主办的techo park开发者大会在北京时尚设计广场举行。 在大会主论坛上，腾讯杰出的科学家、多媒体实验室负责人刘杉带来了题为《从视频编解码到交互沉浸式媒体》的演讲，视频编解码技术进化的反复以及腾讯与自媒体

刘杉表示，全球疫情将许多行业的活动从在线变为在线，但如何保持优质服务和降低互联网数据带宽的压力对多媒体技术提出了更高的要求。 腾讯作为网络科技企业，许多业务和多媒体技术密切相关。 因为这个视频编解码技术是腾讯所需的重要核心能力。

在多媒体技术改革创新方面，腾讯不断寻求突破。 自从2009年参与制定h.266/vvc标准以来，腾讯多媒体实验室大约100项技术被标准采用，数量位居世界前列。 积极推进av1商业化，腾讯云于2019年11月成为中国第一家支持av1转码的云提供商，今年10月，腾讯在标准原稿三个月内在国内首次发布了h.266HD/超HD实时播放器。

在自媒体和沉浸型互文芳阁中，刘杉认为随着5g时代的到来，沉浸型媒体的广泛应用场景和商业空之间将全面被激活，沉浸型媒体技术和实时媒体传输技术相结合，将越来越多的沉浸 现在腾讯上线了多个沉浸式媒体处理程序，满足了不同业务的开发要求。

在演讲的最后，刘杉说，未来的腾讯将继续积极投入多媒体技术的研究开发，拥抱开源生态建设，为开发者和合作伙伴提供比较有效的服务和支持。

在展示区，腾讯多媒体实验室沉浸式媒体处理程序登场，很多观众可以从vr360、点群等3dof体验6dof沉浸式媒体技术和产品。 场外观众登录techo官方小程序，通过5g+vr360技术体验会场的实时动态，可以360度任意自由立场体验会场。

以下是刘杉演讲的实录。

领导，同事，嘉宾，大家好。 我是腾讯多媒体实验室的刘杉。 很遗憾，今天不能去现场，所以以录像的形式和大家分享。 今天的主题是“从视频编解码器到交互沉浸式媒体”。

去年techo分享了“视频编解码技术和应用”。 那么，今天分享的第一份副本将简要介绍这一年中视频编解码技术的发展和迭代。 然后介绍腾讯多媒体实验室和腾讯云，介绍媒体和交互沉浸式媒体方向的探索和尝试。

今年是特殊而有挑战性的一年。 全球疫情给我们的生活带来了巨大的变化，教育、办公室、娱乐、销售等行业的许多活动由于疫情的关系从在线变为在线，多媒体技术为这些云服务提供了不可或缺的支持。 3月以来，全球视频流量急剧增加，互联网带宽面临巨大压力，世界各地因互联网压力过大而经常发生区域性网络切断。 欧洲委员会必须谈论netflix等互联网音频运营商，要求在高峰时刻降低画质，把宝贵的数据带宽留给在家工作和学习。 一项调查结果表明，流媒体软件市场加快了19%的增长，如何保持良好的服务，降低互联网数据带宽的压力也对各多媒体技术提出了更高的要求。

而且，人们对视频外观质量的要求也在提高。 更高的分辨率、更高的亮度和色度动态范围、更高的帧速率等技术指标配合vr360、freeview等自媒体方式，提高了视频的画质，对数据带宽也提出了更高的要求。 根据网络流量数据，年标清和HD视频拷贝约占一半，但2019年标准拷贝下降到约1/3，HD拷贝成为主流，超HD拷贝开始上升。 预计到2022年超高精细拷贝的占有率将约为1/4。 另外，据中国产业新闻网报道，中国vr文案市场自2009年以来，以每年2-3倍的速度持续增长。 这些技术行业，即视频编解码器(视频压缩)，至今仍具有重要性和必要性。

腾讯作为网络科技企业，旗下的许多业务与视频这种媒体形式密切相关，例如腾讯视频、微观、微信、qq、教育、泛娱乐等，还有这次疫情对在线教育和远程办公室做出了巨大贡献 因为这种先进的高效视频编解码技术也是腾讯公司需要的重要核心能力。

简单回顾一下，在过去30多年中，世界许多企业和研究机构投入了巨大的资源，开发了多种视频编解码技术，形成了几代视频编解码标准。 其中主流标准是iso/iec和itu制定的国际标准，我们熟悉的mpeg-2、h.264/avc、h.265/hevc和今年7月定稿的h.266/vvc .腾讯制定了H.266/VC标准

而且，自去年正式加入aomdia成为第一家加入aomedia董事会的中国企业以来，腾讯与其他aomedia成员企业一起积极扩大开源生态，推进av1的商业化，腾讯云于去年11月成为中国第一家aomdia 在下一代开源视频编解码标准av2制定中，腾讯贡献了通用测试条件、av2诉求文档等许多重要提案，涵盖了块分割、帧内预测、转换、量化、环路滤波器等多个核心技术行业，累积贡献压缩率为世界 腾讯专家在aomedia组织与谷歌专家一起担任技术孵化组主席，与facebook专家一起担任软件实现小组主席。

我们也致力于国标avs的建设、宣传和应用。 现在，腾讯云支持avs2和avs3的HD/超HD实时转码，电视台等单位也引进avs的私有化。

今年10月，在h.266/vvc标准第一版断稿仅三个月后，腾讯在国内首次发布了h.266HD/超HD实时播放器。 这个播放器内置了腾讯自研h.266软件解码器，支持HD、超HD、屏幕复制共享等场景的实时解码，各性能指标在国际上处于领先地位。

你现在看到的是我们发布的h.266播放器正在播放标准测试序列。

各视频编解码器标准的制定需要标准测试序列，以检查各提案技术的性能，决定该技术是否应该被标准采用。

是腾讯的象征序列，也是我们业务的代表复印件，是王者的荣耀，vvc标准也纳入了测试序列集。

这个播放器现在是面向开发者的开源。

腾讯云积极投入开源社区建设，腾讯的先进技术能力也通过腾讯云为各领域的开发者服务。 在产品设计方面，不仅国内市场，腾讯对海外业务也有充分的布局和考虑事项，与海外ott市场相比，腾讯云构建了媒体服务系列产品，为国内产品国际化、海外开发人员和运营商提供了充分的技术产品支持 提供hls/dash等8种海外常见的流媒体协议，提供7天24小时稳定的直播服务，支持60多个国家和地区的本地化。

在科学技术飞速发展的今天，人们不仅希望看到以前流传的二维视频，而且希望有更现实、更有沉浸感的体验。 沉浸式媒体被认为是通过实现物理世界和虚拟世界的融合共生来改变未来生活和工作方法的魅力趋势之一。 以vr为代表的沉浸式媒体文案市场近年来显著增长，应用产业链迅速扩大，应用行业也越来越广泛，例如渗透在文旅、教育、娱乐、医疗和制造等领域。 预计到2025年沉浸式媒体市场规模将迅速发展，达到161b usd(1611亿美元)。 这是因为越来越多的企业和制造商增加了沉浸式媒体技术的研究开发和生产投资。

更深的沉浸感首先体现在真实场景的6dof、更鲜明流畅的复印显示器、多通道交互等方面，依赖于vr、ar、点群、freeview等核心技术，包括视频、照片、复印、声音等 从沉浸式应用场景来看，从面向个人娱乐的成本类市场到公司级市场垂直领域的应用场景正在迅速发展。 随着未来5g的大规模普及，沉浸式媒体硬件和技术的进一步突破、制作价格的下降和越来越多的高质量副本的开发将沉浸式媒体产品和服务纳入主流集团，沉浸式媒体的广泛应用场景和业务空

优良的高效交互沉浸式系统包括收集、解决、压缩、传输、解压缩、后解决、渲染、交互等多种技术模块。 其中包含的技术例如是投影、采集拼接、fov、自适应传输等技术，相关的传输协议为hls、dash、rtc等。 沉浸式媒体拷贝的数据比以前传输的HD/超HD视频更庞大，因此如何有效地结合这些所有的技术模块，包括在这里让他们观看的vr360音乐会和freeview篮球比赛

沉浸式媒体技术与实时媒体传输技术相结合可以生成越来越多的沉浸式应用程序。 例如，以前传来的视频会议中只能使用单一的固定镜头，视野和互动性有限。 沉浸式技术可以创造3自由度和6自由度的视听效果，与虚拟会议室的设定相结合，为参加者提供更全面的会议新闻和更丰富的会议体验。

点云是沉浸式媒体行业的另一项代表性技术，近两年来越来越受到关注。 从点云到端的系统包括技术模块，如解决、压缩点云数据、重建和渲染模型、交互。 腾讯自研点群系统可以通过视频、照片、深度等新闻在三维物体和空之间重建，可以用于展览会和房地产等业务场景。 由于点云使用三维空之间的格子的方法来表现真实物体和场景，因此认为构筑高精度的点云模型所需的数据量非常庞大。 因此，点云数据压缩也是点云系统不可缺少的要素。 腾讯多媒体专家积极参与点云压缩国际标准的制定，技术建议被国际标准采用，担任avs点云专题小组联合的领导。

腾云目前将vr视频处理方案、腾讯临界沉浸处理方案等多种沉浸式媒体处理方案上线，满足不同业务的开发要求。 腾讯沉浸式处理程序具备空之间的建模功能，支持展示和共享h5页、Android、ios手机端和小程序端的所有平台。

我们进入了5g时代。 4g通信网络为我们提供了超强的带宽，超低延迟，获得了越来越多的应用程序，所有的东西都可以相互连接。 受5g的影响，媒体拷贝的生产、获取和分发方法发生了变化。 无论是4k/8k还是vr/ar/mr/点云，它们都可能由于过去受限于互联网带宽的应用而因5g的推进而取得突破。 腾讯将继续积极投入多媒体技术的研究开发，拥抱开源生态建设，为开发者和合作伙伴提供比较有效的服务和支持。

谢谢你。