http://www.ox-holdings.com

1、新匍京a奥门:采集模块主要是采集原始音视频视频帧数据,刘杉在演讲中也分享了视频编解码技术过去30年的演进

摘要随着5G浪潮即将席卷全球,移动端音视频服务市场迎来井喷,音视频作为5G时代的核心应用,据权威报告数据显示:“2021年视频将占移动端总流量的70%,未来10年5G将给全球传媒和娱乐产业带来1.3万亿美元的新营收机会。” ...引言随着5G浪潮即将席卷全球,移动端音视频服务市场迎来井喷,音视频作为5G时代的核心应用,据权威报告数据显示:“2021年视频将占移动端总流量的70%,未来10年5G将给全球传媒和娱乐产业带来1.3万亿美元的新营收机会。”音视频服务将作为5G时代的“水电煤”基础设施,在社交、游戏、娱乐等传统领域迎来爆发性增长。随着美颜滤镜处理、实时音频降噪、声音优化滤镜处理等技术的逐渐完善和成本降低,使得市场上的传统音视频服务从同质化、渠道化向多元化、品质化发展,促使传统领域的音视频服务火爆异常,也带动了诸如客户服务、安全认证、智能硬件等垂直领域的渗透率不断攀升。环信作为国内最早提供音视频服务的云通讯厂商之一,在全球最大的即时通讯云PaaS平台上孵化出了环信实时音视频云服务,历经四年迭代,2018年9月,环信实时音视频云4.0正式独立对外发布。将原有的技术平台的功能视角转变为音视频应用场景的解决方案视角,以社交互动、游戏、智能硬件以及客户服务场景为优先切入点,逐步扩展和渗透到其他行业领域。环信实时音视频云4.0将为开发者和企业用户提供基于实时传输的音视频通讯功能,如一对一音视频通话、多人音视频会议、多人连麦、高质量音视频录制存储等,平台提供丰富的API接口与SDK集成工具,12小时快速集成即可拥有超高清画质、高清音质体验,全程确保数据安全、高并发能力、网络稳定性等基础服务保障,为客户迎接5G时代提供全场景音视频落地支撑服务。四大行业解决方案,助力企业迎接5G时代!1、社交行业解决方案:传统社交通过算法进行用户信息匹配,通过数据和算法聚合信息产生用户关系,随着交互设备和网络传输的升级,从传统的文字语音社交逐渐衍生了实时视频社交需求和场景,实时音视频服务应运而生,推动了私密社交、群社交等场景进一步落地。社交行业解决方案支持一对一私聊,高清音画质量,低延迟畅聊,结合即时通讯,助力企业打造身临其境的交友体验。在性能方面支持底层性能特殊优化处理,视频动态编解码,支持最高到1080p,回音消除,自动增益。集成简便支持更多视频源扩展API,以及第三方美颜,滤镜等。2、客户服务行业解决方案:客户服务解决方案支持一对一视频客服场景,在专业客服领域,提供高清音视频,高清录制,远程控制等客户服务场景。功能方面支持PC共享桌面,可演示PPT动画,移动端共享APP界面,方便远程协助解决问题,支持客户端和服务器录制,高清回放等。部署方面支持独立集群,独立部署升级,弹性扩容,更高SLA保障,目前已经广泛服务于各大银行和保险公司。在保险视频客服场景中,用户通过实时音视频,针对用户视频采集,对比数据库确认身份,打通权限获取权限认证形成基本的实时用户身份认证功能,能够快捷的完成保险行业保单确认、定损等认证服务。高效替代人工信息确认流程,提高认证效率。3、游戏行业解决方案游戏行业解决方案支持全场景游戏互动,提供音视频互通功能,助力企业轻松打造沉浸式游戏聊天体验。功能方面支持P2P模式,更低延迟,支持多对多的视频通话,让客户无限沟通畅爽游戏PK。同时集成简单快速,支持各种游戏场景搭配,目前已经服务了包括同桌游戏等行业头部客户。4、智能硬件行业解决方案智能硬件解决方案支持一对一、多人互联,支持手表、硬件屏幕等智能设备,打通物联网实时音视频服务。功能方面支持抗延迟抖动,抗丢包,底层性能特殊优化处理,低能耗续航长时间音视频通话传输,视频动态编解码,支持1080p。目前已经逐渐成为了智能手表、智能机器人产品的标配服务。国际领先的实时音视频引擎技术,日超千万分钟技术服务保障环信实时音视频云4.0经过4年不断迭代更新,拥有自主知识产权,同时获得了多项国际认证。环信实时音视频4.0技术内核由采集模块、渲染模块、编解码模块、音频预处理模块,以及诸如混音、抖动缓冲、传输、加解密等多个关键模块组合构成,环信提供了完整的SDK(包含音视频与IM基础功能)以及详细的集成文档,确保客户能在一天时间内极简集成。1、采集模块主要是采集原始音视频视频帧数据,并传递给后续模块处理;通常视频源是摄像头和麦克风,在开启通话时采集模块开启,在结束通话时关闭;音视频采集模块相互单独实现。2、渲染模块主要是把音视频帧数据还原播放,视频分为远程渲染和本地渲染,远程渲染是把收到并解码后的视频帧数据还原播放,本地渲染是用户自身的视频数据还原播放,在移动平台上,本地摄像头采集的数据可以使用本地渲染,性能更好更省电。3、编解码模块此模块分编码和解码;编码是对大量原始音视频帧数据进行编码压缩成相对较少的编码数据,以便于在网络上传输;解码逻辑相反,对编码数据解压缩还原回原始音视频帧数据;编解码模块会对原始数据的timestamp时间戳进行音视频同步对齐。4、音频预处理模块音频预处理模块主要对采集的原始音频帧数据在编码前进行处理,主要是针对语音信号进行增强处理,使得语音更清晰,包括回音消除,噪声抑制,增益控制等。环信实时音视频云与环信即时通讯云服务场景相互结合,行业应用覆盖丰富,通过环信IM SDK触达了超过10亿台设备,目前已经为超过5000家企业客户提供日使用时长超千万分钟的音视频技术支持和服务保障。 环信实时音视频云将会持续秉承质量和服务为先,不断迭代更新产品技术本身,持续加强适配和兼容能力,为客户提供更加灵活多变的解决方案,覆盖和满足更多的使用场景,为客户集成效率、产品粘性、用户增长、使用体验等带来持续的提升,助力企业迎接5G时代。

拥有丰富的视频技术研究与应用实战经验,在国际视频领域知名学术会议刊物上发表多篇论文,数十项视频技术领域的发明专利在国内外获得授权,其中两件独立发明的专利荣获中国专利奖。

 

上面我们对现在市场上几种主流视频编解码标准格式做了简单技术回顾和压缩性能对比。那么是不是所有人都在使用压缩效率最高的编解码格式呢?答案是No. 这里有一份第三方调查报告,显示了当前市场上各类编解码器的部署情况。我们可以看到,H.264/AVC仍然是主流,其次是H.265/HEVC。Legacy MPEG-2编解码器尚有一定使用率,但是在未来会逐渐被取代。同时,开源编解码器VP9和AV1的部署将会大幅度增长。

Skype、腾讯 QQ、WebEx、Vidyo 等都使用了它的音频处理引擎,包含了受专利保护的回声消除算法,适应网络抖动和丢包的低延迟算法,以及先进的音频编解码器。

帧级码率分配微调是针对码率平稳性优化造成运动剧烈场景下视频质量损伤明显的问题。因此在完成码率控制算法之后需要根据主观质量情况对码率分配做一些微调,适当增加运动剧烈场景下码率分配以提高质量;帧内率分配微调是指,由于人眼对平坦区域更加敏感,所以也会多为平坦区域多分配一些码率。在上面这个视频中,左面是优化之前,右面是优化之后,在运动剧烈场景中,如挥手的时候,手的部位较平坦区域块效应明显减轻。

 

互动沉浸式媒体是又一个被5G强推动的领域。根据中国产业信息网,中国VR内容市场自2016年以来持续以每年2-3倍的速度增长。应用产业链迅速扩展,尤其是在亚太地区发展更为迅猛。互动沉浸式媒体的应用领域非常广泛,渗透到例如文旅,教育,影视和泛娱乐,安全,零售等很多垂直行业。在今年九月腾讯推出的一部手机游云南里就包含了VR导览这一元素。

RTMP(Real Time Messaging Protocol) 实时消息传送协议是 Adobe Systems 公司为 Flash 播放器和服务器之间音频、视频和数据传输开发的开放协议。随着直播兴起,很多人都将它用在直播上。

第一:由于微信视频通话集中在移动端,这就要求系统的计算复杂度尽可能低;

第二:由于视频通话是高度实时的应用,决定了视频数据一般采用不可靠传输,这就要求视频传输具有一定的鲁棒性,比如抗丢包的特性,另外,由于没有缓冲机制,视频发送码率要尽可能平稳;

第三:由于很多用户在 3G、4G 等移动网络下使用,对流量比较敏感,所以视频通话带宽占用要尽可能低。

而互动直播就像到达芒果台快乐大本营的录制现场,观众坐在录制现场的观众席上,可以看节目,同时还有机会被邀请到台上和主持人互动,当然主持人可以邀请多名观众上台进行互动,而互动的内容其他观众也能看到。

以下为刘杉演讲全文:

一直以来,WebRTC 都缺少测试工具。在去年年底,Google 推出了 KITE 开源项目,用于帮助开发者检测 WebRTC 应用在不同浏览器的互通性。对于标准化社区来讲,下一步工作主要会围绕提供一组更完备的测试套件,不仅可以帮助开发者测试 WebRTC 应用在 Web 端、Native 端的互通性与体验,还有助于保证各厂商浏览器 WebRTC 接口功能的一致性,并逐步完善 WebRTC 缺失的功能。

而这些指标之间是相互制约的,编码效率的提升往往是以牺牲编码速度为代价,传输适应性也会影响编码效率,比如容错保护时增加冗余会导致编码效率下降。所以一个好的视频编解码器需要在这些指标之间找到合理的平衡点。

② 多人音视频实时通话系统为了在保障质量的前提下尽量降低通话流量,音频编解码主要以Opus为主,Opus融合吸收了CELT和SILK编码的各种优点,具备高音质,高压缩率,高抗丢包等特性,非常适合移动网络。视频编解码我们使用OpenH264,OpenH264编解码性能优秀,同时具备:动态码率、动态帧率及时域分层等多项适合移动网络实时通话的特性。同时我们使用了自主研发的降噪算法,配合回声消除、自动增益和舒适噪音等音频处理算法来进一步保证音频的质量。

视频压缩,即视频编解码,是数字时代视频应用的一个不可缺少的环节。而视频编解码的效率,直接影响到一个产品或者一套解决方案的效率,成本,品质甚至是成败。所以,在过去三十多年里,全球很多企业和研究机构投入巨大资源,研发了许多视频编解码技术,并形成了几代视频编解码标准。其中主流的标准有: ISO/IEC和ITU 制定的国际标准,像我们熟知的 MPEG-2, H.263, H.264/AVC, H.265/HEVC 和正在制定中的VVC. 腾讯于2018年开始参与VVC标准制定。迄今为止已经向标准组织提交超过250个技术提案,其中约70个技术提案已被标准采纳。腾讯,已经成为国际视频编解码标准制定的主要贡献者之一。

说到实时通信,不得不提到 WebRTC,WebRTC 全名为 Web Real Time Communication,从 Web 这个词就可以看出,最初这项技术是为浏览器量身打造用以实时音视频能力而准备的。

首先,在编码效率上:

架构图如下:

当然同时,我们也大力投入国标AVS的建设,推广,和应用落地。

免费的使用 GIPS 先进的音视频引擎,在此之前都需要付费授权;

编解码算法复杂度和实现优化程度都是影响编码速度的重要因素。实现优化包括软件的快速算法和代码级优化,也包括硬件加速。随着一代又一代的视频编码标准的发展,编码效率的提升往往伴随着算法复杂度的增加,CPU 难以支撑高复杂度的软件编解码计算,如果硬件视频编解码各方面性能可以满足视频通话的需求,利用硬件来加速视频编解码就可以极大地缓解 CPU 计算资源压力。此外,还要考虑帧级复杂度的均匀性,因为视频通话能支持的最高帧率是由序列中编码最慢的帧的时间消耗决定的。

由于上述两个问题,我们认为方案一在移动场景下是不太适用的。

作为腾讯云的一个重要技术输出方和亲密合作伙伴,腾讯多媒体实验室专注于多媒体和相关领域的前沿技术探索、研发和产品落地,包含音视频编解码、网络传输和实时通信,基于信号处理和深度学习的多媒体内容分析、理解、处理和质量评估,沉浸式媒体系统设计和端到端解决方案;同时负责国际国内行业标准制定,包含多媒体数据压缩,网络传输协议,多媒体系统和开源平台等。

但其实 WebRTC 在不同场景下包含不同的含义,它既可以代表 Google 开源的 WebRTC 项目,又可以代表 W3C 工作组制定的 WebRTC 标准,也可以代表浏览器中的 WebRTC 接口,我们将他们统称为 WebRTC 技术。当前具有实时音视频能力的应用或者服务,或多或少都使用了 WebRTC 技术,当然所有的这些背后都离不开 Google 开源的 WebRTC 项目,下面我们扒一扒 WebRTC 背后的故事。

新匍京a奥门 1

五、展望未来

新匍京a奥门 2

本文原文由声网WebRTC技术专家毛玉杰分享。

一些性能较好的移动设备可以支持更高帧率的视频通话,发送码率也随之增大,于是网络适配策略就成为这一阶段的研发重点,由于实验模拟网络环境与海量用户真实的网络环境总是存在差异,所以很多网络适配算法在经过模拟环境下的验证后,还必须进行线上灰度测试,通常会随机抽取大量样本做算法的对照实验,如果在大规模样本上新算法的各项技术指标均优于现网算法,才会逐步放开到所有的通话。在这个灰度测试过程中,海量用户通话质量的评价运营体系也逐步建立和完善。

④ 没有覆盖全球的服务器部署与网络拓扑搭建,是不可能构架出一套完善的多人音视频实时通话系统的。依赖网易云在全球范围内的机房节点,我们搭建了多个多线接入网络拓扑,部署了高可用的服务器集群,并利用智能分配算法与路由策略,为跨省、跨运营商、跨国的多人实时通话提供优质的传输通道。

尊敬的各位领导、女士们、先生们,上午好。欢迎来到北京,来到Techo开发者大会。我是刘杉,来自腾讯多媒体实验室。今天要和大家分享的题目是“视频编解码技术的演进和应用”。

未来在实时通信领域,WebRTC 依然是非常重要的一块拼图。

[1] 有关QQ、微信的技术文章:

《微信团队分享:微信每日亿次实时音视频聊天背后的技术解密》

《QQ音乐团队分享:Android中的图片压缩技术详解》

《QQ音乐团队分享:Android中的图片压缩技术详解》

《腾讯团队分享:手机QQ中的人脸识别酷炫动画效果实现详解》

《腾讯团队分享 :一次手Q聊天界面中图片显示bug的追踪过程分享》

《微信团队分享:微信Android版小视频编码填过的那些坑》

《微信手机端的本地数据全文检索优化之路》

《企业微信客户端中组织架构数据的同步更新方案优化实战》

《微信团队披露:微信界面卡死超级bug“15。。。。”的来龙去脉》

《QQ 18年:解密8亿月活的QQ后台服务接口隔离技术》

《月活8.89亿的超级IM微信是如何进行Android端兼容测试的》

《以手机QQ为例探讨移动端IM中的“轻应用”》

《一篇文章get微信开源移动端数据库组件WCDB的一切!》

《微信客户端团队负责人技术访谈:如何着手客户端性能监控和优化》

《微信后台基于时间序的海量数据冷热分级架构设计实践》

《微信团队原创分享:Android版微信的臃肿之困与模块化实践之路》

《微信后台团队:微信后台异步消息队列的优化升级实践分享》

《微信团队原创分享:微信客户端SQLite数据库损坏修复实践》

《腾讯原创分享:如何大幅提升移动网络下手机QQ的图片传输速度和成功率》

《腾讯原创分享:如何大幅压缩移动网络下APP的流量消耗》

《腾讯原创分享:如何大幅压缩移动网络下APP的流量消耗》

《微信Mars:微信内部正在使用的网络层封装库,即将开源》

《如约而至:微信自用的移动端IM网络层跨平台组件库Mars已正式开源》

《开源libco库:单机千万连接、支撑微信8亿用户的后台框架基石 [源码下载]》

《微信新一代通信安全解决方案:基于TLS1.3的MMTLS详解》

《微信团队原创分享:Android版微信后台保活实战分享》

《微信团队原创分享:Android版微信后台保活实战分享》

《Android版微信从300KB到30MB的技术演进 [附件下载]》

《微信团队原创分享:Android版微信从300KB到30MB的技术演进》

《微信技术总监谈架构:微信之道——大道至简》

《微信技术总监谈架构:微信之道——大道至简 [附件下载]》

《如何解读《微信技术总监谈架构:微信之道——大道至简》》

《微信海量用户背后的后台系统存储架构 [附件下载]》

《微信异步化改造实践:8亿月活、单机千万连接背后的后台解决方案》

《微信朋友圈海量技术之道PPT [附件下载]》

《微信对网络影响的技术试验及分析》

《一份微信后台技术架构的总结性笔记》

《架构之道:3个程序员成就微信朋友圈日均10亿发布量[有视频]》

《快速裂变:见证微信强大后台架构从0到1的演进历程》

《快速裂变:见证微信强大后台架构从0到1的演进历程》

《微信团队原创分享:Android内存泄漏监控和优化技巧总结》

《全面总结iOS版微信升级iOS9遇到的各种“坑”》

《微信团队原创资源混淆工具:让你的APK立减1M》

《微信团队原创Android资源混淆工具:AndResGuard [有源码]》

《Android版微信安装包“减肥”实战记录》

《iOS版微信安装包“减肥”实战记录》

《移动端IM实践:iOS版微信界面卡顿监测方案》

《微信“红包照片”背后的技术难题》

《移动端IM实践:iOS版微信小视频功能技术方案实录》

《移动端IM实践:Android版微信如何大幅提升交互性能》

《移动端IM实践:Android版微信如何大幅提升交互性能》

《移动端IM实践:实现Android版微信的智能心跳机制》

《移动端IM实践:WhatsApp、Line、微信的心跳策略分析》

《移动端IM实践:谷歌消息推送服务研究》

《移动端IM实践:iOS版微信的多设备字体适配方案探讨》

《信鸽团队原创:一起走过 iOS10 上消息推送的坑》

《腾讯信鸽技术分享:百亿级实时消息推送的实战经验》

>> 更多同类文章 ……

[2] 有关QQ、微信的技术故事:

《2017微信数据报告:日活跃用户达9亿、日发消息380亿条》

《腾讯开发微信花了多少钱?技术难度真这么大?难在哪?》

《技术往事:创业初期的腾讯——16年前的冬天,谁动了马化腾的代码》

《技术往事:史上最全QQ图标变迁过程,追寻IM巨人的演进历史》

《技术往事:“QQ群”和“微信红包”是怎么来的?》

《开发往事:深度讲述2010到2015,微信一路风雨的背后》

《开发往事:微信千年不变的那张闪屏图片的由来》

《开发往事:记录微信3.0版背后的故事(距微信1.0发布9个月时)》

《一个微信实习生自述:我眼中的微信开发团队》

《首次揭秘:QQ实时视频聊天背后的神秘组织》

>> 更多同类文章 ……

[1] 开源实时音视频技术WebRTC的文章:

《开源实时音视频技术WebRTC的现状》

《简述开源实时音视频技术WebRTC的优缺点》

《访谈WebRTC标准之父:WebRTC的过去、现在和未来》

《良心分享:WebRTC 零基础开发者教程[附件下载]》

《WebRTC实时音视频技术的整体架构介绍》

《新手入门:到底什么是WebRTC服务器,以及它是如何联接通话的?》

《WebRTC实时音视频技术基础:基本架构和协议栈》

《浅谈开发实时视频直播平台的技术要点》

《[观点] WebRTC应该选择H.264视频编码的四大理由》

《基于开源WebRTC开发实时音视频靠谱吗?第3方SDK有哪些?》

《开源实时音视频技术WebRTC中RTP/RTCP数据传输协议的应用》

《简述实时音视频聊天中端到端加密的工作原理》

《实时通信RTC技术栈之:视频编解码》

《开源实时音视频技术WebRTC在Windows下的简明编译教程》

《网页端实时音视频技术WebRTC:看起来很美,但离生产应用还有多少坑要填?》

>> 更多同类文章 ……

[2] 实时音视频开发的其它精华资料:

《即时通讯音视频开发:视频编解码之理论概述》

《即时通讯音视频开发:视频编解码之数字视频介绍》

《即时通讯音视频开发:视频编解码之编码基础》

《即时通讯音视频开发:视频编解码之预测技术介绍》

《即时通讯音视频开发:认识主流视频编码技术H.264》

《即时通讯音视频开发:如何开始音频编解码技术的学习》

《即时通讯音视频开发:音频基础及编码原理入门》

《即时通讯音视频开发:常见的实时语音通讯编码标准》

《即时通讯音视频开发:实时语音通讯的回音及回音消除概述》

《即时通讯音视频开发:实时语音通讯的回音消除技术详解》

《即时通讯音视频开发:实时语音通讯丢包补偿技术详解》

《即时通讯音视频开发:多人实时音视频聊天架构探讨》

《即时通讯音视频开发:实时视频编码H.264的特点与优势》

《即时通讯音视频开发:实时音视频数据传输协议介绍》

《即时通讯音视频开发:聊聊P2P与实时音视频的应用情况》

《即时通讯音视频开发:移动端实时音视频开发的几个建议》

《即时通讯音视频开发:视频编码H.264、VP8的前世今生》

《实时语音聊天中的音频处理与编码压缩技术简述》

《网易视频云技术分享:音频处理与压缩技术快速入门》

《学习RFC3550:RTP/RTCP实时传输协议基础知识》

《基于RTMP数据传输协议的实时流媒体技术研究》

《声网架构师谈实时音视频云的实现难点》

《浅谈开发实时视频直播平台的技术要点》

《还在靠“喂喂喂”测试实时语音通话质量?本文教你科学的评测方法!》

《实现延迟低于500毫秒的1080P实时音视频直播的实践分享》

《移动端实时视频直播技术实践:如何做到实时秒开、流畅不卡》

《如何用最简单的方法测试你的实时音视频方案》

《技术揭秘:支持百万级粉丝互动的Facebook实时视频直播》

《简述实时音视频聊天中端到端加密的工作原理》

《移动端实时音视频直播技术详解:开篇》

《移动端实时音视频直播技术详解:采集》

《移动端实时音视频直播技术详解:处理》

《移动端实时音视频直播技术详解:编码和封装》

《移动端实时音视频直播技术详解:推流和传输》

《移动端实时音视频直播技术详解:延迟优化》

《理论联系实际:实现一个简单地基于HTML5的实时视频直播》

《IM实时音视频聊天时的回声消除技术详解》

《浅谈实时音视频直播中直接影响用户体验的几项关键技术指标》

《如何优化传输机制来实现实时音视频的超低延迟?》

《首次披露:快手是如何做到百万观众同场看直播仍能秒开且不卡顿的?》

《Android直播入门实践:动手搭建一套简单的直播系统》

《网易云信实时视频直播在TCP数据传输层的一些优化思路》

《实时音视频聊天技术分享:面向不可靠网络的抗丢包编解码器》

《P2P技术如何将实时视频直播带宽降低75%?》

《专访微信视频技术负责人:微信实时视频聊天技术的演进》

《腾讯音视频实验室:使用AI黑科技实现超低码率的高清实时视频聊天》

《微信团队分享:微信每日亿次实时音视频聊天背后的技术解密》

>> 更多同类文章 ……

④ 普通观众看到直播画面为包含主播与连麦观众的“合成画面”;

视频编解码技术听起来专业难懂,可是它的应用却与人当下的感官体验有着亲密连接。比如大众日常接触的腾讯视频、微视、微信、QQ等与视频密切相关的产品,还是其他互联网公司每天产生的视频内容,都是以压缩的形式传播的。而视频压缩即视频编解码,它的效率,直接影响到一个产品或者一套解决方案的效率、成本、品质,甚至是成败。刘杉在演讲中也分享了视频编解码技术过去30年的演进历程,并指出当下视频编解码的架构变得更加复杂,承载的技术更加丰富,而这些技术的演变都使得压缩效率不断提升。

目前来看,WebRTC 已经获得了越来越多浏览器厂商及相关技术厂商的支持,应用的前景将会更加广阔。

1)用户的网络状况和设备性能差异巨大,所以微信视频通话要适应不同的网络和设备;

2)由于用户版本更新存在一定的周期,这就需要考虑新技术对旧版本的兼容性;

3)另外,海量并发用户对服务器端造成的带宽成本压力也是必须要考虑的。

 

首届Techo开发者大会在北京召开。本届Techo大会邀请了海内外150位行业专家围绕前沿技术发展进行解读。腾讯杰出科学家、多媒体实验室总经理刘杉发表了主题为“视频编解码技术的演进和应用”的演讲,从在线视频驱动互联网流量爆发的技术支撑与技术现状,当前主流视频编解码格式和标准的制定,视频编解码技术的演进和应用,以及5G时代下多媒体业务的发展方向等方面,分享了腾讯多媒体实验室的最新成果与思考。

而直播作为当下的热点应用,肯定少不了对于 WebRTC 的使用,而这又要提到 rtmp。

2007 年硕士毕业于哈尔滨工业大学,在校课题研究期间参与过 AVS、H.264SVC 等视频编解码标准技术研究。加入腾讯后也一直从事视频图像相关的技术研发工作,先后主导过 QQ、微信、手机 QQ 视频通话、腾讯视频等产品的视频技术研发,目前主要负责微信视频通话、朋友圈视频图片等业务相关的视频图像技术研发和团队技术管理。

新匍京a奥门 3

2017年以来,视频流量在整个互联网流量的占比一直处于高位。从2017年的75%, 到当前的约80%, 到2022年我们预计超过82%的互联网流量将来自于视频或者包含视频的应用。而整个互联网流量以平均每年26%的速度增长。以2019年为例,每月约200ExaBytes的互联网流量里80% 也就是约160ExaBytes的互联网流量来自于视频。到了2022年,这个数字将会翻倍。这个巨大的数字所代表的商业价值不言而喻。

有人说 2017 年是 WebRTC 的转折之年,2018 年将是 WebRTC 的爆发之年,这并非没有根据。就在去年,WebRTC 1.0 标准草案出炉(实际上WebRTC标准草案的早期版本早在2011年就已经发布,WebRTC并非一夜之间就出现的技术),并将于今年正式发布。与此同时,越来越多的浏览器和厂商都开始对它进行广泛的支持,WebRTC 即将成为互联网的基础设施了,或许门槛如此之高的实时音视频技术终有白菜化的那一天。

新匍京a奥门 4

 

不同的应用场景对视频编解码器的需求侧重有所不同。有些应用场景,比如长视频影视类点播,通常会要求高画面品质而对延迟不做过多要求。而另外一些场景比如直播和实时音视频通话等应用对延迟的要求就比较高。按照ITU G.114建议,对于好的通话质量,单向端到端延迟应不大于150ms。如果时延在200~400ms, 通话的交互性比较差, 但是尚可接受。时延大于400ms, 则无法正常交互。而游戏对延迟的要求更是苛刻,通常要求端到端延迟小于60ms 甚至更低。

另一方面,各浏览器也在持续不断地修复问题,对不同硬件设备以及系统平台进行适配,保证 WebRTC 能稳定运行于除主流机型、系统版本以外,更多的设备上。

要求视频码流的码率尽可能平稳,更严格地,还要控制帧级瞬时数据量冲击,以减少瞬时数据量冲击造成网络拥塞而出现丢包、延时等问题。此外,视频码流还需要具有一定的抗丢包能力。

 

作为全球最大的互联网公司之一,腾讯为全球互联网流量有很大贡献。而腾讯旗下的很多业务都和视频这一媒体形式密切相关,例如:腾讯视频,微视,和我们熟知的微信,QQ等等。其中很多是通过视频云对外输出。当然在腾讯之外还有更多互联网公司每天产生巨大的视频内容流量。而所有这些视频内容都是以压缩的形式传播的。

WebRTC 适用的场景可以说是非常广泛,很多行业结合实时通信都可以创造出非常有意思的场景,传统的实时通信应用场景主要是在视频会议、视频面试、VoIP 通话、呼叫中心,产品如 WebEx、Skype 等。

新匍京a奥门 5

 

这里简单罗列了一些我们已经和正在使用的视频编解码器优化策略,包括:启用更高效率编解码格式,对硬件编码器进行优化:针对不同游戏场景优化编码工具集使用,同时支持多格式软件硬件编码器并根据内容和分辨率进行切换,动态编码码率策略,ROI编码和网络自适应编码技术,硬件解码渲染一体化,等。在过去的几个月里,我们针对nvidia, intel, amd, android, iOS 等硬件平台和编解码器分别做了优化,达到节省约30%带宽。尤其是硬件解码和渲染一体化,很大程度降低了解码端延迟和功耗。

补充:WebRTC标准草案的版本演进历史,请点击进入。

因此研究前后处理算法的关键是要消除“副作用”,微信多媒体团队就是按照“宁缺毋滥”的原则,即每次前后处理算法的更新可以只对部分场景增强,增强的幅度也可以较小,但必须保证不会出现质量变差的场景。在算法研究阶段需要设计好场景自适应策略,对于算法无法完全解决的情况,再辅以运营策略,比如“白名单、黑名单”机制,对特定型号设备开启或关闭相应的算法等。

 

将几个主流视频编解码格式的压缩效率做个简单对比。测试结果来自于开源软件x264, x265, libvpx, libaom的最佳质量设置,在constant QP模式下对100多个不同分辨率不同场景的测试序列进行编码,取平均值以保证结果的代表性。在同等压缩质量的情况下,使用几种编解码格式分别对应的bitrate, 基本上,VVC压缩性能最高,其次是AV1, HEVC和VP9效果相当, 然后是AVC, 这些格式都比经典的MPEG-2压缩性能有长足的提高。

更多关于RTMP的知识,请见《基于RTMP数据传输协议的实时流媒体技术研究》、《基于RTMP协议的流媒体技术的原理与应用[附件下载]》。

第一阶段是格式的确立:主要是根据应用的计算复杂度要求选择合适的编码标准格式,或者开发私有格式,这一阶段主要考虑编码效率,评价方式类似标准组织的通用测试条件。

第二阶段是实现优化:主要是通过代码优化和快速算法优化等提高编解码速度,同时控制编码效率损失,在满足应用要求的条件下,达到编码效率和编解码速度的合理平衡。

第三阶段是应用定制:针对特定的应用场景需求做一些定制的研发,达到合入产品预发布的要求。比如微信视频通话中的码率平稳性要求,以及编码参数切换支持等,都是在这个阶段通过码率控制算法优化来实现的。

 

我们都知道软件编码器具有灵活的优点,可以达到更高的编码质量。但是它的一个缺点是速度慢,尤其是在压缩高分辨率内容的时候。所以对于低延迟尤其是超低延迟的应用场景,我们多采用硬件编码器。这里我们举一个云游戏的例子。云游戏是以云计算为基础的游戏方式,在云游戏的运行模式下,所有游戏都在服务器端运行,并将渲染完毕后的游戏画面压缩后通过网络传送给用户。在客户端,用户的游戏设备不需要任何高端处理器和显卡,只需要视频解压缩能力就可以了。

由于音视频传输是基于点对点传输的,所以实现简单的 1 对 1 通话场景,需要较少的服务器资源,借助免费的 STUN/TURN 服务器可以大大节约成本开销;

新匍京a奥门 6

 

最后我想用半分钟时间简单介绍一下腾讯多媒体实验室。

第二:WebRTC 在移动端的表现也很难让人满意。早期由于缺少对于 H.264 编解码器的支持,使得移动端很长一段时间只能使用 VP8 软件编解码,导致在中低端手机上的表现较差,加上安卓自身碎片化的属性,如果不针对不同机型做适配,很难有统一的用户体验;

其次,在编解码速度方面:

 

自H.264/AVC于2003年截稿发布main profile以来,成功主导全球各个领域视频编解码市场。H.265/HEVC main profile于2013截稿发布,其压缩性能比H.264/AVC提高约40%,但是由于比较复杂和具有一定不确定性的专利收费政策,至今还不能像H.264/AVC一样主导全球市场。

第四:在 Web 端需要面临不同浏览器之间的兼容性问题。虽然使用 AdapterJS 可以解决不同浏览器之间的接口适配问题,但除此之外依然要面临不同浏览器行为不一致的问题。可以说如果 WebRTC 如果直接拿过来商用的话,几乎是不太可能的,当下普遍的解决方案是自研,根据自身的业务场景进行二次定制开发,或者更简单一点使用第三方 SDK。

未来,微信多媒体团队将继续坚持以专业、专注的精神,研发实用的多媒体技术,也欢迎对视频图像技术感兴趣的优秀人才加入或开展技术研究合作,一起来不断提升数亿用户的微信视频通话等各类视频图像相关业务体验!

 

面向未来,我们将一如既往地以技术为本,以客户需求为导向,和腾讯云一起打造更多更好的产品,服务于社会。

开发 Web 版本的应用非常方便,使用简单的 JS 接口,无需安装任何插件,即可实现音视频互通。

上图的第一张设置目标码率 360kbps 的每秒数据量波动图中,紫色线是微信自研视频编解码器的码率波动情况,可以看出每秒的码率基本都稳定在 360kb 左右,而蓝色线表示的同等编码效率下 x264 码率波动情况,在一些运动比较剧烈的场景,码率会上升到 420kb,明显高于目标码率,这对我们实时视频通话应用就会有很大的冲击。

⑤ 连麦结束,恢复主播单人直播模式。

一个高质量高效率的互动VR系统包含了从采集拼接,处理,压缩,传输,到解压缩,后处理,渲染和交互等端到端多个技术模块。里面包含的技术有投影技术,采集拼接技术,FOV技术,自适应传输技术(包括Tile 切块,自适应码率,自适应分辨率,自适应主客观质量等)涉及的传输协议有HLS, DASH, WebRTC等。因为VR视频占用的带宽可能高达普通高清视频带宽的几十倍,高效率的VR视频编解码器即使在5G时代也仍然是必须的。

在相关技术方面,QUIC 也进入更多人的视野。对于 WebRTC 来讲,QUIC 可以加速数据通道的连接,还可以完全替代 SCTP。但问题是,目前支持 QUIC 的浏览器只有 Chrome 和 Opera。(有关QUIC协议的基本介绍和应用案例,请见《技术扫盲:新一代基于UDP的低延时网络传输层协议——QUIC详解》、《让互联网更快:新一代QUIC协议在腾讯的技术实践分享》)

根据多年的工作经验,我们总结了打造一个优秀可靠的互联网视频应用软件 Codec 的四个阶段。

 

尽管压缩效率非常重要,但并不是所有人都在使用压缩效率最高的编解码格式,因为不同的应用场景对视频编解码器的需求侧重有所不同。刘杉表示,在质量、延迟和带宽或者成本之间寻找一个最优平衡点是腾讯多媒体实验室努力的方向和目标。

《即时通讯音视频开发:视频编解码之理论概述》

《即时通讯音视频开发:视频编解码之数字视频介绍》

《即时通讯音视频开发:视频编解码之编码基础》

《即时通讯音视频开发:视频编解码之预测技术介绍》

《即时通讯音视频开发:认识主流视频编码技术H.264》

《即时通讯音视频开发:如何开始音频编解码技术的学习》

《即时通讯音视频开发:音频基础及编码原理入门》

《即时通讯音视频开发:常见的实时语音通讯编码标准》

《即时通讯音视频开发:实时语音通讯的回音及回音消除概述》

《即时通讯音视频开发:实时语音通讯的回音消除技术详解》

《即时通讯音视频开发:实时语音通讯丢包补偿技术详解》

《即时通讯音视频开发:多人实时音视频聊天架构探讨》

《即时通讯音视频开发:实时视频编码H.264的特点与优势》

《即时通讯音视频开发:实时音视频数据传输协议介绍》

《即时通讯音视频开发:聊聊P2P与实时音视频的应用情况》

《即时通讯音视频开发:移动端实时音视频开发的几个建议》

《即时通讯音视频开发:视频编码H.264、VP8的前世今生》

《实时语音聊天中的音频处理与编码压缩技术简述》

《网易视频云技术分享:音频处理与压缩技术快速入门》

《学习RFC3550:RTP/RTCP实时传输协议基础知识》

《基于RTMP数据传输协议的实时流媒体技术研究》

《声网架构师谈实时音视频云的实现难点》

《浅谈开发实时视频直播平台的技术要点》

《还在靠“喂喂喂”测试实时语音通话质量?本文教你科学的评测方法!》

《实现延迟低于500毫秒的1080P实时音视频直播的实践分享》

《移动端实时视频直播技术实践:如何做到实时秒开、流畅不卡》

《如何用最简单的方法测试你的实时音视频方案》

《技术揭秘:支持百万级粉丝互动的Facebook实时视频直播》

《简述实时音视频聊天中端到端加密的工作原理》

《移动端实时音视频直播技术详解:开篇》

《移动端实时音视频直播技术详解:采集》

《移动端实时音视频直播技术详解:处理》

《移动端实时音视频直播技术详解:编码和封装》

《移动端实时音视频直播技术详解:推流和传输》

《移动端实时音视频直播技术详解:延迟优化》

《理论联系实际:实现一个简单地基于HTML5的实时视频直播》

《IM实时音视频聊天时的回声消除技术详解》

《浅谈实时音视频直播中直接影响用户体验的几项关键技术指标》

《如何优化传输机制来实现实时音视频的超低延迟?》

《首次披露:快手是如何做到百万观众同场看直播仍能秒开且不卡顿的?》

《Android直播入门实践:动手搭建一套简单的直播系统》

《网易云信实时视频直播在TCP数据传输层的一些优化思路》

《实时音视频聊天技术分享:面向不可靠网络的抗丢包编解码器》

《P2P技术如何将实时视频直播带宽降低75%?》

《专访微信视频技术负责人:微信实时视频聊天技术的演进》

《腾讯音视频实验室:使用AI黑科技实现超低码率的高清实时视频聊天》

《微信团队分享:微信每日亿次实时音视频聊天背后的技术解密》

《近期大热的实时直播答题系统的实现思路与技术难点分享》

《福利贴:最全实时音视频开发要用到的开源工程汇总》

《七牛云技术分享:使用QUIC协议实现实时视频直播0卡顿!》

《实时音视频聊天中超低延迟架构的思考与技术实践》

《理解实时音视频聊天中的延时问题一篇就够》

《实时视频直播客户端技术盘点:Native、HTML5、WebRTC、微信小程序》

《写给小白的实时音视频技术入门提纲》

>> 更多同类文章 ……

2010-2012 年,第一个微信视频通话发布前后的这段时间,当时大部分主流移动设备 CPU 主频只有单核 1GHz,为了在这样的设备上能流畅运行视频通话,微信多媒体团队在视频编解码速度优化上下了很大的功夫,当时优化后的编解码速度在同等压缩效率下已经达到了业界领先水平;在采集显示环节也采用了快速、高质量的方案,并做了大量代码流程优化以提高处理速度,如减少内存的拷贝,优化格式转换流程等;由于当时客户端计算能力是整个视频通话的瓶颈,视频帧率、码率较低,发送数据量对于大部分网络不会造成太大压力,所以第一阶段的容错保护策略非常简单,只对关键帧做保护。经过这些基础性能的优化,第一个微信视频通话版本跟业界同类产品相比,同等带宽下的视频清晰度和流畅度都是非常不错的。

接下来我们探讨一下连麦互动直播的具体实现方案,这部分将主要阐述互动实时性高且具备真实可行性的两种方案。这两种方案网易云信在项目中都有实践,下面会详细分析各自的优缺点。

云游戏商业化面临的一个挑战是它的高成本。这里我们有一个大致的成本拆分。我们可以看到拆分之下,最大一块成本来自于带宽 34%,其次是GPU 27%. 为了推动云游戏商业化,相关业务部门在2020年里希望可以将成本降低一半。在之后的每一年还会有更多的成比例的成本下降。而在2020年里带宽成本计划下降67%, 这其中绝大部分会来自于视频编码器的优化。

在此之后,Google 又将在 Gtalk 中用于 P2P 打洞的开源项目 libjingle 融合进了 WebRTC。所以目前 WebRTC 提供了在 Web、iOS、Android、Mac、Windows、Linux 在内的所有平台的 API,保证了 API 在所有平台的一致性。

郑重声明:本文版权归新匍京a奥门-最全网站手机版app官方下载所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。