http://www.ox-holdings.com

实时通信技术与9大行业有什么创新的场景,已经有很多玩家进入了这个行业

摘要2016年度RTC实时互联网大会以 “Enable Realtime Communications“ 为主题,专注实时通信技术变革及在社交、教育、医疗、IoT、VR等多个互联网行业的应用,邀请国内外实时技术大咖、各大互联网厂商参与。大会简介RTC实时互联网大会在美国已成功举办六届,是全球范围影响最大最权威的实时通信行业会议。该会议已经吸引来自全球数万名开发者、技术大咖参加,Google、Ericsson、甲骨文、Intel、Agora.io、Mozilla、Avaya等公司均曾在大会上分享过各自在实时通信领域的技术、应用与经验。由声网Agora.io和美国最权威的IT行业组织TMC联合主办的第2届实时互联网大会(亚洲站),是亚洲唯一实时行业大会。2016RTC实时互联网大会以 “Enable Realtime Communications“ 为主题,专注实时通信技术变革及在社交、教育、医疗、IoT、VR等多个互联网行业的应用,邀请国内外实时技术大咖、各大互联网厂商参与。对开发者来说,这还是一场Party,在Coding Workshop里由WebRTC标准作者亲授coding技巧,还可以通过VR、AR产品展示、团队Demo Show、培训认证等互动环节来带感参与。演讲嘉宾大会日程(10月28日)主会场时间:2016年10月28日 上午09:00 - 12:00如果说2015年是实时通信的元年,那么2016年Twilio的上市证明了实时通信的未来。直播的风也让“实时”成为互联网热词之一。本场主会,将邀请WebRTC推广之父、美国TMC主席、前北电CTO Phil Edholm详解实时行业白皮书,看美国和全球实时行业规模和趋势;声网Agora.io创始人赵斌将分享全球实时云开创者眼中,实时技术在中美的发展现状及与互联网行业的交叉融合;来自全球社交、旅游、医疗、教育和VR行业的Top公司技术负责人高峰对话,前瞻实时通信技术如何驱动行业未来。实时全互动直播专场地点:北京喜来登长城饭店时间:2016年10月28日 下午13:30 - 17:30移动直播潮中,一对多的直播模式太平常,直播人早已在思考新玩法:多人连麦、抢麦、文字语音视频全互动……但怎样的直播技术才能满足?直播技术这么多,如何评测选型?视频直播编解码的未来?直播在更多处置行业的应用前景如何?从场景、技术、到应用,站在风口的那些直播人,为你解读。实时通信行业 应用专场地点:北京喜来登长城饭店时间:2016年10月28日 下午13:30 - 17:30从512k到100m,网络快速的发展带来更多可能性。从VR到机器人,从视频面基到视频导游,从移动办公到跨国医疗,实时通信技术与9大行业有什么创新的场景?顶尖行业分析师、行业Top公司大牛们,将为你分享场景、痛点与未来。互联网行业洞察高浓度汇集。Coding Workshop地点:北京喜来登长城饭店时间:2016年10月28日 下午13:30 - 17:30WebRTC之父从硅谷飞越几万英里,只为了教你如何coding,教你如何debug WebRTC的网络问题?不是开玩笑,是真的。还有声网顶级Coding大师,一次汇聚,手把手教你写代码。课程结束还会颁发证书,签名售书《WebRTC权威指南》。大会日程(10月29日)主会场时间:2016年10月29日 上午09:00 - 12:00互联网的基础设施本不是为“实时”而设计,当实时音视频通话、实时全互动直播成为人们普遍需求的时候,如何保障7*24小时不间断高质量通话,成为实时技术的最大瓶颈之一。本场主会,将邀请WebRTC标准制定者Dan Burnett分享WebRTC未来发展方向,和实时行业技术趋势-质量保障QoE;前芬兰Aalto大学WebRTC科学家Varun Singh 将为您揭开全球互联网实时通话质量数据报告;SIP标准作者Alan Johnston将分享这个服务了行业20年的SIP未来将迎来怎样的重塑,即下一代信令新标准。前苹果视频核心算法工程师,声网Agora.io视频负责人楼剑,将分享国际上通用的视频质量评估方法与时间,为大企业、中小开发者支招。Coding Workshop地点:北京喜来登长城饭店时间:2016年10月29日 下午13:30 - 17:30WebRTC之父从硅谷飞越几万英里,只为了教你如何coding,教你如何debug WebRTC的网络问题?不是开玩笑,是真的。还有声网顶级Coding大师,一次汇聚,手把手教你写代码。课程结束还会颁发证书,签名售书《WebRTC权威指南》。实时通信行业应用专场地点:北京喜来登长城饭店时间:2016年10月29日 下午13:30 - 17:30从512k到100m,网络快速的发展带来更多可能性。从VR到机器人,从视频面基到视频导游,从移动办公到跨国医疗,实时通信技术与9大行业有什么创新的场景?顶尖行业分析师、行业Top公司大牛们,将为你分享场景、痛点与未来。互联网行业洞察高浓度汇集。实时通信前沿技术专场地点:北京喜来登长城饭店时间:2016年10月29日 下午13:30 - 17:30当实时通信被广泛应用于互联网的大背景下,1. 至今没有可被称为“测试Guildeine”的方法与实践。来自前苹果总部和虹软的科学家将分享国际上通用的测试方法;2. 音频编解码在未来的方向在哪里?3. 实时技术的上下延伸,与人脸识别、语音识别、Freeswitch会有怎样的奇妙反应?交通指南大会地址:北京市朝阳区东三环北路10号 北京喜来登长城饭店交通指南:乘坐公交300快内、300内、302、402、405、416、701、675、672、909、运通107、95等线路至亮马桥公交站下车步行150米即可达到,或地铁10号线亮马桥站C口下车,向南步行500米餐饮指南:喜来登自助餐厅、俏江南、羊大爷涮肉坊、屋根里女仆主题餐厅、眉州东坡酒楼、一碗居老北京炸酱面、金多宝茶餐厅等。大会网址

声网Agora创始人兼CEO在2018RTC上分享RTC行业标准

视频编解码的现状:

视频编解码的作用,就是在设备的摄像头采集画面和前处理后,将图像进行压缩,进行数字编码,用于传输。编解码器的优劣基本在于:压缩效率的高低,速度和功耗。

目前,主流的视频编码器分为3个系列:VPx(VP8,VP9),H.26x(H.264,H.265),AVS(AVS1.0,AVS2.0)

VP8,是视频压缩解决方案厂商On2 Technologies的第八代视频编解码标准,Google收购On2后,就将VP8开源了,并且将其应用到WebRTC中。目前,Google也在主推新一代的编解码标准——VP9。

H.264,是由ITU-T视频编码专家组(VCEG)和ISO/IEC动态图像专家组(MPEG)联合组成的联合视频组(JVT,Joint Video Team)提出的高度压缩数字视频编解码器国际标准。 WebRTC也同时支持H.264。

VP8和H.264是十几年前发明的标准,属于同一代技术。这两个标准处于发展成熟的阶段,编码效率、运算复杂度和功耗上都达到了比较好的均衡。技术和应用程度上,二者也略有区别,比如,硬件厂商对H.264的支持较广泛,而对VP8的支持就比较有限。

VP9,开发始于2011年。VP9的目标之一是在保证相同质量的情况下相对于VP8可以减少50%左右的码率,换句话说,相同的码率,VP9能比VP8画质有非常明显的提高。VP9的一大的优势是专利费用,Google声明可以免费进行使用。这和H.264和H.265不同有较大的差异(虽然,2013年cisco已将open264开源,并声称在不修改open264代码的情况下,能保证由cisco覆盖相关的专利费用)。

H.265旨在在有限带宽下传输更高质量的网络视频,仅需原先的一半带宽即可播放相同质量的视频。它与H.264有着相类似的算法架构,并同时对一些相关技术加以改进而大幅提高视频质量。举例来说,H.264编码器可以以1Mbps码率实现标清数字视频压缩;而H.265编码器则可以利用相同的码率编码720P甚至更高的分辨率的高清视频。这也意味着,在现有的家庭网络情况下,我们的智能手机、平板机等移动设备将能够直接在线播放1080p的全高清视频。同时,H.265标准也同时支持4K和8K超高清视频。

VP9和H.265,是最近5年制定的标准,是当前已经完成标准中压缩效率最高的。同样的,H.265是国际标准,VP9是Google目前主推的标准。H.265在硬件支持上比较广泛,Apple、高通、intel等的芯片都支持H.265的硬件编解码器。VP9的硬件支持依然十分有限。总体来说,新一代编码器,编码效率能比上一代提高了30-50%,但是复杂度和功耗会比上一代大很多,所以纯软件编码实现的话有一定瓶颈,现有的技术下,还是需要依靠硬件编解码为主。

AVS是我国具备自主知识产权的第二代信源编码标准。目前,AVS1.0在第三世界国家中已有广泛应用。AVS2.0,属于与H.265和VP9同级的新一代标准。

编码器只是标准和语法,并没有限定应用场景。因此,在实际应用中,还要结合场景特点,来进行改进和深度优化。声网的视频编码器,针对实时音视频通信做了深度改进,更适应公共互联网的特点,实时性和质量上有很大提升。尤其是与网络的深度结合,同时兼顾对抗丢包和网络带宽的波动。

杨继珩 沪江网 CCTalk云 CTO

VR大潮来袭 看声网Agora.io实时语音如何让玩家“声临其境”

2016年04月28日 来源:搞趣网 作者:厂商投稿 搞趣网官方微博

4月28日,全球最大规模的移动互联网行业盛会——GMIC 北京2016(全球移动互联网大会)在北京国家会议中心正式拉开大幕。本次大会以“Mobile Infinity”为主题,邀请了数万名来自移动互联网的业界领袖、领军企业、开发者,分别就VR、人工智能、移动医疗、互联网金融、智能汽车等行业发展趋势展开了深入探讨和交流。作为全球实时云开创者,声网Agora.io也受邀出席了本次盛会,声网Agora.io首席音频工程师高泽华在大会上针对当前大热的VR和游戏产业,发表了《声网Agora.io实时语音:带着最好的武器去战斗》的演讲,为在场的VR和游戏应用开发者分享了在VR和游戏中如何运用高质量的实时语音互动,创造更“声临其境”的玩家体验,帮助用户提高VR画面体验的沉浸感和游戏交互性。

高泽华在演讲中指出,在目前异常火爆的VR虚拟现实技术应用的交互体验中,语音识别和音效一直是一个行业难题,直接影响到了人们的使用体验,声网Agora.io语音SDK采用全球独有的32khz超宽频音质,是普通电话音质的4倍,并提供多声道音效系统,实现VR体验中的“听声辩位”,堪比3D音效。更重要的是,实时语音还可以完美的与游戏背景音乐融合,大大增加了用户的临场感。除了音频处理上的优化,声网Agora.io依托全球部署的虚拟通信网络,确保为游戏应用提供不卡、不掉线、超低延迟的体验,特别针对网络状况不好情况下的独特优化,可极大提高游戏应用和游戏直播的互动性。这一“重量级武器”,开发者只需要30分钟集成即可轻松完成。

图片 1

VR+游戏大热 实时语音对话提高实时互动效果

VR虚拟现实技术之所以受到用户的热烈追捧,原因之一就是其利用VR设备(VR头显、PC端头盔、VR一体机)给人们带来的炫酷、逼真的360°全沉浸式视听体验,让人们从感官上仿佛置身于一个虚拟世界。这种沉浸感和临场感主要就是通过人们的视觉追踪和听觉辨位来实现,二者相互配合,缺一不可。目前能够将用户带进虚拟现实场景的视觉技术已经相当成熟,比如利用VR头盔,用户可以通过头部运动来追踪一个运动中的物体,但是听觉部分还存在诸多问题,诸如声音毫无方向感,无法精准定位空间位置,甚至无法实现基本的听音辨位等,这使得听觉与视觉无法实时配合,严重影响了用户的沉浸感体验。

针对这一音效痛点,声网Agora.io给出了多声道音效系统这一解决方案。通过集成语音通话SDK,获得拥有实时高清音质、32khz超带频的语音编解码器NOVA,可以实现VR画面中声音的立体化环绕,让用户感受到来自四面八方环绕的声音,同时通过智能化回声消除和降噪功能,让用户可以通过声音精准定位空间位置,实现良好的画面沉浸感受。

目前VR音效技术还处在比较早期的研究阶段,声网Agora.io会积极与VR企业保持沟通,根据VR应用产品的迭代和创新节奏,不断丰富自家的编解码器,以推出更加适合企业需要的音效处理技术。

说到VR,人们最先想到的应用行业就是游戏,VR技术与传统游戏的天然契合性,可以说让已经渐成红海的游戏产业迎来了“第二春”。在演讲中,高泽华也分享了声网Agora.io实时语音技术给游戏应用,尤其是手游的实时互动性带来的有益改变。实际上,声网Agora.io已与北京竞技时代科技有限公司,也就是全球VR电竞大赛的主办方进行了合作,目前声网Agora.io和竞技时代共同致力于开发VR电竞直播项目,将实现WVA赛事万人同时在线观看。VR电竞直播将从第一视角、第三视角、上帝视角等为用户提供独特的多人对战体验,让用户全方位感受与众不同的逼真超炫酷的“声影结合”VR直播技术。

目前,受限于手机终端,手机游戏主要通过文字、图片等IM通讯进行互动,游戏和社交不能同时进行,玩家交互体验碎片化。而通过集成声网Agora.io的语音通话SDK,玩家就可以通过实时语音进行交流,双手得以解放,游戏、社交可谓两不耽误。

这一实时互动功能的实现,得益于声网Agora.io高容量、高可靠的网络支持和低延时通话质量的有力保证。目前,声网Agora.io在全球部署了近百个数据中心和近千台服务器,以保障实时的数据传输质量;另外声网Agora.io还集结了全球最顶尖的互联网和通信科学家,包括前苹果视频核心算法工程师等,通过深厚的行业积淀,不断优化实时通话质量,为用户提供良好的实时通话体验。

目前声网Agora.io的实时音视频通话技术已经在小米枪战等游戏中发挥作用。小米枪战是一款竞技动作类手游,玩家之间可以自由组队并肩作战,在高度紧张的对抗作战氛围中,队友之间的默契配合和实时互动非常重要。通过声网Agora.io的实时语音通话技术, 玩家之间可以不限地域、不限国界地进行无障碍沟通,随时随地实现语音互动,尽情享受游戏所带来的紧张刺激。

除了动作枪战手游,声网Agora.io的实时语音技术在策略对战、大型副本等多种游戏形式中同样具有丰富的使用场景,可以提供一对一、一对多、多对多的实时语音通话服务。

语音视频SDK完全开放 拥抱所有合作伙伴

据有关数据统计,2015年我国VR虚拟现实市场总规模为15.8亿元,2016年将达到68.2亿元,增长率达331.6%,预计到2020年,市场规模将达到918.2亿元,年复合增长率达125.3%。可以看出,虽然目前VR产业还处于市场初期,但是前景巨大,尤其是随着VR技术的不断成熟,以及远程医疗、在线教育、电商、视频直播、游戏等目标市场商用化的实现,其将迎来爆发式的快速发展期。而借助这一趋势,声网Agora.io的实时语音通话服务也将迎来重大市场机遇。

VR技术的目标市场与声网Agora.io高度重合,也无疑将促进VR技术与实时音频技术的融合,降低开发者的技术门槛,帮助双方技术在共同目标市场的普及和应用。

事实上,声网Agora.io一直秉承着开放的精神与各种新兴技术、合作伙伴展开合作,这从其产品架构的设计和商业模式上就可见一斑。

为了方便开发者快速集成,声网Agora.io将实时语音和视频通话服务打包成一个极简的SDK,开发者只要到cn.agora.io注册30分钟即可完成集成,另外SDK还适配所有主流平台,以及4000多款Android移动终端设备,方便开发者在各种平台上自由研发;商业模式上,声网Agora.io对中小开发者推行几乎“免费”的策略,每月前10000分钟语音和视频均免费,超过这一使用时长后,语音每1000分钟,收费约0.99美元,视频每1000分钟,收费约3.99美金。这一价格只是传统电话的1%,是其他网络电话的50%甚至更低。

据了解,目前声网Agora.io的语音通话SDK已经被集成在小米视频电话、小米游戏、金蝶云之家、Cmune、Hellotalk、Wowtalk、行程宝、直播易、洋葱TV、Enter达人、口语聊等App中,覆盖社交、企业服务、游戏、远程医疗、在线旅游等多个领域。

欲了解更多声网Agora.io信息,可登陆官网:cn.agora.io

【责任编辑:厂商投稿】

文中图片引用自网络,如有侵权请联系我们予以删除

图片 2

二、RTC和直播有什么区别?


图片 3

RTC与直播的关系

上图展现的就是RTC与直播的关系,RTC的一个具体应用是直播场景中的直播连麦,也就是低延时直播。普通直播,一般采用TCP协议,使用CDN进行内容分发,会有几秒甚至十几秒的延时,主播和观众的互动只能通过文字短消息或送礼来进行。而直播连麦,使用UDP协议,内容实时传输,主播和观众可以进行音视频连麦互动,实时沟通,延时一般低至几百毫秒。

那么RTC技术栈究竟包含哪些技术,我们会提供一系列文章,来解读RTC技术栈。

RTC技术栈之视频编解码

RTC技术栈之音频编解码

RTC技术栈之音视频前后处理

RTC技术栈之实时传输

RTC技术栈之QoE质量保障

本文是系列文章的第一篇——视频编解码

清华大学电子工程系学士和硕士,移动互联网技术专家,社交专家,直播专家;亚创CTO;财经网的创建者(财经媒体No.1),财讯集团CTO;游戏化社区和WebGame创业者;友联同学录、友联交友和赛我网(图形化SNS)的技术负责人(SKT集团)。

在RTC技术落地更多行业,激发场景创新的同时,也在与更多相关技术碰撞,迸发出火花。例如,从Google大力推动的Flutter框架语言大热,为构建第一个Flutter视频通话应用打下实现的基础;WebRTC越来越获得更广的行业认知与应用前景;5G时代的渐行渐近为RTC实时音视频的普及提供了更多的可能;人工智能技术与RTC技术深度结合的应用场景也正在路上。

RTC(Real-time Communications),实时通信,是一个正在兴起的风口行业,经过短短一年的时间,已经有很多玩家进入了这个行业,最典型的应用就是直播连麦和实时音视频通信。但是,很多开发者对一些概念还是有混淆的,比如RTC与WebRTC,RTC与直播,RTC与IM。

讯飞开放平台是科大讯飞推出的全球首个移动互联网智能交互平台,为开发者免费提供涵盖语音能力最全的增强型SDK、一站式人机智能语音交互解决方案和专业全面的移动应用分析。

实时场景有什么更具想象力的空间?未来到底有哪些让人耳目一新的应用?RTC实时音视频又将如何深入地改变我们的生活?本次RTC实时互联网大会将为你一一解读。

视频编解码的探索方向:


1.VR视频

VR视频标准是当前不论是学术界,还是商业应用的热门探索方向之一。在2016年的RTC大会上,我们曾邀请到王荣刚教授分享过《VR视频内容生成技术与编码标准》,王荣刚教授目前担任国际MPEG互联网视频压缩标准专题组联合组长和IEEE虚拟现实视频内容编码标准专题组组长。

据王荣刚教授分享,VR视频的编码目前继续解决的技术问题有:图像的显示质量、合成质量和传输带宽,

VR视频编码先前的做法是,将已有的视频压缩标准,应用到VR场景中。但是,由于VR视频内容的特殊性和网络带宽的限制,目前的标准无法满足VR视频的压缩需求。业界对VR视频压缩标准呼声极高。将来高级的VR视频形态应该是自由沉浸立体视频:在一定空间范围内提供Anywhere

  • Anytime + Anyview +Stereo的沉浸体验。

2. 高分辨率的需求

在H.264时代,编码器主要应用于低于HD的中小分辨率,稍微兼顾1080P高分辨率。

但H.265时代,随着硬件设备更好、带宽更高,用户开始对视频分辨率的要求更高,人们开始发现,用户对视频质量要求是没有止境。因此,新一代编码器,更倾向于支持高分辨率,比如4K高清分辨率。新一代编码器对高分辨率的压缩效率可提高50%以上。

RTC 2017 第三届实时互联网大会上,有来自华为、Google、AVS视频组、AVS音频组、AVS测试组、Slack、Houseparty、atlassian(Jira)的技术专家到会分享下一代编码标准的探索及应用,这基本上是国内最全的编解码的技术分享聚会,当然还有RTC技术栈其他模块的技术分享,致力于入行RTC的开发者不可错过。

免费报名RTC大会>>

2015年加入好未来,曾任新产品部总经理及助理副总裁,现负责公司级新产品孵化和技术系统管理。此前,黄琰曾任百度首席架构师,腾讯研究部总监,及PPLive(现称PPTV)联合创始人兼软件架构师。

RTC实时音视频技术,作为实时互联网发展的基础硬核技术,也在快速迭代裂变。在音视频编解码、超高清音视频等多个领域,探索与人工智能AI技术的深度结合带来体验优化;在传输架构、QoE质量领域,不断刷新海量并发高点,实现更高清、更实时、更高质量的可能性;在开发实践领域,快速支持最新框架、新语言,几行代码简单实现RTC;在生态技术领域不断延展,实现实时消息、应用加速、AI语音变声等更多可能性。

一、RTCWebRTC有什么区别?

实时通信(RTC)最容易和WebRTC混淆,实际上,二者不能划等号。

图片 4

RTC通信流程

RTC从功能流程上来说,包含采集、编码、前后处理、传输、解码、缓冲、渲染等很多环节,上图展现了一次RTC通信的简要流程。每一个细分环节,还有更细分的技术模块。比如,前后处理环节有美颜、滤镜、回声消除、噪声抑制等,采集有麦克风阵列等,编解码有VP8、VP9、H.264、H.265等等。

图片 5

RTC与WebRTC的关系

上图展现了RTC与WebRTC的关系,WebRTC是RTC的一部分。WebRTC,是Google的一个专门针对网页实时通信的标准及开源项目。只提供了基础的前端功能实现,包括编码解码和抖动缓冲等,开发者若要基于WebRTC开发商用项目,那么需要自行做服务端实现和部署,信令前后端选型实现部署,以及手机适配等一系列具体工作;在此之外还要在可用性和高质量方面,进行大量的改进和打磨,对自身开发能力的门槛要求非常高。一个专业的RTC技术服务系统,需要除了涵盖上述的通信环节外,实际上还需要有解决互联网不稳定性的专用通信网络,以及针对互联网信道的高容忍度的音视频信号处理算法。当然常规云服务的高可用、服务质量的保障和监控维护工具等都只能算是一个专业服务商的基本模块。所以,WebRTC仅是RTC技术栈中的几个小细分的技术组合,并不是一个全栈解决方案。

工信部TAF协会WG2副组长,360技术委员会委员,科协委员。中国第一批体系架构设计师。北京大学硕士,清华大学MBA。

郑重声明:本文版权归新匍京a奥门-最全网站手机版app官方下载所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。