http://www.ox-holdings.com

声网的新算法在高丢包率、新匍京娱乐场最全网站:低延迟情况下,SDK支持在推流端进行视频自采集

摘要2018年11月21日,“声网Agora”正式宣布完成7000万美元C轮融资,由全球科技股对冲基金Coatue Management领投,SIG海纳亚洲、Morningside晨兴资本和顺为资本跟投。从YY到声网声网Agora成立于2014年,由前YY语音CTO赵斌在硅谷创立,定位全球实时通信云服务商,其核心技术为RTC。实时通信(Real-time Communication, 简称RTC),即允许两人或多人使用网络实时的传递文字消息、文件、语音与视频交流,也就是现在很多应用内都会有的聊天、语音、视频功能。通过调用声网的API,开发者可以快速创建这些功能,实现例如视频社交、互动直播、游戏开黑、AR远程协作、视频报警、视频客服、机器人视频陪伴等场景。自研算法优化底层技术音视频传输,通常需要经过“采集—预处理—编码—传输—端处理—解码”等一系列流程,不同服务商会在每一个环节进行优化,从而提高传输速率、质量。例如,声网的预处理已经不仅包括美颜、瘦脸等基础功能,还加入了“人机交互”——在直播中,用户用手势比一个心型,那么系统就会自动识别出来,发几个颗心给对方。再比如,对音视频传输质量影响很大的编、解码环节。编、解码可以理解为压缩、解压缩,原则上,在网络传输出现问题时压缩包会丢失,丢的越多,出现的卡顿就越多。在这方面,声网首席科学家、国际编解码专家钟声曾表示:“视频编码,声网的新算法在高丢包率、低延迟情况下,能体现更多优势。相同质量下只需要一半的码率,比如延迟只有4帧情况下,丢包率是60%,基本上码率只有原来的一半,同时编码的质量和复杂性没有本质变化。如果拿到很模糊的图像,需要在低码率、低分辨率情况下还原,基于传统多像位滤波、三次发差值等方法还原出来的图像,总体上比较模糊。用了深度学习算法之后,细节明显提升,即使在较差网络条件、带宽受限的情况下,依旧可以还原清晰画质。但深度学习有一个大问题,就是需要在大模型、大数据、大平台上实现,可用户基本都在使用移动端,对于算法的实现是一个挑战。声网在这方面也做了很多优化,比如在iPhone6上把一个放大9倍算力支持到每秒200帧,已经达到实时。在音频方面,声网自研的抗丢包音频编码 Agora Solo™ 已发布进化版Solo X™,具有抗丢包特性,即使是在 50% 的丢包下,用户都可以听清对方所讲的内容。同时,自研的分组信号互补技术,兼容Opus和WebRTC。”音视频普及带动场景延伸据悉,除了硅谷,声网已于上海、北京、广州、伦敦、班加罗尔、东京等地有分布式协作团队。目前已在全球自建200多个数据节点的SD-RTN™ 软件定义实时网,服务了全球超20万开发者,覆盖全球超过20亿终端用户,每日支持通话分钟数超过3亿,客户包括社交、直播、游戏、教育等、民生、政务、医疗、金融、物联网等行业,同时与小米、陌陌、中国移动在线、The Meet Group、Hike Messenger、Badoo、Musical.ly、V-cube、好未来、招商银行等建立了战略合作关系。列举一个应用场景,目前重庆市已推出急救视频 120 自救互救服务,在拨打 120 或下载相关App后,医生可通过视频对话,指导现场人员进行自救或互救,若用户此前并未下载 App,拨打120后,手机会收到一条包含 URL 的短信,用户可通过 Web 端与急救医生视频对话。该场景的实时视频通话就是通过声网SDK实现的。再比如,郑州铁路警方用AI警务眼镜筛查网上在逃人员的新闻中,采用的是亮亮视野推出的搭载VPU的AR眼镜,其中内嵌了声网的语音通话技术。谈及未来,声网CEO赵斌表示,目前看来,RTC技术服务平台市场规模超80亿美金,亚洲和欧美市场使用量最大,中东、俄罗斯、非洲等市场增长较快。随着语音聊天室、视频社交、互动课堂等成熟使用场景的普及,音视频互动已成为用户最为主流的使用习惯,未来更多线下的真实互动场景将被搬到线上,构建新的线上世界。声网Agora官网

蓝鲸TMT频道10月24日讯,实时音视频云服务提供商声网Agora今日宣布开源声网自研音频编解码器Solo、以及Agora RTC SDK3.0、水晶球2.0版本的上线。此外,声网联合商汤、金山云等34家合作伙伴发布“Agora云市场——全球合作伙伴计划”,旨在创建一个RTC实时互联网生态,加速集成开发,降低开发门槛。

摘要声网SDK 2.3.2版于2019年01月17日发布。声网 Agora.io 是为 App 开发者提供全球范围实时音视频通信服务的云服务商.1、简介以下是来自声网官方网站的介绍:声网 Agora.io 是首家为 App 开发者提供全球范围实时音视频通信服务的服务商,在全球部署了近 100 个数据中心,搭建 SD-RTN™(Software Defined Real Time Network)这个专为「实时」所设计的虚拟通信网,来极大优化全球范围内的实时传输。声网Agora.io 为开发者提供有质量保证 QoE 的实时云服务。声网 Agora.io 于 2014 年成立,隶属于上海兆言网络科技有限公司,总部位于硅谷,研发中心位于上海。团队 90% 均为全球技术工程师,包括苹果Apple 视频算法架构师、Vidyo 产品负责人、Polycom 工程总监等,平均行业经验 10 年以上,团队有年服务数千亿分钟音视频通话经验和千万级并发的互联网直播经验。2、更新内容声网 Agora SDK 2.3.2 已经正式上线,开发者们可以在官网「下载」中找到各系统、平台对应的版本。我们在这次版本中有多项新增功能及优化,可全行业场景的实时互动体验带来提升,尤其针对在线教育的多个场景进行了优化。本次升级针对音视频处理增加了多个新接口。随着新版本的上线,我们也在网络抗丢包、动态自适应、抗抖动策略等网络层方面进行了优化,针对全行业场景的网络传输质量均得到了提升。在抗丢包方面,优化的前向纠错,丢包边界提升了约10%。我们还提升 iOS 低端设备和Windows设备上的 SDK 性能,优化比率约20% - 30%。接下来,我们详细看一下本次的新增接口、功能改进。新增功能1.Windows 新增视频自采集为方便开发者在通话或直播中使用外部视频数据,此次新增两个接口:setExternalVideoSource:配置外部视频源pushVideoFrame: 它会通过ExternalVideoFrame推送外部视频帧给 Agora SDK支持在推流端进行视频自采集。启用后,应用程序将外部的视频帧数据推送给 Agora SDK 进行编码和传输。该方法适用于用户在发送端自己做采集、渲染,然后把视频帧发送给 Agora SDK 进行编码和传输的场景。开发者可以拿到裸数据后做前处理。2.移动端前置摄像头曝光与对焦当用户在视频通话或直播连麦时,可以通过点击屏幕来调整对焦、曝光,可以带来更好的体验。2.3.2版本新增如下接口,支持对兴趣点自动曝光功能。开发者可以将需要自动曝光的区域位置发送给 Agora SDK,摄像头会基于该区域自动曝光。isCameraExposurePositionSupported:检查设备前置摄像头是否支持手动调整曝光位置setCameraExposurePosition:设置手动曝光的位置,会通过positionXinView和positionYinView两个参数分别表示触摸点相对于视图的横、纵坐标onCameraExposureAreaChanged:摄像头曝光区域已更改时会有回调3.Windows 与 Mac 端新增自定义视频源画质为了提升自定义视频源的画质,并可以更好地满足多种需要调整画面大小的场景,新版本引入了setVideoEncoderConfiguration可用来替换原setVideoProfile接口,设置视频编码属性。该新接口中的VideoEncoderConfiguration类对应一套视频参数,包含视频的分辨率、帧率、码率、最低编码码率 以及视频方向。原接口 setVideoProfile 仍可使用。4. Windows 端支持音频自渲染为了给开发者灵活的开发体验,Windows SDK 新版本开始支持音频自渲染。启用后,应用程序会采用主动拉取的方式从音频引擎拉取远端已解码混音后的音频帧,用于外部音频播放。setExternalAudioSink: 设置外部音频自渲染,可以将采样率设置为 8KHz、16KHz、32KHz、44.1KHz 或 48KHz。pullAudioFrame:拉取音频帧用于外部播放5.新增虚拟声卡采集新版本在enableLoopbackRecording接口中新增参数 deviceName,支持用户使用虚拟声卡进行采集,相对之前版本,能让人声与背景音乐合成后的音质效果更好。请注意,当该参数 NULL 时默认使用当前声卡采集。如需使用虚拟声卡,直接使用虚拟声卡的产品名传参即可。6.控制音乐文件的播放音量为方便用户控制混音音乐文件的播放音量,新版本在已有adjustAudioMixingVolume的基础上新增adjustAudioMixingPlayoutVolume和adjustAudioMixingPublishVolume接口,用于分别控制混音音乐文件在本地和远端的播放音量。该版本梳理了用户在音频采集到播放过程中可能会需要调整音量的场景,及各场景对应的 API,供用户参考使用。详见官网文档「调整通话音量」部分。网络传输质量优化与此同时,我们在这段时间,还进一步优化了网络传输质量,例如在抗丢包方面,优化的前向纠错与自动重传特性,丢包边界提升了约10%。我们还在原基础上优化了动态自适应算法,进一步降低视频卡顿的发生几率。针对音频传输,本阶段还优化了抗抖动策略,改进音频的延迟与质量。更多改进与优化音乐文件音量控制:在adjustAudioMixingVolume接口基础上新增adjustAudioMixingPlayoutVolume和adjustAudioMixingPublishVolume接口,用于分别控制混音音乐文件在本地和远端的播放音量。改进网络连接状态生成策略:新增getConnectionState和onConnectionStateChanged接口,用以获取 SDK 的网络连接状态,以及连接状态发生改变的原因。废弃了原有的onConnectionInterrupted和onConnectionBanned回调。改进音频质量数据统计:增加onRemoteAudioStats,替换onAudioQuality接口,可提供分段统计音频 E2E

新匍京娱乐场最全网站 1

声网Agora.io年度发布:开发者数量超10万,触达终端数超10亿,日通话分钟数破亿

来自 游戏葡萄 2017-09-22 资讯

在产品升级上,一共包括实时超分、水晶球2.0、RTC SDK3.0、开源音频编解码器SOLO四大方面。视频超分辨率技术可以将实时传输中的视频在原有分辨率的基础上,实现两个方向的2倍同步放大,并获得细节增强。声网的超分算法同时支持在云端和移动终端上实时运行。声网水晶球为实时音视频质量透明数据产品,水晶球2.0版本将在2019年Q4上线,将提供RTC服务质量监控和数据分析产品套件。开源Agora Solo为声网自研的专为不稳定网络设计的语音编解码器,能够在弱网条件下保证流畅通话。Agora RTC SDK3.0将于11月上线,实现直播和通信融合,提升弱网环境下的音视频体验。

时延,便于开发者查询。提供更精准的质量报告:优化了onNetworkQuality接口的算法。优化打分反馈机制:rate接口的打分范围缩小到了1

5,方便终端用户为本次通话、直播连麦打分和反馈。音乐教学场景的音质优化:针对音乐教学等高音质需求场景,进行了音质改进。通过调用setAudioProfile,将 Profile 设置为 MUSIC_HIGH_QUALITY(4),Scenario设置为 GAME_STREAMING(3) 实现。3、声网链接下载地址:

5G时代的大带宽、低延时,为互联网带来更多便利,也正普惠到医疗行业,推动传统医疗机构、企业及相关行业办公和管理的互联网化。近日,在重庆举办的“第82届全国药品交易会”上,玄关视频会议系统首次公开亮相,医视圈和玄关视讯通为这一系统的重要组成部分。

[ 游戏葡萄原创专稿,未经允许请勿转载 ]

新匍京娱乐场最全网站 2

9月21日,全栈实时通信云服务商声网Agora.io在RTC 2017实时互联网大会上宣布,声网SDK服务全球超过10万+开发者,触达终端数10亿+,日通话分钟数突破亿级。

会上,声网创始人赵斌、联合创始人肖峰、高级产品总监Edward Brakus分享了全球实时互联网行业的迅速发展现状,并发布了声网在业务发展、技术深度、专业服务等方面的突破和全球行业生态战略。

新匍京娱乐场最全网站 3

新匍京娱乐场最全网站 4

据悉,目前声网的日均通话分钟数已经达到6亿、每年为创新创业项目企业提供超过5.79亿分钟免费服务时长、全球范围内超过30万终端安装使用Agora SDK的应用。从2014年成立至今,声网已经将RTC技术赋能到社交直播、教育、游戏、金融、医疗、企业协作等10余个行业,100余种应用场景。80%以上的社交泛娱乐企业和70%以上的在线教育企业均采用声网提供的实时音视频解决方案。

据了解,医视圈是一款专为医疗及相关行业设计,集软件、硬件、服务为一体的智能化办公学习、远程交互的专业系统。医视圈企业版聚焦医学垂直领域,创新助力学术推广,智能升级企业管理,为企业的合规化转型、数字化营销以及企业内部管理升级提供了一体化的解决方案。

声网打造新一代全栈RTC服务,技术服务生态全面发展

随着实时互联网行业的迅速发展,RTC技术应用更加广泛。行业和场景的持续创新,需要新一代全栈RTC服务商(Full Stack RTC Service),为开发者的每个应用提供实时音视频能力。新一代的全栈RTC服务商,必须是在深度技术、专业服务和开放生态均有深耕并平衡发展。经过2年多的商业化打磨,全球超过10万开发者的验证,声网可以说是全球领先的全栈RTC服务提供商。

实时互动 满足医疗学术协作多种场景

声网在RTC深度技术上多项专利突破

作为全栈RTC服务提供商,声网用匠心打磨技术,在多项深度技术上取得突破。

声网在全球部署的虚拟实时通信网SD-RTN™通过遍布全球近100个数据节点,为全球开发者提供有质量保证的实时音视频传输。统计显示,经SD-RTN™传输的质量比原生P2P传输的质量提升了10倍以上。

信源信道联合编码Agora Solo™是全球首个基于互联网的音频编解码,已申请国际专利。在视频编解码方面,其多人视频智能自适应技术,通过大数据分析和算法,对视频传输各项指标进行智能的适配优化,保证传输。

此外,声网SDK能覆盖全终端全球区域和不同规模的业务,即将发布的基于WebRTC的Web SDK,除了支持所有主流浏览器外,还能更好地实现Web与Native互通。

一直以来,传统医药企业在学术推广过程中都面临很多问题,这其中,异地会议成本高、前沿学术资源缺乏、医生时间精力有限、在线学习缺乏优质内容与互动交流等等,是传统医药企业在学术推广过程中的痛点。

声网构建独特的RTC服务支撑体系

针对RTC独特的服务特性,声网正在构建一套全球服务支撑体系,不仅能实现全球范围7*24技术支持,还能为开发者提供专家级的咨询服务。从集成、测试、灰度、上线到售后维护,全程护航,并通过专业分析工具最快速定位分析并解决问题。让服务触手可及,让质量随时可见。

从2015年成立以来,玄关健康一直聚焦医生群体,在分级诊疗、医联体背景下推出“医视圈”,打通科室与科室间学术协助、交流沟通的通道。而在声网实时音视频技术的支持下,医视圈在提升医疗学术交流的实时互动性上可以实现以下几种场景,实现医疗科室办公管理现代化,提升效率。

声网发起全球首个RTC生态圈Agora Plus

会上,声网联合多家创新技术企业,启动了全球首个实时互联网生态Agora Plus。该生态秉承“多维扩展,聚合创新,共建共享”的原则,专注于实时互联网领域,为开发者提供最大化的价值。通过与生态伙伴技术的深度整合,声网在过去一年中还推出了针对游戏和泛娱乐行业的两个解决方案。

网宿科技、百度云、金山云、Ucloud、融云以及V-cube等国内外合作伙伴高层参加了本次启动仪式。

新匍京娱乐场最全网站 5

声网Agora.io发起全球首个实时互联网生态Agora Plus

声网成立于2014年,总部位于硅谷,在上海设有研发中心,为全球开发者提供高质量的实时音视频和连麦互动直播服务。

由声网主办的RTC2017实时互联网大会今年是第三届,邀请到了来自Google、Slack、Mozilla、熊猫、花椒等公司的技术大咖们分享RTC技术实践,希望推动实时互联网行业的发展。

郑重声明:本文版权归新匍京a奥门-最全网站手机版app官方下载所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。