http://www.ox-holdings.com

SDK支持在推流端进行视频自采集,和全球游戏开发者分享《游戏实时音视频应用与技术解析》

时延,便于开发者查询。提供更精准的质量报告:优化了onNetworkQuality接口的算法。优化打分反馈机制:rate接口的打分范围缩小到了1

5,方便终端用户为本次通话、直播连麦打分和反馈。音乐教学场景的音质优化:针对音乐教学等高音质需求场景,进行了音质改进。通过调用setAudioProfile,将 Profile 设置为 MUSIC_HIGH_QUALITY(4),Scenario设置为 GAME_STREAMING(3) 实现。3、声网链接下载地址:

据悉,声网Agora是全球实时音视频开创者,拥有超过20万开发者,每年的实时音视频使用分钟数超过1000亿。除在线教育行业外,声网的解决方案在社交、直播、游戏行业的使用中占据很大份额,并持续赋能渗透到民生、政务、医疗、金融、物联网等行业。

Q:小程序在有电话通话的同时可以向外推流么?A:并不支持。小程序会通过 App.js 来管理小程序的生命周期。开发者可以通过onShow和onHide两个参数监听小程序的显示与隐藏。当有电话进来时,小程序会进入后台,那么直播画面就会停止,并切换为一张开发者预先设置好的图片。

摘要随着5G浪潮即将席卷全球,移动端音视频服务市场迎来井喷,音视频作为5G时代的核心应用,据权威报告数据显示:“2021年视频将占移动端总流量的70%,未来10年5G将给全球传媒和娱乐产业带来1.3万亿美元的新营收机会。” ...引言随着5G浪潮即将席卷全球,移动端音视频服务市场迎来井喷,音视频作为5G时代的核心应用,据权威报告数据显示:“2021年视频将占移动端总流量的70%,未来10年5G将给全球传媒和娱乐产业带来1.3万亿美元的新营收机会。”音视频服务将作为5G时代的“水电煤”基础设施,在社交、游戏、娱乐等传统领域迎来爆发性增长。随着美颜滤镜处理、实时音频降噪、声音优化滤镜处理等技术的逐渐完善和成本降低,使得市场上的传统音视频服务从同质化、渠道化向多元化、品质化发展,促使传统领域的音视频服务火爆异常,也带动了诸如客户服务、安全认证、智能硬件等垂直领域的渗透率不断攀升。环信作为国内最早提供音视频服务的云通讯厂商之一,在全球最大的即时通讯云PaaS平台上孵化出了环信实时音视频云服务,历经四年迭代,2018年9月,环信实时音视频云4.0正式独立对外发布。将原有的技术平台的功能视角转变为音视频应用场景的解决方案视角,以社交互动、游戏、智能硬件以及客户服务场景为优先切入点,逐步扩展和渗透到其他行业领域。环信实时音视频云4.0将为开发者和企业用户提供基于实时传输的音视频通讯功能,如一对一音视频通话、多人音视频会议、多人连麦、高质量音视频录制存储等,平台提供丰富的API接口与SDK集成工具,12小时快速集成即可拥有超高清画质、高清音质体验,全程确保数据安全、高并发能力、网络稳定性等基础服务保障,为客户迎接5G时代提供全场景音视频落地支撑服务。四大行业解决方案,助力企业迎接5G时代!1、社交行业解决方案:传统社交通过算法进行用户信息匹配,通过数据和算法聚合信息产生用户关系,随着交互设备和网络传输的升级,从传统的文字语音社交逐渐衍生了实时视频社交需求和场景,实时音视频服务应运而生,推动了私密社交、群社交等场景进一步落地。社交行业解决方案支持一对一私聊,高清音画质量,低延迟畅聊,结合即时通讯,助力企业打造身临其境的交友体验。在性能方面支持底层性能特殊优化处理,视频动态编解码,支持最高到1080p,回音消除,自动增益。集成简便支持更多视频源扩展API,以及第三方美颜,滤镜等。2、客户服务行业解决方案:客户服务解决方案支持一对一视频客服场景,在专业客服领域,提供高清音视频,高清录制,远程控制等客户服务场景。功能方面支持PC共享桌面,可演示PPT动画,移动端共享APP界面,方便远程协助解决问题,支持客户端和服务器录制,高清回放等。部署方面支持独立集群,独立部署升级,弹性扩容,更高SLA保障,目前已经广泛服务于各大银行和保险公司。在保险视频客服场景中,用户通过实时音视频,针对用户视频采集,对比数据库确认身份,打通权限获取权限认证形成基本的实时用户身份认证功能,能够快捷的完成保险行业保单确认、定损等认证服务。高效替代人工信息确认流程,提高认证效率。3、游戏行业解决方案游戏行业解决方案支持全场景游戏互动,提供音视频互通功能,助力企业轻松打造沉浸式游戏聊天体验。功能方面支持P2P模式,更低延迟,支持多对多的视频通话,让客户无限沟通畅爽游戏PK。同时集成简单快速,支持各种游戏场景搭配,目前已经服务了包括同桌游戏等行业头部客户。4、智能硬件行业解决方案智能硬件解决方案支持一对一、多人互联,支持手表、硬件屏幕等智能设备,打通物联网实时音视频服务。功能方面支持抗延迟抖动,抗丢包,底层性能特殊优化处理,低能耗续航长时间音视频通话传输,视频动态编解码,支持1080p。目前已经逐渐成为了智能手表、智能机器人产品的标配服务。国际领先的实时音视频引擎技术,日超千万分钟技术服务保障环信实时音视频云4.0经过4年不断迭代更新,拥有自主知识产权,同时获得了多项国际认证。环信实时音视频4.0技术内核由采集模块、渲染模块、编解码模块、音频预处理模块,以及诸如混音、抖动缓冲、传输、加解密等多个关键模块组合构成,环信提供了完整的SDK(包含音视频与IM基础功能)以及详细的集成文档,确保客户能在一天时间内极简集成。1、采集模块主要是采集原始音视频视频帧数据,并传递给后续模块处理;通常视频源是摄像头和麦克风,在开启通话时采集模块开启,在结束通话时关闭;音视频采集模块相互单独实现。2、渲染模块主要是把音视频帧数据还原播放,视频分为远程渲染和本地渲染,远程渲染是把收到并解码后的视频帧数据还原播放,本地渲染是用户自身的视频数据还原播放,在移动平台上,本地摄像头采集的数据可以使用本地渲染,性能更好更省电。3、编解码模块此模块分编码和解码;编码是对大量原始音视频帧数据进行编码压缩成相对较少的编码数据,以便于在网络上传输;解码逻辑相反,对编码数据解压缩还原回原始音视频帧数据;编解码模块会对原始数据的timestamp时间戳进行音视频同步对齐。4、音频预处理模块音频预处理模块主要对采集的原始音频帧数据在编码前进行处理,主要是针对语音信号进行增强处理,使得语音更清晰,包括回音消除,噪声抑制,增益控制等。环信实时音视频云与环信即时通讯云服务场景相互结合,行业应用覆盖丰富,通过环信IM SDK触达了超过10亿台设备,目前已经为超过5000家企业客户提供日使用时长超千万分钟的音视频技术支持和服务保障。 环信实时音视频云将会持续秉承质量和服务为先,不断迭代更新产品技术本身,持续加强适配和兼容能力,为客户提供更加灵活多变的解决方案,覆盖和满足更多的使用场景,为客户集成效率、产品粘性、用户增长、使用体验等带来持续的提升,助力企业迎接5G时代。

陈博士在会后还与数百名开发者进行了深入交流,并就开发者关心的如何两行代码快速集成SDK,更好地提升社交活跃度和留存等问题进行了探讨。

摘要声网SDK 2.3.2版于2019年01月17日发布。声网 Agora.io 是为 App 开发者提供全球范围实时音视频通信服务的云服务商.1、简介以下是来自声网官方网站的介绍:声网 Agora.io 是首家为 App 开发者提供全球范围实时音视频通信服务的服务商,在全球部署了近 100 个数据中心,搭建 SD-RTN™(Software Defined Real Time Network)这个专为「实时」所设计的虚拟通信网,来极大优化全球范围内的实时传输。声网Agora.io 为开发者提供有质量保证 QoE 的实时云服务。声网 Agora.io 于 2014 年成立,隶属于上海兆言网络科技有限公司,总部位于硅谷,研发中心位于上海。团队 90% 均为全球技术工程师,包括苹果Apple 视频算法架构师、Vidyo 产品负责人、Polycom 工程总监等,平均行业经验 10 年以上,团队有年服务数千亿分钟音视频通话经验和千万级并发的互联网直播经验。2、更新内容声网 Agora SDK 2.3.2 已经正式上线,开发者们可以在官网「下载」中找到各系统、平台对应的版本。我们在这次版本中有多项新增功能及优化,可全行业场景的实时互动体验带来提升,尤其针对在线教育的多个场景进行了优化。本次升级针对音视频处理增加了多个新接口。随着新版本的上线,我们也在网络抗丢包、动态自适应、抗抖动策略等网络层方面进行了优化,针对全行业场景的网络传输质量均得到了提升。在抗丢包方面,优化的前向纠错,丢包边界提升了约10%。我们还提升 iOS 低端设备和Windows设备上的 SDK 性能,优化比率约20% - 30%。接下来,我们详细看一下本次的新增接口、功能改进。新增功能1.Windows 新增视频自采集为方便开发者在通话或直播中使用外部视频数据,此次新增两个接口:setExternalVideoSource:配置外部视频源pushVideoFrame: 它会通过ExternalVideoFrame推送外部视频帧给 Agora SDK支持在推流端进行视频自采集。启用后,应用程序将外部的视频帧数据推送给 Agora SDK 进行编码和传输。该方法适用于用户在发送端自己做采集、渲染,然后把视频帧发送给 Agora SDK 进行编码和传输的场景。开发者可以拿到裸数据后做前处理。2.移动端前置摄像头曝光与对焦当用户在视频通话或直播连麦时,可以通过点击屏幕来调整对焦、曝光,可以带来更好的体验。2.3.2版本新增如下接口,支持对兴趣点自动曝光功能。开发者可以将需要自动曝光的区域位置发送给 Agora SDK,摄像头会基于该区域自动曝光。isCameraExposurePositionSupported:检查设备前置摄像头是否支持手动调整曝光位置setCameraExposurePosition:设置手动曝光的位置,会通过positionXinView和positionYinView两个参数分别表示触摸点相对于视图的横、纵坐标onCameraExposureAreaChanged:摄像头曝光区域已更改时会有回调3.Windows 与 Mac 端新增自定义视频源画质为了提升自定义视频源的画质,并可以更好地满足多种需要调整画面大小的场景,新版本引入了setVideoEncoderConfiguration可用来替换原setVideoProfile接口,设置视频编码属性。该新接口中的VideoEncoderConfiguration类对应一套视频参数,包含视频的分辨率、帧率、码率、最低编码码率 以及视频方向。原接口 setVideoProfile 仍可使用。4. Windows 端支持音频自渲染为了给开发者灵活的开发体验,Windows SDK 新版本开始支持音频自渲染。启用后,应用程序会采用主动拉取的方式从音频引擎拉取远端已解码混音后的音频帧,用于外部音频播放。setExternalAudioSink: 设置外部音频自渲染,可以将采样率设置为 8KHz、16KHz、32KHz、44.1KHz 或 48KHz。pullAudioFrame:拉取音频帧用于外部播放5.新增虚拟声卡采集新版本在enableLoopbackRecording接口中新增参数 deviceName,支持用户使用虚拟声卡进行采集,相对之前版本,能让人声与背景音乐合成后的音质效果更好。请注意,当该参数 NULL 时默认使用当前声卡采集。如需使用虚拟声卡,直接使用虚拟声卡的产品名传参即可。6.控制音乐文件的播放音量为方便用户控制混音音乐文件的播放音量,新版本在已有adjustAudioMixingVolume的基础上新增adjustAudioMixingPlayoutVolume和adjustAudioMixingPublishVolume接口,用于分别控制混音音乐文件在本地和远端的播放音量。该版本梳理了用户在音频采集到播放过程中可能会需要调整音量的场景,及各场景对应的 API,供用户参考使用。详见官网文档「调整通话音量」部分。网络传输质量优化与此同时,我们在这段时间,还进一步优化了网络传输质量,例如在抗丢包方面,优化的前向纠错与自动重传特性,丢包边界提升了约10%。我们还在原基础上优化了动态自适应算法,进一步降低视频卡顿的发生几率。针对音频传输,本阶段还优化了抗抖动策略,改进音频的延迟与质量。更多改进与优化音乐文件音量控制:在adjustAudioMixingVolume接口基础上新增adjustAudioMixingPlayoutVolume和adjustAudioMixingPublishVolume接口,用于分别控制混音音乐文件在本地和远端的播放音量。改进网络连接状态生成策略:新增getConnectionState和onConnectionStateChanged接口,用以获取 SDK 的网络连接状态,以及连接状态发生改变的原因。废弃了原有的onConnectionInterrupted和onConnectionBanned回调。改进音频质量数据统计:增加onRemoteAudioStats,替换onAudioQuality接口,可提供分段统计音频 E2E

小班课通常是1V4或1V6,相对于1V1课堂来说,一个学生同时要接收到4-6路音视频流,对网络带宽和机器性能都有不小的挑战。网络带宽方面,声网的网络自适应策略可以达到音频优先、老师优先的效果;机器性能方面,针对低端机做了优化,使得CPU占用降低了20%;除此之外,声网的AI降噪能有针对性的消除喷麦、鼓掌等噪声。

Q:小程序有客户端日志收集么?A:小程序本身没有该功能。小程序本身提供一些回调方法,可以看到推流是否开启、分辨率、码率等信息。用户需要手动保存或上传服务器。我们在 SDK 中提供了该功能,只需要监听日志接口,就可以将日志发到回调中,用户再通过一些方法传到自己的服务器上。如果小程序在直播连麦中出现问题,可以通过日志来排查。

声网游戏音视频技术团队有数十年的专业经验,此次携手Unity,正式发布全球首个基于Unity的游戏实时音视频SDK。

l 低延时:声网端到端延时100ms,低至50ms;

Q:你们是否支持1080p?A:小程序在推流时可以通过设置最大或最小码率动态调整分辨率,所以目前没有有效的手段让小程序推1080p的流。但是声网的 SDK 在原生应用上支持1080p,在小程序与原生应用连麦时,可以通过原生应用推送1080p的视频流给小程序。

图片 1

图片 2

首先,如果你做过H5端实时音视频,你应该了解,其中最大的问题之一就是采集。为了解决该问题,最常见且可靠的方案就是使用 WebRTC ,因为它提供了一套接口可以让开发者在浏览器中获取摄像头、麦克风的音视频流,在浏览器中实现音视频的采集,并转成我们可用的数据,通过服务端推送给观众。

游戏开发者在接入任何第三方SDK时,最担心接入后无法与游戏引擎兼容,实际使用时还影响游戏本身进程,让游戏变慢、变卡,导致玩家体验中断。声网SDK特别强调Minimal Impact无痕接入,比如包体很小,SDK包嵌入后App只增加约2M,CPU占用低于行业20%以上,内存低于行业50%以上。在游戏语音开启时,仍然可以保证游戏进程不受影响,让玩家觉得实时语音是游戏的一部分,有一种身临其境的感觉。陈若非博士说道。

四大创新场景 满足教育个性化需求

小程序的局限性

5月12日,声网Agora.io受邀出席全球最大的游戏开发者盛会Unite 2017 Shanghai。声网首席音频专家陈若非博士受邀做大会主题演讲,和全球游戏开发者分享《游戏实时音视频应用与技术解析》,并现场发布了首个基于Unity的游戏实时音视频SDK。

l 设备兼容性好:适配6000+款机型,针对中低端机型适配,并进行性能优化,中低端机型也能流畅进行高清音视频互动;

Q:连麦中,头像排序如何设置?是否可以设置主头像在直播收看端画面最大?A:这涉及到画面的布局问题。大家可以通过 CSS 来控制哪个流要放大或缩小。我们在 Sample Code 中提供了一个叫 layout.js 的文件,就是用来针对不同人数做不同布局的文件,大家可以参考一下。

然而,游戏开发者集成实时音视频时会特别关注对游戏本身体验的影响,尤其是最小化游戏干扰,实现起来有很多技术难点,比如与Unity等引擎的兼容性、语音视频通话质量、功耗最小化、多场景模式和语音识别等功能。如何突破以上技术难点呢?

在互动大班课场景中,声网是行业内首家能将低延时方案应用到百万人数大频道的技术服务商。在百万人同时在线的大规模频道,相当于10场周杰伦演唱会,仍然能保证直播质量;同时,声网即将支持H5音视频,让终端学生用户打开一个微信链接,就能得到低延时视频体验,在公开课等场景里实现更强的互动,进而提升转化率。

开发者们可以通过自研来解决以上问题,比如:

声网Agora.io于2014年在硅谷创立,创始人是前YY CTO赵斌先生。声网是实时通信技术最专业的服务商。从创立第一天开始,声网就一直致力于为全球开发者提供有质量保证的实时通信服务,把实时通信这件技术门槛很高,质量很难保障的事情做得精深。而开发者只需要接入简单API,几行代码就能实现音视频通话和全互动直播功能。目前声网Agora.io的通信和直播技术已经在互联网各个领域,比如游戏、社交、直播、教育、电商等垂直行业有广泛应用。

l 网络覆盖全球200+节点:声网自建的全球虚拟实时通信网络SD-RTN™,覆盖全球不同城市、不同运营商网络;

点击这里观看回顾视频

声网此次发布的SDK,针对不同游戏场景设计了不同模式,如自由对讲、休闲、指挥和直播模式等,同时在CPU内存占用、包体大小、功耗、性能等在业内首屈一指。

郑重声明:本文版权归新匍京a奥门-最全网站手机版app官方下载所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。