http://www.ox-holdings.com

网络通话新增伴音功能复制- 开始伴音,可以为微信小程序延伸出更广阔的应用场景

摘要声网SDK 2.3.2版于2019年01月17日发布。声网 Agora.io 是为 App 开发者提供全球范围实时音视频通信服务的云服务商.1、简介以下是来自声网官方网站的介绍:声网 Agora.io 是首家为 App 开发者提供全球范围实时音视频通信服务的服务商,在全球部署了近 100 个数据中心,搭建 SD-RTN™(Software Defined Real Time Network)这个专为「实时」所设计的虚拟通信网,来极大优化全球范围内的实时传输。声网Agora.io 为开发者提供有质量保证 QoE 的实时云服务。声网 Agora.io 于 2014 年成立,隶属于上海兆言网络科技有限公司,总部位于硅谷,研发中心位于上海。团队 90% 均为全球技术工程师,包括苹果Apple 视频算法架构师、Vidyo 产品负责人、Polycom 工程总监等,平均行业经验 10 年以上,团队有年服务数千亿分钟音视频通话经验和千万级并发的互联网直播经验。2、更新内容声网 Agora SDK 2.3.2 已经正式上线,开发者们可以在官网「下载」中找到各系统、平台对应的版本。我们在这次版本中有多项新增功能及优化,可全行业场景的实时互动体验带来提升,尤其针对在线教育的多个场景进行了优化。本次升级针对音视频处理增加了多个新接口。随着新版本的上线,我们也在网络抗丢包、动态自适应、抗抖动策略等网络层方面进行了优化,针对全行业场景的网络传输质量均得到了提升。在抗丢包方面,优化的前向纠错,丢包边界提升了约10%。我们还提升 iOS 低端设备和Windows设备上的 SDK 性能,优化比率约20% - 30%。接下来,我们详细看一下本次的新增接口、功能改进。新增功能1.Windows 新增视频自采集为方便开发者在通话或直播中使用外部视频数据,此次新增两个接口:setExternalVideoSource:配置外部视频源pushVideoFrame: 它会通过ExternalVideoFrame推送外部视频帧给 Agora SDK支持在推流端进行视频自采集。启用后,应用程序将外部的视频帧数据推送给 Agora SDK 进行编码和传输。该方法适用于用户在发送端自己做采集、渲染,然后把视频帧发送给 Agora SDK 进行编码和传输的场景。开发者可以拿到裸数据后做前处理。2.移动端前置摄像头曝光与对焦当用户在视频通话或直播连麦时,可以通过点击屏幕来调整对焦、曝光,可以带来更好的体验。2.3.2版本新增如下接口,支持对兴趣点自动曝光功能。开发者可以将需要自动曝光的区域位置发送给 Agora SDK,摄像头会基于该区域自动曝光。isCameraExposurePositionSupported:检查设备前置摄像头是否支持手动调整曝光位置setCameraExposurePosition:设置手动曝光的位置,会通过positionXinView和positionYinView两个参数分别表示触摸点相对于视图的横、纵坐标onCameraExposureAreaChanged:摄像头曝光区域已更改时会有回调3.Windows 与 Mac 端新增自定义视频源画质为了提升自定义视频源的画质,并可以更好地满足多种需要调整画面大小的场景,新版本引入了setVideoEncoderConfiguration可用来替换原setVideoProfile接口,设置视频编码属性。该新接口中的VideoEncoderConfiguration类对应一套视频参数,包含视频的分辨率、帧率、码率、最低编码码率 以及视频方向。原接口 setVideoProfile 仍可使用。4. Windows 端支持音频自渲染为了给开发者灵活的开发体验,Windows SDK 新版本开始支持音频自渲染。启用后,应用程序会采用主动拉取的方式从音频引擎拉取远端已解码混音后的音频帧,用于外部音频播放。setExternalAudioSink: 设置外部音频自渲染,可以将采样率设置为 8KHz、16KHz、32KHz、44.1KHz 或 48KHz。pullAudioFrame:拉取音频帧用于外部播放5.新增虚拟声卡采集新版本在enableLoopbackRecording接口中新增参数 deviceName,支持用户使用虚拟声卡进行采集,相对之前版本,能让人声与背景音乐合成后的音质效果更好。请注意,当该参数 NULL 时默认使用当前声卡采集。如需使用虚拟声卡,直接使用虚拟声卡的产品名传参即可。6.控制音乐文件的播放音量为方便用户控制混音音乐文件的播放音量,新版本在已有adjustAudioMixingVolume的基础上新增adjustAudioMixingPlayoutVolume和adjustAudioMixingPublishVolume接口,用于分别控制混音音乐文件在本地和远端的播放音量。该版本梳理了用户在音频采集到播放过程中可能会需要调整音量的场景,及各场景对应的 API,供用户参考使用。详见官网文档「调整通话音量」部分。网络传输质量优化与此同时,我们在这段时间,还进一步优化了网络传输质量,例如在抗丢包方面,优化的前向纠错与自动重传特性,丢包边界提升了约10%。我们还在原基础上优化了动态自适应算法,进一步降低视频卡顿的发生几率。针对音频传输,本阶段还优化了抗抖动策略,改进音频的延迟与质量。更多改进与优化音乐文件音量控制:在adjustAudioMixingVolume接口基础上新增adjustAudioMixingPlayoutVolume和adjustAudioMixingPublishVolume接口,用于分别控制混音音乐文件在本地和远端的播放音量。改进网络连接状态生成策略:新增getConnectionState和onConnectionStateChanged接口,用以获取 SDK 的网络连接状态,以及连接状态发生改变的原因。废弃了原有的onConnectionInterrupted和onConnectionBanned回调。改进音频质量数据统计:增加onRemoteAudioStats,替换onAudioQuality接口,可提供分段统计音频 E2E

微信在去年年底开放了小程序直播接口。小程序从仅适用于阅读、生活服务、工具等应用的流量入口,成为了许多音视频应用的又一个新平台。新功能的开放让更多应用可以利用微信的熟人社交链为应用快速拉新,提供便捷的增值服务,或加速应用变现。我们的客户,荔枝 FM 就在小程序上实现语音社交直播,花椒直播也通过小程序实现直播答题一掷千金的场景。

摘要即时通讯云网易云信于2016年12月28日发布3.3.0版,本次更新为主要版本的次要更新,详情见文章内容。发布的版本本次发布的版本号为 3.3.0版,更新时间为:2016年12月28日。iOS 更新内容新增最近会话更新,开发者可以更方便地添加 @ 标记,会话置顶等功能NIMRecentSession新增本地扩展字段localExtNIMConversationManager增加本地更新接口updateRecentLocalExt:recentSession:新增进入聊天室时重连次数设置新增进入聊天室通知的信息:禁言标记临时禁言标记临时禁言时长新增文档转码,可以在 PC 端 提交文件转码任务,将 ppt 和 pdf 等文档转码为各种清晰度的图片存储在云端,在移动端获取、下载或者删除转码后的文档网络通话新增文件混音功能,支持实时音视频中开始、暂停、恢复及停止文件混音,支持设置文件播放次数、发送音量和播放音量新增支持高清语音,提供高采样率语音,提高通话体验新增网络探测功能,可探测通话网络的连通性、丢包率和延迟等信息Android 更新内容新增1. UIKit 优化,降低接入复杂度。2. UIKit 基于强推消息实现群组 @ 功能。3. 进入聊天室接口支持可配置重试次数:ChatRoomService#enterChatRoomEx。4. 添加消息通知栏展示样式配置(折叠或者展开):StatusBarNotificationConfig#notificationFolded。默认是折叠,即云信消息端内消息提醒最多之占一栏;也可以设置为展开,达到端内、端外通知栏提醒一致的表现。5. 聊天室通知消息中加入新的附件类型:ChatRoomTempMuteAddAttachment 可获取临时禁言时长, ChatRoomTempMuteRemoveAttachment 可获取解禁提前的时长,ChatRoomRoomMemberInAttachment 可获取进入聊天室的用户是否被禁言,是否被临时禁言以及临时禁言时长。6. 网络通话新增伴音功能复制- 开始伴音: AVChatManager#startAudioMixing- 暂停伴音: AVChatManager#pauseAudioMixing- 恢复伴音: AVChatManager#resumeAudioMixing- 停止伴音: AVChatManager#stopAudioMixing- 伴音音量: AVChatParameters#KEY_AUDIO_MIXING_STREAM_VOLUME- 伴音状态通知: AVChatStateObserver#onAudioMixingEvent7. 网络通话新增网络探测功能复制- 开始网络探测: AVChatNetDetector#startNetDetect- 停止网络探测: AVChatNetDetector#stopNetDetect- 探测结果通知: AVChatNetDetectCallback#onDetectResult8. 网络通话新增高清语音支持: AVChatOptionalConfig#enableAudioHighQuality9. 网络通话新增人声检测支持: AVChatOptionalConfig#enableAudioDtx10. 添加文档转码:复制- 文档分页查询, DocumentManager#queryDocumentDataList- 单个文档查询, DocumentManager#querySingleDocumentData- 单个文档删除, DocumentManager#delete变更1. SDK IPC 唤醒方式修改。2. SDK HTTP 网络库更新。3. NOS 资源传输支持 HTTPS。4. NOS 上传优化,修复文件传输过程中出现断网,偶现重连后无法继续上传的问题。5. 聊天室断网重连机制优化。6. SDK 初始化异常问题优化。7. SDK 网络层偶现的空指针问题修复。8. SDK 多线程问题优化。9. 手动登录返回 408,415 时进行网络检测并输出到日志。10. SDK 收到新消息后不再发送 Action 为 ACTION_RECEIVE_MSG 的广播通知。若开发者依赖此广播实现接收消息,在升级 SDK 请改为使用 Observer 监听的方式接收消息。11. 网络通话移除自动增益开关: AVChatOptionalConfig#setAudioEffectAGCModeWindows(PC) SDK 更新内容新增SDK 追加文档转换模块,文档上传和下载复用nos模块功能SDK 音视频设备中支持修改音频采集时是否开启降噪、人言检查、消回音功能SDK 音视频通话支持高清语音模式,3.3.0 之前的版本无法加入已经开启高清语音的多人会议SDK 初始化是增加配置登录最大重试次数, nim_client_def.hSDK IM/聊天室/音视频(C#)提供64位编译版本,伴音功能暂不提供64位版本。nim_nos.h HTTP上传下载扩展接口增加支持断点续传和暂停功能 nim_nos_def.hHTTP下载扩展接口增加“另存为”指定到自定义路径 nim_nos_def.hHTTP上传下载扩展接口增加超时时间的自定义设置入口, nim_nos_def.hnim_nos.h 增加监听上传任务结果回调全局广播的全局注册接口,开发者可以通过监听获取多媒体消息的下载地址。聊天室“进入聊天室”的聊天室通知增加三个内容:该进入成员是否被禁言,该进入成员是否被临时禁言,该进入成员临时禁言还剩时长, nim_chatroom_def.h修复优化 注销退出流程修复 退出后cleanup可能会卡住调用线程的问题下载地址请从以下官网地址下载:

时延,便于开发者查询。提供更精准的质量报告:优化了onNetworkQuality接口的算法。优化打分反馈机制:rate接口的打分范围缩小到了1

5,方便终端用户为本次通话、直播连麦打分和反馈。音乐教学场景的音质优化:针对音乐教学等高音质需求场景,进行了音质改进。通过调用setAudioProfile,将 Profile 设置为 MUSIC_HIGH_QUALITY(4),Scenario设置为 GAME_STREAMING(3) 实现。3、声网链接下载地址:

小程序直播目前对在线教育、金融、医疗、政务民生、社交行业开放了接口,而在增加互动连麦后,将能在这些场景下实现更丰富的业务功能,拓展出更多的使用场景,例如:

  • 线上课堂:1对1、1对多的在线直播课,适用于职业教育、小班教育、学前教育等场景,实现老师、学生实时互动;

  • 视频会议:一秒快速建立多人视频会议,实现高效远程协作;

  • 在线医疗:突破医疗资源的地域限制,以及系统平台限制,实现远程多方视频会诊,降低诊断成本;

  • 在线购物:直播展示商品,同时观众连麦互动,进一步促成交易;

  • VIP 客服:专属视频客服,1对1实时交流;

  • 银行开户:专用网络,无需安装 App,通过小程序快速实现信息认证与视频开户;

  • 远程报警:从微信小程序实现一键报警,迅速连接相关部门,并通过实时视频通信,使警方能实时掌控现场情况。

通过附加低延时、高质量的音视频互动,可以为微信小程序延伸出更广阔的应用场景。不过在开发过程中还需要解决三大难点。

iOS 的微信内核浏览器不支持 WebRTC。如果开发者通过 WebRTC 来实现小程序直播,则只能在 Android 平台上实现直播连麦。所以要想实现支持 iOS 与 Android 平台,就需要通过微信<live-pusher><live-player>两个直播接口来实现。

然而通过这两个接口都是基于 RTMP 协议进行拉流与推流。这种基于 TCP 的协议天然存在较高的延时,并不适用于直播连麦场景。

图片 1image

我们曾在《详解音视频直播中的延时》一文中详细分析过不同阶段延时的产生与应对,延时的产生过程简化后如上图,延时由两大部分构成:

  • 端上的延时。采集端和播放端会出现不同程度的延时。这一段的延时受到设备性能、编解码算法、直播/通话时选取的分辨率和帧率等因素影响,延时可能是几十毫秒;

  • 在端与服务器之间的传输延时。这一段延时受到网络质量、传输线路选择、跨运营商、跨国等因素影响。上文提到小程序接口限制只能推/拉rtmp流,如果直接通过CDN传输,延时可达2-5s。设备端上的几十毫秒延时跟这个相比,微不足道。

因此,解决小程序延时问题的本质在于缩短T2的延时。

郑重声明:本文版权归新匍京a奥门-最全网站手机版app官方下载所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。