即构SDK新增焦点语音功能,助力“空中课堂”实现更自然的交互
021年,即构SDK迭代如期而至。今年,我们会着重介绍SDK迭代的重要新增功能,让大家更清晰的了解到这些新功能的特性及应用场景。
重点新增功能
多人语音通话场景下的焦点语音功能
功能介绍
即构SDK1月新增焦点语音功能,适用于超多人语音通话场景。在多人同时说话的嘈杂环境下,依旧能聚焦特定用户的语音。支持开启多路混音模式,开发者通过设定拉流端在多路混音时要突出的目标流声音,实现特定用户语音的聚焦。
适用场景
随着疫情的反弹,全国各地中小学陆续叫停了线下教学活动,转而用「空中课堂」等线上的方式完成日常教学。因而,搭建一个尽可能还原现实课堂的线上教课空间,是实现高效教学的关键。
空中课堂一般为学校课程的线上化,不仅课堂人数规模大,还有像朗读、体育、音乐等此前未大规模线上化的课程,因此需要根据学科特色持续不断的优化空中课堂教学效果。以朗诵为例,既有单人朗读,也有学生齐声诵读的场景,在多人同时朗读时,老师需要分辨出不同学生的声音,进而提供针对性的指导。
即构“焦点语音”功能,让多个学生朗读时,可实现聚焦特定学生声音。在热烈的课堂氛围中保证老师与学生以自然的方式进行互动,助力“空中课堂”实现高效的课堂教学监督,展现线上教学系统的优势。
功能优势
即构焦点语音功能,解决了空中课堂等线上教育场景下,教师同时监督多位学生朗读和学习状态的痛点。
从技术角度看,当一个线上教学课堂内有N个连麦通话的人,则课堂上每位成员的设备系统会输出 N-1 条音频流的数据。此时,降低设备性能开销和识别特定的说话人员,是首要考虑的技术难点。
即构推出了多路混音模式,通过后台混音机制,降低用户拉取多路音频流带来的设备性能开销;同时提供突出音频流的列表,聚焦在特定的用户说话声音上,在喧闹的环境中仍支持清晰的语音通话。
其他新增功能
1.新增多种音效效果
SetVoicePreset 接口新增多种预设声音音效:清澈、高亢、嘹亮、饱满、假音、圆润、低沉、浑厚、女活力,增加实时语音趣味性。
SetReverbPreset 接口新增多种预设混响音效:嘻哈、飘渺、3D人声、留声机,可用于烘托房间氛围。
2.视频内部采集新增支持设置旋转角度
推流端启用视频内部采集旋转功能,可设置视频输出的画面方向。在教育场景中,可调整使用高拍仪设备的拍摄角度,达到教师端与学生端画面视角观看一致的体验。
新增接口 SetCaptureFrameRotation,可设置逆时针旋转 0°(默认值)、90°、180°、270°,支持在推流过程中使用。
3.新增本端设备摄像头状态回调 (Windows)
新增摄像头状态回调功能,当本端设备的摄像头发生改变时,可获取相关的状态变化事件,可用于判断摄像头设备是否正常工作。
4.拉流质量回调新增音频和视频卡顿统计指标
新增多个拉流质量回调指标:音频和视频卡顿累计次数、音频和视频卡顿累计时长、音频和视频解码累计时长。
方便开发者了解拉流端在 RTC 通话场景中音频和视频的质量,通过数据洞悉业务表现。
此外,还新增了流控触发模式、摄像头权限状态查询、设置系统声卡采集音量、设置拉流缓存区间值等多项功能,实现更优质的音视频体验。完整的SDK迭代内容,欢迎进入“即构官网-开发者中心”查看。