主页

实时音视频选型 开发者应该避开哪些坑?

  实时音视频技术的专业度和复杂度都很高,通过PaaS服务商来集成实时音视频,快速开发App,是时下开发者的优先选择。所选RTC是否好用易用、契合所需场景,将直接影响项目开发进度和后期运维成本。

  开发者需要了解实时音视频技术选型中要避开的坑点,以便提高开发集成效率。具体来说,以下四个方面要综合考虑。

  几乎100%的实时音视频在线应用都有文字/语音消息、文件传输、图片显示等IM需求。

  目前市场上PaaS服务商这两方面能力强弱不一:有的大厂虽然两方面能力都提供,但不能确保两种能力同样高质量;有的专业 RTC 厂商,只能提供RTC能力,IM能力还得由第三方专业服务商提供。

  这样,便迫使开发者在集成过程中不得不分别选择服务商。当实时音视频与IM质量不稳定时,需要逐一协调各个服务商,逐一排查问题,无形中增加了后期的运营成本。其实,IM和音视频在很多场景下有耦合,建议开发者在选型一开始就要考虑具有RTC+IM双重高保障能力的通信云厂商,尽量“用一套 SDK,解决所有通信场景”。

  对开发者来说两项功能同时开发,开发包相对比较小;如果前期只用到了IM,没有用到RTC,那么只需要学习IM方面的开发文档就可以了,一旦有了RTC需求,再去学习RTC文档,开发者只需接入相关接口,快速与IM能力做对接和匹配,即可完成两类功能在App生命周期里的全覆盖。

  除了开发上的易快速上手外,选择“IM+RTC+推送”整合的解决方案,开发者还可以享受一致的网络架构,提高传输的效率和质量,获得一致的服务保障。例如,融云近期升级了实时音视频能力,RTC的通信信令是复用IM信令通道,可以确保消息100%的连通率和到达率,使底层的通信优势发挥到最大。

  通过调研发现,用户最不能接受实时音视频的三个质量问题是延时、卡顿、抖动。

  低延时要靠两个方面解决,一个是传输协议,一个是优化整体传输环节。实时音视频的主流传输协议有RTMP和UDP两种,一种支持CDN技术,一种支持WebRTC技术,相对来说,CDN技术延时性在3- 5 秒,WebRTC可以在几百毫秒以内,现在很多厂商可以同时支持这两种技术,分别适用于不同的场景。

  整体传输环节中,采集/渲染、编解码/网络往返都会有一定的延时,有些是硬件的物理延迟,需要靠5G这样底层网络技术的提升,或者布更多的数据中心、边缘结点,便于就近接入;有些要针对实际场景,在具体形态上做一些权衡,比如在处理粒度上粗细的考虑,越细的粒度传输的数据包相对较大,延迟也会更高。

  当音视频出现卡顿时,有一个视频流畅优先的原则。我们通过降低一些码率和帧率,即使画面模糊一点,也要让用户视觉上是流畅不卡顿的。这样在选型时候,要考虑几个方面:一个是优化低码率下的视频清晰度;二是要有带宽估算能力,当预判到这个带宽没法承受高清晰视频传输时,自动转化成低码率并通过优化算法,使低码率视频清晰度能媲美高清视频。

  另外,数据包通常会以错误的顺序到达,从而产生抖动相关问题,或者直接丢失,造成音视频空白。谷歌一份资料显示,视频聊天应用 Duo 99%的通话都有数据包丢失、过度抖动或网络延迟情况。20%的通线%的通线%,也就是说每次通话都有很多音频需要替换。

  处理上述问题,很多厂商会采用抗丢包及抗网络抖动能力的NACK(丢包重传)、FEC(前向纠错)、自适应带宽调整(动态调整码)、接收端 Jitter Buffer(媒体流平稳)等各种机制,有些是组合使用,有些是单独使用,开发者在选型前一定要做到深入了解。

  刚才谈到低延时、抗丢包的解决策略,有些是与网络接入路径长短直接相关的。比如中美两地的音视频连接,没有全球通信网络支持、数据中心和节点布局的厂商是提供不了服务的。开发者选型开发前,就要考虑到自己业务的所属范围。

  选择全球化服务的云厂商,除了看数据中心和节点分布外,还要仔细考察全球网络布局的品质,简单说,有的厂商提供了全球网络优化能力,中美之间的音视频连接在未优化前要经过 100 多跳,而优化后仅 6 跳就能完成连通。这是由于,这些厂商拥有自有的路径最优算法,通过智能路由就近接入,即使在异国/地网络环境较差的情况下,仍然能够及时切换到更好的线路上去。比如融云拥有全球优化加速网络,实时音视频通话可做到全球端到端延时小于400ms,最低延时66ms,保障端到端之间延迟无感知的实时互动。

  在场景化能力上,实际上相比IM,实时音视频更加通道化,在各个场景中复用的程度也相对较高,能力也更基础。优秀的PaaS厂商会按场景提供不同的Demo,音视频技术的升级也针对解决更多的应用场景去优化,便于开发者拿来即用,这种方式对入门级的开发者都十分友好。各种API接口相对独立,开发者只需关注和使用所需要的SDK,就可以实现想要的场景,大大降低集成开发的难度。

  在一些社区中,我们常常会看到一些技术文档下,开发者提出问题而没有回复。开发者为提高开发效率,越来越倾向于自助完成工作,因此,开发文档是否易懂,Demo 是否易用,都显得十分重要。

  另外,工单回复的速度,微信群、社区的值守和响应程度等都能反映PaaS厂商服务意识的强弱。通常来说,7× 24 小时技术支持服务, 1 小时工单快速回复、快速远程接入、快速恢复的故障应急响应机制,这些都是对开发者很完善的服务支持。

  有些厂商还会提供特色的质量监控服务,比如融云“北极星”的质量问题排查平台,通过可视化图表,快速定位卡顿位置,实时统计丢包率,使开发者可以自助排查每一次音视频通话过程中的丢包率、网络带宽等通信技术参数。可以直接定位用户问题,提高排查效率,提升用户体验。

  免责声明:“站长之家”的传媒资讯页面文章、图片、音频、视频等稿件均为自媒体人、第三方机构发布或转载。如稿件涉及版权等问题,请与我们联系删除或处理。稿件内容仅为传递更多信息之目的,不代表本网观点,亦不代表本网站赞同其观点或证实其内容的真实性,更不对您的投资构成建议。我们不鼓励任何形式的投资行为、购买使用行为。

  近期,互联网通信云厂商融云进行实时音视频产品升级,推出了“IM+音视频+推送”的整体解决方案,实现了“用一套SDK解决一切通信场景”,全面适配市场主流的各类终端设备,包括在多种智能硬件设备中实现平台间通讯。升级后的实时音视频服务质量大幅提升,在整体网络架构上,全球分布式架构的部署让扩容时间缩短 4 倍,能轻松应对海量流量的激增。弱网优化策略方面,增强了抗丢包及抗网络抖动能力,直播场景端到端延迟小于350ms。更?

  【TechWeb】7月10日消息,为满足结伴自驾游用户在导航过程中通话的刚需,高德地图在原有“组队出行”功能基础上新增“实时对讲功能”已于今日上线。安卓端已经发布,苹果用户近期也可以更新使用。在导航过程中,参与“组队”的朋友们可以在同一界面进行语音对讲,收到队友的语音对讲时,系统还会自动播放,解放了司机的双手,让用户可以更专注在驾驶上。据悉,用户可以通过打开高德地图搜索“组队”,或者在高德首页选择“更多工?

  今日,高德上线“家人地图”功能,用户在高德地图上搜“家人地图”进入功能页,添加亲人即可组建“家人地图”。“家人地图”除了与家人位置共享,可实时获取家人所在地点外,还可以给家人设置“亲友位置提醒”。另外,“家人历史轨迹记录”可以精确记录家人最近 72 小时内的行动轨迹,回溯家人去过的地点。

  这一切,有的正在发生,有的即将实现,还有的虽然听起来很遥远,但却让人充满期待。“时间永远分岔,通往无数个未来“,这些场景的最终指向就是实时互联网的未来。

  7 月 20 日,科大讯飞正式发布了一款名为“智能无线”的全新产品。作为一款智能的无线演示器,相较于传统的翻页笔而言,科大讯飞这款智能无线演示器有着更多的独特功能,比如:语音转写、实时字幕、语音指令、扫码分享等等,可以给我们带来更加创新的功能体验。 实际上,对于大部分职场人、培训师以及教师而言,PPT讲解是他们日常工作中经常遇到的一个工作场景,无论是方案的提交汇报,还是老师授课,又或是培训演讲,讲?

  摘要:拓课云通过Zenlayer迅速扩容,建设更大规模的通信网络,提供更稳定的在线教育服务。背景:COVID- 19 自 2020 年 1 月起席卷全球,疫情带来了中国历史上最大规模的大中小学网课实验。停课不停学,2. 65 亿在校生转向线上。春节期间,在线教育产品的用户相较去年同期一下子激增了22%,教育学习类的日常活跃用户DAU从过去的 8700 万飙升至1. 27 亿,多个在线教育应用DAU飙升至千万。拓课云是一家在线教育全场景解决方案供应商、

  今日,滴滴出租车发布 “桔行系统”,并将围绕该系统布局出租车信息化开放平台。滴滴出行表示,“桔行系统”是以智能车载设备数据为基础,结合滴滴出行大数据、AI能力及行业领先的服务标准,为出租车行业提供体系化

  近年来传统风控模式逐渐被改变,实时智能的事中风控逐渐成为银行等金融行业的发展趋势。实时智能风控逐渐成为银行业标配,越来越多的金融机构发力科技。近日,邦盛科技中标朝阳银行电子渠道实时监测系统建设项目。邦盛科技将通过丰富的实践经验及领先的技术能力,升级朝阳银行对银行卡交易的风险识别和防控能力,实现跨渠道、全天候、实时的交易风险监控,保障客户资金安全,加快银行数字化转型系统项目建设。朝阳银行是经中国银保

  保险欺诈与保险市场的发展始终如影随形。当保险机构还处在市场份额争夺战时,日益猖獗的保险欺诈却在暗潮涌动。在我国,尤以车险市场和健康险市场上的欺诈行为最为突出。一辆投保车辆多次出险,一套伪造的资料多处使用,甚至发生过一辆车在同一事故中先后在 10 个保险机构获赔 30 多次的荒谬事。在健康险中,投保人或带病投保,或未发生保险事故而谎称发生保险事故,或先出险后投保,出伪证故意骗取保险金,或自导自演一幕幕自残的

  微信视频号只能看视频不能发布视频是怎么回事?微信是目前国民级的 app,几乎是每台智能手机的必备软件,也成为是事实上的「基础设施」。日前微信的新功能微信视频号日前全面开放了视频号功能,那么微信视频号只能看视频不能发布视频是怎么回事?微信视频号是每个人都有吗?以下是微信视频号的详细介绍。

  微信视频号功能在正式上线后,有不少用户想要了解这个视频号是如何运营,尤其是视频的来源是哪里的,对于想要加入视频号创作的用户来说,可以来一起看下。

  近日,邦盛科技中标山东省城市商业银行合作联盟有限公司(以下简称:山东城商行联盟)智能风控项目。凭借在实时智能风控领域的优势及丰富的实施经验,邦盛科技将为山东城商行联盟建设跨渠道的统一风控防控与管理系统,通过“事前风险感知”、“事中实时决策”、“事后案件调查”的风控业务流程全覆盖,为联盟提供“智慧银行”跨渠道交易反欺诈,以及银行信用卡申请渠道实时反欺诈服务。山东城商行联盟是目前全国唯一持有金融牌照的中?

  北京时间 6 月 26 日,全球实时互动云服务商声网Agora正式在美国纳斯达克挂牌交易,股票代码为“API”,成为“全球实时互动云第一股”。声网Agora最终发行定价为 20 美元,超过此前16- 18 美元的价格区间,总计募集资金4. 6 亿美元(含3. 5 亿IPO及1. 1 亿同步私募,不含绿鞋)。 声网Agora首创实时互动云(Real-time Engagement Platform-as-a-Service,简称 RTE PaaS)服务,并以其先发优势及技术领先,成为该领域企业和开发者的第

  6月26日,声网Agora正式在美国纳斯达克挂牌交易,股票代码为“API”,成为“全球实时互动云第一股”。声网Agora最终发行定价为20美元,总计募集资金4.6亿美元。声网上市首

  微信视频号里如果看到了很喜欢的视频,又想要下载这段视频的话,需要进行什么样的操作步骤才可以保存视频呢,这里我们来一起看下微信视频号的视频保存到手机上的具体操作方法。

  微信视频号作为微信新推出的一个功能,用户可以发布和分享自己的趣事或者精彩剪辑过的视频,因此常常可以看到很多有趣的视频内容。有的用户想要下载视频,那么需要怎样可以下载微信视频号的视频呢。

  微信视频号是微信APP上推出的一种视频发布功能,这一功能填补了微信朋友圈相对私人的限制,同时视频长度也比微信朋友圈内的视频可以更长,这里我们就来看下微信视频号发布视频需要进行什么样的操作以及要求。

  【TechWeb】6月29日消息,近日,西瓜视频为鼓励优质内容创作,特设立100万元奖金,征集一支以“重启”为主题的视频。相关负责人表示,“重启”就是心怀勇气迎接挑战和机遇,开启新生活。这是继免费开放4K功能、推出“活字计划”后,西瓜视频在这方面的最新动作。即日起,用户打开西瓜视频App,搜索“重启”,便可参与投稿。活动期为1个月,2020年7月31日将公布评选结果。

  实时热点新闻:#“优酷”商标被驳回# 数据显示:7月1日,优酷网络技术(北京)有限公司与国家知识产权局商标纠纷的一审行政判决书公布公开,法院驳回了优酷“优酷”商标复审申请。优酷网络技术(北京)有限公司曾于2018年申请“优酷”图像商标,申请/注册号为29303724,指定使用于第17类的“橡胶或硫化纤维垫圈”等商品上。WechatIMG4818

  根据抖音商家提供的截图显示,“带货榜”和此前的“小时榜”并列显示,展示抖音以及抖音火山版主播的实时直播带货销量。有抖音玩家认为,此举意味着,如今的抖音已经开始把电商直播和秀场直播放在了同等重要的位置。

  疫后酒旅消费开始复苏,人们开始更多选择本地游、周边游,“泡”高星酒店度个假。暑期出游,如何在“住得好”的同时又能“住得省”?美团提供了新..

  2020年高考,因为疫情和洪水的影响,成为名副其实的“最难高考年”,使得“高考”相比往年更加备受关注。针对高考这样的社会热点,各互联网平台基..

  炎热的七月, 2020 年高考已经放榜,各地区的中小学生们也陆续迎来暑假。在许多家长眼中,家中的“神兽”只是短暂的上了几天学,就又迎来了一个长..

  OKEx早报将在每日早间为您带来最新的行情,以及相关行业动态。帮助投资人在最短的时间内了解夜间的动态消息,更好的握把每日行情。行情速递7月29日..

  深耕红人经济十年,IMS(天下秀)登陆A股后,A轮投资人获得了 350 倍的投资回报。2020 上半年最大的风口是什么?直播带货绝对是标准答案之一。..

  抖音上有很多网友发现别人头像上是有戴皇冠的很有意思,但是不知道怎么弄,下面就来为大家分享一下抖音的皇冠视频制作教程。..

  根据德勤中国教育行业的研究报告显示,2020年全球教育行业规模有望达到20万亿人民币;AI+教育的市场规模将达到约7万亿人民币,并将在未来一段时间..

  作为全球最大的手机厂商之一,华为的每一款代表性旗舰在发布前的一丝一毫爆料都备受外界关注,前作开创的“瀑布屏”形态打破了传统全面屏的视觉效..

  7月28日晚,努比亚红魔如约推出了全新的红魔5S游戏手机,该机配备了144Hz超竞屏,内置风冷+液冷散热,值得注意的是,与此前不久推出的搭载了最新的..

  “一个国家的发展总是离不开创新,一个民族的兴旺也总是离不开传承”,他将自己的青春和专注献给了文化公众传播事业,作为博物馆公共教育推广人,..

  柯达曾经全球摄影领域的引领者,现在宣布进军制药行业了,并获得美国政府提供7. 65 亿美元的贷款。该公司将成立一个新的业务部门,柯达制药( Koda..

  7 月 28 日,幻尔科技宣布推出JetArm智能视觉机械臂,这款人工智能教育产品旨在帮助更多高校学生更好的学习研究人工智能技术。JetArm智能视觉机械..

  据第一财经报道,针对“百度网盘分拆上市”的报道,百度方面回复称:不予置评。..

  在本次中国房地产研究组举行的“ 2020 中国房地产百强企业研究成果发布上,中国房地产TOP10 研究组颁布了 2020 中国房地产百强企业排行榜,蓝光发..

  BTL美修斯大火,全民美修斯【增肌减脂】时代开启!除了美修斯,BTL家还有一款火爆全网的塑形神器——BTL隔空溶脂,与美修斯是腰腹减脂的超强CP,不..

  7 月 27 日,娃哈哈奶茶在广州开出了全国首个直营店,宗庆后也来到现场品尝主打产品、提出发展概念。可事实上,尽管直营店才刚刚落地,但此前已有..

  近日,荣耀游戏本频频曝光。今日,荣耀总裁赵明在微博上问道:“大家对游戏本都有哪些期待?”网友纷纷跟评:“能扫雷”&ldq..

  经查,目前唯一的苹果认证第三方5K显示器LG UltraFine 5K已被苹果停售,无论是国行官网、北美、英国、加拿大等,皆是如此。不过,LG UltraFine 4K..

  7月28日,时隔5年、索尼Alpha视频主力机型终于发布了新产品:A7SIII(A7S3),官方售价23999元,预计9月上旬发货,届时首批用户和媒体将拿到真机,..

相关阅读