直播终端技术比较：Native vs H5 vs WebRTC vs 小程序开

2017年12月，微信小程序开发向开发者敞开了实时音视频才干，给业界带来宽广的幻想空间。连麦互动直播技能在2016年直播风口中成为视频直播的标配，可是只要在原生的APP上才干保证杰出的用户体会。
那时分，在微信小程序中无法进行实时音视频互动。微信小程序在上一年12月宣告敞开实时音视频才干，再加上上一年6月苹果宣告行将支撑WebRTC，业界一会儿千树万树梨花开，出路一片光亮。
连麦互动直播技能和微信小程序以及WebRTC能发生怎么样的化学作用？开发者在微信小程序或许浏览器WebRTC上完成连麦互动直播技能的时分，需求知道什么和考虑什么？
连麦直播的终端首要包含：原生APP、浏览器H5、浏览器WebRTC、微信小程序。浏览器上的运用包含H5和WebRTC，前者能够拉流观看，后者能够完成推流和拉流。 连麦直播移动终端-Native APP
原生APP终端音视频引擎的结构框图如下，底子包含了音频引擎、视频引擎和网络传输，合称实时语音视频终端引擎。这儿还包含底层的音视频收集和烘托，还有网络的输入输出才干，这是操作系统敞开的才干。
原生APP有个天然的优点，它是直接和操作系统打交道的，操作系统敞开的资源和才干它都能够直接用，比方说音视频的收集烘托，还有网络的输入输出。套用一句时尚的广告语：“没有中间商赚差价”，直接和操作系统对接，能够取得比较好的用户体会。
在原生APP上完成连麦直播的优势是，对上面所说的七个环节有较好的把控，能够取得比较低的推迟，能自研完成语音前处理3A算法，包含回声消除，还有对颤动缓冲战略和码率自适应的战略都有比较好的把控。别的，能够自主挑选运用RTMP协议仍是依据UDP的私有协议，对立弱网环境愈加有保证。
市面上比较盛行的前处理技能，比方美颜、挂件、变声等，原生APP都能够经过敞开前处理接口让开发者完成或许对接这些技能。为什么要着重这个呢？由于浏览器WebRTC和微信小程序都没有敞开前处理接口，开发者没有办法自行完成或许对接第三方的美颜或许挂件等技能模块。
在原生APP上，开发者能够得到全面的把控才干，让用户能够取得更好的体会。干流的视频直播渠道都有自己的原生APP渠道，而浏览器和微信小程序相对来说是辅助的。原生APP的用户体会是最好的，并且对开发者来说也是最可控的。
在原生APP上完成连麦直播的下风是什么呢？开发门槛高，开发周期长、人力本钱高。别的，从获取用户和传达的角度来讲，也没有浏览器和微信小程序那么便当。
连麦直播移动终端-浏览器（H5）
浏览器H5就像一个硬币有双面，有优点也有下风，优点是开发本钱低，简略传达，下风是只能拉流，不能推流，不能做到多个用户连麦直播。别的，在浏览器H5上推迟也是比较大。假如运用RTMP或许HTTP-FLV，推迟会在1秒到3秒之间，假如用HLS推迟会大于8秒甚至10秒，这么大的推迟就底子就不答应完成连麦直播。
运用这三种协议都是经过浏览器H5中的播映器来播映的。在多主播连麦互动的场景中，一个播映器里边只能播一路视频流，三个主播就得三个播映器，因而看不到多个主播同框连麦互动的景象。假如要看到多个主播同框互动的画面，就有必要把多路流混合成一路流，在单个播映器里边播映。
别的，浏览器H5的源代码是敞开的。假如在浏览器上把音视频终端引擎完成了，相当于对外公开了一切中心的源代码。因而，还没有见过哪个厂商在浏览器H5上完好地把音视频引擎真实做出来。即使你情愿做出来，浏览器也不会答应你这样做，开发者和操作系统之间隔着浏览器，假如浏览器不把操作系统的中心才干敞开给开发者，开发者就不能自主收集和烘托，不能掌控网络输入输出，相似流控码控等功用无法完成。
在浏览器H5中也能够经过websocket来传输，用jsmpeg来播映，视频编解码的格局用mpeg1。
mpeg1是一个比较老的媒体格局，一切浏览器都支撑。在浏览器中运用jsmpeg播映器播映mpeg1，一切浏览器也能够支撑。这么做能够取得比较低的推迟，可是仍是无法推流，没办法完成连麦直播。
连麦直播移动终端-浏览器（WebRTC）
咱们可能会觉得很惋惜，浏览器H5尽管很简略传达，开发简略可是体会欠佳，不能连麦直播。那么在浏览器上能不能推流，能不能完成连麦直播呢？答案是能够的，那就要用到WebRTC。
这儿说的WebRTC是指现已被内嵌到浏览器里边，被浏览器支撑的WebRTC，而不是WebRTC的源代码。部分干流浏览器内嵌了WebRTC，对开发者敞开了浏览器的实时音视频才干。
上图是WebRTC的结构图。咱们能够看到WebRTC包含了音频引擎，视频引擎、传输引擎等，最底层的虚线框表明能够重载，也就是说浏览器把最底层的音视频烘托和网络传输的底层才干敞开给开发者，开发者能够依据自己的需求挑选是否进行重载。音频引擎中，包含了两个编解码器：iSAC和iLBC，前者针对宽带和超宽带的音频编解码，后者针对窄带音频编解码。
音频引擎还包含了音频颤动缓冲，回声消除和噪音按捺模块等。颤动缓冲中的NetEQ算法能够说是WebRTC里边的精华之一。
视频引擎中，包含了VP8和VP9的视频编解码器，甚至是行将到来的AV1。视频引擎还包含视频颤动缓冲和图画质量增强等模块。传输引擎，WebRTC运用的是SRTP（Secured Realtime Transport Protocol）安全实时传输协议。
终究，WebRTC采取P2P的通讯方式，没有媒体效劳器等后端的完成。以上是WebRTC的简略介绍。
浏览器WebRTC一般的优势和下风这儿就不再重复，请咱们自行百度，这儿只说要点。浏览器WebRTC的优点就是完成了相对完好的音视频终端引擎，答应在浏览器上推流，能够完成连麦直播。可是，浏览器WebRTC也有缺乏：
    没有敞开前处理接口，美颜和挂件这些模块没办法接入第三方的或许自研计划。
    媒体效劳器后端没有完成，开发者要完成媒体效劳器，然后经过开源WebRTC网关（比方说janus）接入。
    编解码器、颤动缓冲和语音前处理3A等才干只能依托WebRTC，不能自行定制化。
    部分干流浏览器是不支撑WebRTC的，特别是苹果的浏览器。尽管说上一年苹果宣告支撑WebRTC,可是现在iOS Safari最新版别对WebRTC的支撑并不好，iOS Safari的干流版别并不支撑WebRTC，在iOS上面微信浏览器也是不支撑WebRTC的。
由于WebRTC不供给媒体效劳器的完成，因而需求把浏览器WebRTC接入到媒体效劳器后端，这个能够是自研的，也能够是第三方的效劳。浏览器WebRTC和媒体效劳器后端之间的协议和媒体格局是不相同的，因而要做协议和格局的变换。WebRTC用的依据UDP的SRTP，需求把它变换成媒体效劳器的依据UDP的私有协议。别的，媒体格局也需求变换，由于WebRTC中语音视频格局默认用的是VP8或许VP9。一起实时传输网络中有关信令调度也需求做一些调整。浏览器WebRTC和媒体效劳器后端之间的接入层也能够选用开源的WebRTC Gateway（比方说janus）来完成。
浏览器是相似操作系统的一种超级运用，它坐拥重要的流量进口，可是它也是开发者和操作系统之间的“中间商”。开发者经过WebRTC取得浏览器敞开的实时音视频才干，可是也必需要接受WebRTC带来的苦楚。
连麦直播移动终端-微信小程序
微信小程序是什么？是跑在微信上面的轻型运用。微信是什么？是类操作系统的超级运用。这些特征和浏览器以及H5是不是很挨近？H5是浏览器支撑的轻型运用，而浏览器是类操作系统的超级运用。浏览器背面是各大世界科技巨头，不像微信这样背面只要腾讯一个互联网巨头。因而，从这个角度来看，微信小程序、浏览器WebRTC和H5是有相通之处的。
微信小程序能够类比为浏览器H5那样的客户端和效劳器的结构。其间HTML对应微信小程序的WXML，CSS对应小程序的WXSS，小程序的脚本语言和JS是相同的，仅仅框架不相同。微信小程序供给了两个标签，一个是，一个是。就是推流，就是拉流，能够完成单向直播或许连麦直播。小程序供给两种形式：LIVE和RTC，LIVE支撑单向直播，RTC支撑低推迟的连麦直播。现在微信小程序推流选用RTMP协议，假如要和私有协议互通，需求进行协议变换。
微信小程序敞开了实时音视频才干，对业界来说是严重利好。可是，依据上面的信息和逻辑，咱们也看到选用微信小程序完成连麦互动直播的优点和缺乏。
优点有三点：
    开发本钱低，开发周期短，底子和H5的开发难度差不多；
    很简略传达和获客，充沛运用好微信的优质流量；
    能够推流和拉流，答应完成连麦直播和实时语音视频通话。
缺乏有四点：
    你会受制于微信小程序的实时音视频才干，比方说，假如它的回声消除有某些问题，你只能等微信团队依照自己的节奏来优化，而自己没有任何办法去优化。
    小程序没有敞开前处理接口，只能运用小程序自带的美颜或许变声功用（假如有），不能对接自行研制或许第三方的美颜或许变声模块。
    经过RTMP协议推流和拉流，不能和依据UDP的私有协议互通连麦。假如要完成和依据UDP的私有协议互通连麦，就必需要添加接入层来变换协议格局甚至媒体格局。
    没有完成后端媒体效劳器，开发者必需要自行完成媒体效劳器，或许把微信小程序接入到第三方的实时通讯网络。
浏览器经过WebRTC敞开了浏览器的实时音视频才干，而微信经过小程序敞开了微信的实时音视频才干，在两个类操作系统的渠道上答应开发者去完成连麦直播和实时音视频通话。可是，不管WebRTC仍是小程序仅仅在终端上带你入门，对开发者来说，要真实完成整套系统，还有许多工作需求做的。
假如要将微信小程序接入实时音视频传输网络，中间得有接入效劳器，咱们叫接入层。在接入层咱们需求做协议的变换，比方说，假如实时音视频传输网络是运用依据UDP的私有协议，那么要把RTMP协议转为依据UDP的私有协议。还有媒体格局的变换，假如和实时传输网络的媒体格局不相同，还需求进行变换。
连麦直播移动终端-WebRTC经过WebView接入小程序
还有别的办法在小程序上做连麦直播互动吗？必需要运用微信小程序敞开的语音视频才干吗？也不一定。下图展示了我在市面上看过的一个技能计划，它绕过了微信小程序实时语音视频才干，经过微信小程序WebView组件完成了连麦直播的计划。这儿和咱们共享一下。
这个计划的底子思路是运用WebView的浏览器特色，在WebView内运用WebRTC的Web API，从而在小程序上取得实时音视频才干。上图是这个计划的架构图。最底层是微信小程序的基础才干。上一层是WebView，微信小程序的WebView相似浏览器，那么就可能会支撑WebRTC。可是必需要注意到，微信小程序的WebView在安卓渠道上支撑WebRTC，但在iOS渠道上面不支撑WebRTC。尽管这个计划理论上也能在微信小程序上完成连麦直播，可是它有以下的限制性：
    在iOS渠道上，微信小程序不支撑这个计划，上面现已说过。
    小程序WebView不是完好的浏览器，要比一般浏览器体现差并且有许多的约束。
    开发者和操作系统之间隔了好几层：微信底层，小程序，WebView，WebRTC，然后才是开发者的小程序运用。每一层的笼统都会带来性能上的耗费，都会影响到终究的体会。
这个计划本质上仍是一个依据WebRTC的解决计划，没有用到微信小程序敞开的实时音视频才干，而是快速地凭借WebView组件，剑走偏锋，非常讨巧地在微信小程序里运用了WebRTC。
结语
连麦直播技能逐渐在原生APP, 浏览器H5，浏览器WebRTC，微信小程序上延伸，衍生出愈加丰厚的生态，供给愈加快捷和杰出的用户体会，对视频直播渠道和用户来说是好消息。可是，欲带皇冠，必承其重。特别是在浏览器WebRTC和微信小程序上，开发者要充沛理解这些类型终端的特色和限制，才干更好地在上面运用连麦直播技能进行立异，效劳用户。