iOS开发

HLS简介

Posted Cola🌀

背景

MP4是我们常见的视频格式，往往我们在播放服务器视频时直接就是请求的MP4视频源。但其实这样并不好，MP4头文件[ftyp+moov]较大，初始化的播放需要下载完整的头文件并进行解析，之后再下载一定长度的可播视频片段才能进行播放。另外随着视频尺寸的增大头文件也会不断变大，这个初始播放时间也会更长。针对这种情况需要一种能加快视频初始解析的方法，HLS就是苹果提出的用于解决这种问题的方案。

HLS

 HLS(HTTP Live Streaming)是苹果公司针对iPhone、iPod、iTouch和iPad等移动设备而开发的基于HTTP协议的流媒体解决方案。在 HLS 技术中 Web 服务器向客户端提供接近实时的音视频流。但在使用的过程中是使用的标准的 HTTP 协议，所以这时，只要使用 HLS 的技术，就能在普通的 HTTP 的应用上直接提供点播和直播。在App Store中的视频相关的应用，基本都是应用的此种技术。该技术基本原理是将视频文件或视频流切分成小片(ts)并建立索引文件(m3u8)。支持的视频流编码为H.264，音频流编码为AAC。

它的大致原理是这样的：它的工作原理是把整个媒体流分成一个个小的基于HTTP的媒体分片来下载，每次只下载一些分片。在开始一个流媒体会话时，客户端会下载一个包含媒体分片的索引文件，即extended M3U playlist文件(m3u8)，用于寻找可用的媒体分片。

  • 采集音视频
  • 在服务器编码音视频
  • 编码后以MPEG-2的传输串流形式交由切片器（Stream Segmenter）
  • 切片器创建索引文件和ts播放列表，索引文件用于指示音视频位置，ts为真实的多媒体片段
  • 将上一步资源放到HTTP服务器上
  • 客户端请求该索引文件进行播放，可以通过索引文件找到播放内容
  • 服务器将媒体文件转换为m3u8及ts分片；对于直播源，服务器需要实时动态更新。
  • 客户端请求m3u8文件，根据索引获取ts分片；点播与直播服务器不同的地方是， 直播的 m3u8 文件会不断更新，而点播的 m3u8 文件是不会变的，只需要客户端在开始时请求一次即可。

客户端与服务器通过HTTP协议进行交互，以两级m3u8嵌套为例，客户端先GET请求到一级m3u8，一级m3u8里面包含了服务器端可以用于传播的一个或多个不同带宽的URL，这URL可以获取到二级m3u8；二级m3u8包含了多个ts分片的duration及其URL，最后带过这个URL下载ts分片。交互方式如下：

Apple的动态码率自适应技术。主要用于PC和Apple终端的音视频服务。包括一个m3u(8)的索引文件，TS媒体分片文件和key加密串文件。

HLS中，HLS协议很大一部分内容即是对M3U8文本协议的描述。M3U8即播放索引文件，也称为Playlist，是由多个独立行组成的文本文件。索引文件可以嵌套，一般只有一级索引和二级索引；媒体流封分片装格式只支持MPEG-2传输流（ts）、WebVTT [WebVTT]文件或Packed Audio文件。

下图为索引文件（m3u8）和媒体分片（ts）之间的关系图：一级m3u8嵌套二级m3u8，二级m3u8描述ts分片


常用的流媒体协议主要有 HTTP 渐进下载和基于 RTSP/RTP 的实时流媒体协议，这二种基本是完全不同的东西，目前比较方便又好用的是用 HTTP 渐进下载方法。在这个中 apple 公司的 HTTP Live Streaming 是这个方面的代表。它最初是苹果公司针对iPhone、iPod、iTouch和iPad等移动设备而开发的流.现在见到在桌面也有很多应用了，HTML5 是直接支持这个。
但是HLS协议的小切片方式会生成大量的文件，存储或处理这些文件会造成大量资源浪费。如果要实现数天的时移，索引量将会是个巨额数字，并明显影响请求速度。因此，HLS协议对存储I/O要求相当苛刻。对此，也有公司提出了非常好的解决方案。

新型点播服务器系统，独创了内存缓存数据实时切片技术，颠覆了这种传统实现方法，从根本上解决了大量切片的碎片问题，使得单台服务器的切片与打包能力不再是瓶颈。其基本原理如下：
不将TS切片文件存到磁盘，而是存在内存当中，这种技术使得服务器的磁盘上面不再会有“数以吨计”的文件碎片，极大减少了磁盘的I/O次数，延长了服务器磁盘的使用寿命，极大提高了服务器运行的稳定性。同时，由于使用这种技术，使得终端请求数据时直接从服务器的内存中获取，极大提高了对终端数据请求的反应速度，优化了视频观看体验。

简单归纳起来就是：首先将一个完整视频分成多个TS视频文件，用户下载m3u8文件，通过m3u8文件的索引地址  播放具体的每个小段视频

优势及劣势

优势：

  • 客户端支持简单，只需要支持 HTTP 请求即可，HTTP 协议无状态，只需要按顺序下载媒体片段即可。
  • 使用 HTTP 协议网络兼容性好，HTTP 数据包也可以方便地通过防火墙或者代理服务器。
  • 当媒体流正在播放时，客户端可以选择从许多不同的备用源中以不同的速率下载同样的资源，允许流媒体会话适应不同的数据速率。

劣势

  • 因其自身的实现方式，HLS存在延迟（最少有一个分片），对于直播等实时敏感的场景，体验不好。