FFmpeg播放器理论与实战课程

1-1

5G+音视频“5G”: 万物互联音视频产业的发展规律一直是需求和技术创新双轮驱动，并且互为因果。在 AI 时代，技术创新将不断挖掘音视频产业的潜力，使其有更强的信息承载能力和更具潜力的应用价值，从而不断推进产业升级。随着5G商用起步，音视频产业将迎来哪些商机？在5G将会影响的领域中，音视频产业是重要部分。5G: “零延迟”“5G+音视频产业”将会深入挖掘音视频产业的潜力，加速与云计算、人工智能等领域的深度融合，不断催生新的业态和新的商业模式。现场表演&教堂应用博物馆公共安全命令与控制中心商业管理近年来，IP视频网络领域最重要的发展之一是高质量视频的传输，无论视频网络中的域名数量如何，都能高达4K / 60/4：4：4 + HD——接近零延迟（低于1毫秒）。

「仅限付费用户」点击下载“音视频小白入门--1wm音视频到底是什么.pdf”

1-2

音视频自学的困惑音视频技术的开发也越来越受到重视，但是由于音视频开发涉及知识面比较广，入门门槛相对较高，让许许多多开发者望而生畏。虽然网上有很多的博文总结了音视频技术的学习路线，但是相关的知识都相对独立，有讲“音视频解码相关”的、有讲“OpenGL相关”的、也有讲“FFmpeg相关的”、还有讲“RTP/RTCP、RTMP、HLS、QUIC等通信相关的”，但是对于新手来说，把所有的知识衔接串联起来，并很好的理解所有的知识，却是非常困难的。本人在学习音视频开发的过程中，深刻体会到了由于知识的分散、过渡断层带来的种种困惑和痛苦，因此希望通过自己的理解，可以把音视频开发相关的知识总结出来，并形成系列文章，循序渐进，剖析各个环节，一则对自己所学做一个总结和巩固，二则希望可以帮助想入门音视频开发的开发者小伙伴们。

「仅限付费用户」点击下载“课程学习资料：课件源码.rar”

1-3

视频到底是什么视频是什么    视频（Video）泛指将一系列静态影像以电信号的方式加以捕捉、纪录、处理、储存、传送与重现的各种技术。    连续的图像变化每秒超过24帧（frame,fps）画面以上时，根据视觉暂留原理，人眼无法辨别单幅的静态画面；看上去是平滑连续的视觉效果，这样连续的画面叫做视频。    视频技术最早是为了电视系统而发展，但现在已经发展为各种不同的格式以利消费者将视频记录下来。    网络技术的发达也促使视频的纪录片段以串流媒体的形式存在于因特网之上并可被电脑接收与播放。视频帧    帧，是视频的一个基本概念，表示一张画面，如上面的翻页动画书中的一页，就是一帧。一个视频就是由许许多多帧组成的。帧率    帧率，即单位时间内帧的数量，单位为：帧/秒 或fps（frames per second）。如动画书中，一秒内包含多少张图片，图片越多，画面越顺滑，过渡越自然。

1-4

颜色空间RGB和YUV这里我们只讲常用到的两种色彩空间。1）RGB：RGB的颜色模式应该是我们最熟悉的一种，在现在的电子设备中应用广泛。通过R G B三种基础色，可以混合出所有的颜色；2）YUV：这里着重讲一下YUV，这种色彩空间并不是我们熟悉的。这是一种亮度与色度分离的色彩格式。早期的电视都是黑白的，即只有亮度值，即Y。有了彩色电视以后，加入了UV两种色度，形成现在的YUV，也叫YCbCr。   1）Y：亮度，就是灰度值。除了表示亮度信号外，还含有较多的绿色通道量；2）U：蓝色通道与亮度的差值；3）V：红色通道与亮度的差值。

1-5

音频到底是什么音频数据的承载方式最常用的是脉冲编码调制，即 PCM。在自然界中，声音是连续不断的，是一种模拟信号，那怎样才能把声音保存下来呢？那就是把声音数字化，即转换为数字信号。我们知道声音是一种波，有自己的振幅和频率，那么要保存声音，就要保存声音在各个时间点上的振幅。而数字信号并不能连续保存所有时间点的振幅，事实上，并不需要保存连续的信号，就可以还原到人耳可接受的声音。根据奈奎斯特采样定理：为了不失真地恢复模拟信号，采样频率应该不小于模拟信号频谱中zuigao频率的2倍。根据以上分析，PCM的采集步骤分为以下步骤：    模拟信号 -> 采样 -> 量化 -> 编码 -> 数字信号音频到底是什么？    音频这个专业业术语，人类能够听到的所有声音都称之为音频，采样率和采样位数采样率，即采样的频率。    上面提到，采样率要大于原声波频率的2倍，人耳能听到的zuigao频率为20kHz，所以为了满足人耳的听觉要求，采样率至少为40kHz，通常为44.1kHz，更高的通常为48kHz。注意：人耳听觉频率范围[20Hz,  20KHz]采样位数，涉及到上面提到的振幅量化。波形振幅在模拟信号上也是连续的样本值，而在数字信号中，信号一般是不连续的，所以模拟信号

1-6

声道码率采样率声道数    声道数，是指支持能不同发声（注意是不同声音）的音响的个数。码率    码率，是指一个数据流中每秒钟能通过的信息量，单位bps（bit per second）。    码率 = 采样率 * 采样位数 * 声道数音频格式 是指要在计算机内播放或是处理音频文件，也就是要对声音文件进行数、模转换，这个过程同样由采 样和量化构成，人耳所能听到的声音，zui低的频率是从 20Hz 起一直到zui高频率 20KHZ，20KHz 以上人耳是听不到 的，因此音频文件格式的zui大带宽是 20KHZ，故而采样速率需要介于 40~50KHZ 之间，而且对每个样本需要更多的量化比特数。音频数字化的标准是每个样本 16 位-96dB 的信噪比，采用线性脉冲编码调制 PCM，每一量化步长都 具有相等的长度。在音频文件的制作中，正是采用这一标准。    常见的音频格式有：CD 格式、WAVE（*.WAV）、 AIFF、MP3、MIDI、 AAC、WMA、OggVorbis。

「仅限付费用户」点击下载“音视频小白入门--1wm音视频到底是什么.pdf”

1-7

视频编码基础这里的编码和上面音频中提到的编码(数字化编码)不是同一个概念，而是指压缩编码。    我们知道，在计算机的世界中，一切都是0和1组成的，音频和视频数据也不例外。    由于音视频的数据量庞大，如果按照裸流数据存储的话，那将需要耗费非常大的存储空间，也不利于传送。    而音视频中，其实包含了大量0和1的重复数据，因此可以通过一定的算法来压缩这些0和1的数据。    特别在视频中，由于画面是逐渐过渡的，因此整个视频中，包含了大量画面/像素的重复，这正好提供了非常大的压缩空间。    因此，编码可以大大减小音视频数据的大小，让音视频更容易存储和传送。    那么，未经编码的原始音视频，数据量至底有多大？    以一个分辨率1920×1080，帧率30的视频为例：    共：1920×1080=2,073,600（Pixels 像素），每个像素点是24bit；    也就是：每幅图片2073600×24=49766400 bit，8 bit（位）=1 byte（字节）；    所以：49766400bit=6220800byte≈6.22MB。    这是一幅1920×1080图片的原始大小（6.22MB），再乘以帧率30。    也就是说：每秒视频的大小

1-8

音频编码基础原始的PCM音频数据也是非常大的数据量，因此也需要对其进行压缩编码。    和视频编码一样，音频也有许多的编码格式，如：WAV、MP3、WMA、APE、FLAC等等，音乐发烧友应该对这些格式非常熟悉，特别是后两种无损压缩格式。    但是，我们今天的主角不是他们，而是另外一个叫AAC的压缩格式。    本节以AAC格式为例，直观的了解音频压缩格式。    AAC是新一代的音频有损压缩技术，一种高压缩比的音频压缩算法。    在MP4视频中的音频数据，大多数时候都是采用AAC压缩格式。    AAC格式主要分为两种：ADIF、ADTS。1）ADIF：Audio Data Interchange Format。音频数据交换格式。这种格式的特征是可以确定的找到这个音频数据的开始，不需进行在音频数据流中间开始的解码，即它的解码必须在明确定义的开始处进行。这种格式常用在磁盘文件中。ADIF只有一个统一的头，所以必须得到所有的数据后解码2）ADTS：Audio Data Transport Stream。音频数据传输流。这种格式的特征是它是一个有同步字的比特流，解码可以在这个流中任何位置开始。它的特征类似于mp3数据流格式。

1-9

音视频封装容器细心的读者可能已经发现，前面我们介绍的各种音视频的编码格式，没有一种是我们平时使用到的视频格式，比如：mp4、rmvb、avi、mkv、mov...    没错，这些我们熟悉的视频格式，其实是包裹了音视频编码数据的容器，用来把以特定编码标准编码的视频流和音频流混在一起，成为一个文件。    例如：mp4支持H264、H265等视频编码和AAC、MP3等音频编码。    mp4是目前流行的视频格式，在移动端，一般将视频封装为mp4格式。

1-10

多媒体到底是什么多媒体技术是指通过计算机对文字、数据、图形、图像、动画、声音等多种媒体信息进行综合处理和管理，使用户可以通过多种感官与计算机进行实时信息交互的技术，又称为计算机多媒体技术。[3.2] 真正的多媒体技术真正的多媒体技术所涉及的对象是计算机技术的产物，而其他的单纯事物，如电影、电视、音响等，均不属于多媒体技术的范畴。多媒体技术中的媒体主要是指前者，就是利用电脑把文字、图形、影象、动画、声音及视频等媒体信息都数位化，并将其整合在一定的交互式界面上，使电脑具有交互展示不同媒体形态的能力。它极大的改变了人们获取信息的传统方法，符合人们在信息时代的阅读方式。[3.3] 什么是媒体？    媒体（Media）就是指信息的载体，其本质是信息传播的技术和手段。

1-11

多媒体概念特点优势什么是多媒体?所谓多媒体，就是指能够同时处理两种以上感觉媒体的计算机系统，其目标是为用户提供更丰富的应用体验。感觉媒体：感觉媒体是指直接作用于人的感觉器官、从而为人的感知系统所接受的信息形态或媒体形式。感觉媒体主要有文字、声音、图形、图像、动画、视频等形态。多媒体技术的第一个特征：是媒体类型或媒体技术的多样性。一个可以被称为多媒体的应用系统，必须至少集成了两种不同类型的媒体及其相关技术。多媒体技术的第二个特征：是媒体内容的同步性（synchronization）。在多媒体应用系统中，多种媒体是融合在一起的，它们是以一种协同的方式工作的。多媒体技术的第三个特征：是交互性（ Interactive）。

1-12

数字电视基础 数字电视，是从电视节目录制、播出到发射、接收全部采用数字编码与数字传输技术的新一代电视。    它具有许多优点，如：可实现双向交互业务、抗干扰能力强、频率资源利用率高等，它可提供优质的电视图像和更多的视频服务(如交互电视、远程教育、会议电视、电视商务、影视点播等)。    数字电视（Digital Television）简称DTV，是从节目采集、节目制作、节目传输一直到用户端都以数字方式处理信号的电视系统，即从演播室到发射、传输、接收的全部环节都使用数字信号，或者是通过0、1数字串所构成的数字序列进行传播。    数字电视是继黑白模拟电视、彩色模拟电视之后的第三代电视类型，是相对模拟电视而言的概念。和模拟电视相比，数字电视画质更高，功能更强，音效更佳，内容也更丰富，通常还具备交互性和通信功能。    电视数字化是电视发展史上又一次重大的技术革命。

1-13

短视频基础短视频是指在各种新媒体平台上播放的、适合在移动状态和短时休闲状态下观看的、高频推送的视频内容，几秒到几分钟不等。内容融合了技能分享、幽默搞怪、时尚潮流、社会热点、街头采访、公益教育、广告创意、商业定制等主题。由于内容较短，可以单独成片，也可以成为系列栏目。[5.2] 短视频特点不同于微电影和直播，短视频制作并没有像微电影一样具有特定的表达形式和团队配置要求，具有生产流程简单、制作门槛低、参与性强等特点，又比直播更具有传播价值，超短的制作周期和趣味化的内容对短视频制作团队的文案以及策划功底有着一定的挑战。优秀的短视频制作团队通常依托于成熟运营的自媒体或IP，除了高频稳定的内容输出外，也有强大的粉丝渠道；短视频的出现丰富了新媒体原生广告的形式。