IV. Fundamental Concepts in Video

Type of Video Signals

• 分量视频(Component Video) 是演播室等高端视频系统中使用的一种视频格式。
  • 颜色信息被分为 RGB 三个独立的信号并通过三条线路传输，不存在通道之间的 串扰(crosstalk) 实现最好的色彩还原。
  • 需要较大的带宽和良好的同步性能。
  • 除 RGB 外，还可以使用 YIQ、YUV 等其他颜色模型。
• 复合视频(Composite Video) 主要用于广播彩色电视，并同时兼容黑白电视。
  • 将 色度(Chrominance) 和 亮度(Luminance) 信号混合到单个载波波形中，仅需一条线缆即可进行传输。
  • 但是存在亮度和色度混合带来的干扰
  • 在接收端，色度和亮度信号可以被分离，从而能够进一步恢复彩色视频信息（后面会讲到具体方法）。
• S-视频(Separated Video, Super Video, S-Video) 是一种折衷的解决方案，主要用于 S-VHS 等较为高端的视频格式：
  • 采用双线传输，其中一条用于灰度信号，另一条用于色度信号。
  • 利用了人眼区分灰度图像空间分辨率的能力远高于彩色的性质，减少色度信号对灰度信号的串扰。

Analog Video

Related Concepts

Progressive scanning

逐行扫描(Progressive scanning)：在每个时间间隔内，逐行扫描整个图像（一帧）。

• CRT 显示器就采用这种方式，通常刷新率在 85Hz 以上。
• 在模拟视频的信号中，通常用一个“比黑色更黑”的信号来表示 水平回扫(horizontal retrace) 的时间，并作为同步信号使用，这样做也不容易和图像信号混淆起来。

Interlaced Scanning

隔行扫描(Interlaced scanning)：可以看做是逐行扫描的一个改进。通过先扫描奇数行，再扫描偶数行。

• 实际上，奇数行扫描结束时刚好位于屏幕中间的 T 点，接着垂直回扫并从 U 点开始。这自然地达成了先扫描奇数行再扫描偶数行的效果。
• 垂直回扫(vertical retrace)：像 T 点到 U 点或 V 点到 P 点都称作垂直回扫。
• 对于非常快的动作，使用隔行扫描的方法可能加剧模糊。

NTSC Video

NTSC 标准由 美国国家电视系统委员会(National Television System Committee) 于 1953 年制定，适用于美国、加拿大、日本和韩国。

• 屏幕比例：4:3
• 扫描线数：525 行/帧（采用隔行扫描，每场 262.5 行）
  • 每行时间：$1 / 15,734 = 63.6$ 微秒（其中 $10.9$ 微秒用于水平回扫，$52.7$ 微秒用于显示）
• 帧率：30 fps（实际为约 29.97 fps，每帧 33.37 毫秒） - 垂直回扫：每场保留 20 行，因此实际显示 485 行
  
• 采用 YIQ 色彩模型
• 没有固定的 水平分辨率(horizontal resolution)（每一行扫描所包含的像素采样数），通过 samples per line 决定：

Color Model and Modulation

• NTSC 使用 YIQ 颜色模型，并采用 正交调制(quadrature modulation) 技术将 同相(in-phase) 信号 I 和 正交(quadrature) 信号 Q 组合成一个色度信号 C：

$$C = I\cos(F_{sc}t) + Q\sin(F_{sc}t)$$

• 这个调制的色度信号也被称为 颜色子载波(color subcarrier)，其频率为 $F_{sc} \approx 3.58 \text{MHz}$（为什么设置这一频率在课件中有讲，略）。
• NTSC 复合信号是亮度信号 $Y$ 和色度信号的进一步组合：$\text{composite} = Y + C = Y + I\cos(F_{sc}t) + Q\sin(F_{sc}t)$。
• NTSC 为 YIQ 分别分配了 4.2 MHz、1.6 MHz 和 0.6 MHz 的带宽。

Composite Signal Decoding

课件中的例子是解码 $I$，这里把我写的小测题题解（解码 $Q$）搬过来，两者的原理是完全一致的。

根据课件（公式 5.1）复合信号的形式为：

$$\underbrace{Y}_{\text{low}} + \underbrace{I \cos(F_{sc}t) + Q \sin(F_{sc}t)}_{\text{high}}$$

这里信号 $I$ 和 $Q$ 都与一个特定频率的副载波 $F_{sc}$ 相乘，其频率比 $Y$ 信号的最高频率还要高。这样在复合信号中 $Y$ 是低频信号，$I \cos (F_{sc} t)$ 和 $Q \sin (F_{sc} t)$ 都是高频信号。使用 低通滤波器(Low-pass filter) 可以从复合信号中提取出这一低频信号 $Y$，剩余部分就是高频信号，记为 $C$，这就是色度信号。

为了进一步提取信号 $Q$，我们将信号 $C$ 与解调载波 $2 \sin (F_{sc} t)$ 相乘，可以得到：

$$\begin{aligned} C\cdot 2\sin(F_{sc}t) &= 2 I \sin (F_{sc} t) \cos(F_{sc} t) + 2Q \sin^{2}(F_{sc} t)\\ &= I \sin(2 F_{sc} t) - Q(1 - \cos^{2} (F_{sc} t))\\ &= Q - Q\cos(2F_{sc}t) + I\sin(2F_{sc}t) \end{aligned}$$

在对其应用一个低通滤波器就可以提取得到 $Q$。（如果想要提取 $I$ 的话改为乘以 $2 \cos(F_{sc} t)$ 即可。）

PAL Video

PAL（Phase Alternating Line）视频标准由德国在 1962 年制定，适用于欧洲、中国等地区。

• 屏幕比例：4:3
• 帧率：25 fps
• 扫描线数：625 行/帧
  • 隔行扫描：每场 312.5 行
  • 水平扫描频率：$625 \times 25 = 15,625$ 行
  • 每行时间：$1 / 15,625 = 64$ 微秒（其中 11.8 微秒用于水平回扫，52.2 微秒用于显示）
  • 垂直回扫：每场保留 25 行，因此实际显示 575 行
• 颜色模型：YUV
• 色度信号带宽：Y 为 5.5MHz，U 和 V 各 1.8 MHz

SECAM Video

SECAM（Système Electronique Couleur Avec Mémoire）由法国在 1966 年提出

• 帧率：25 fps
• 扫描线数：625 行/帧
• 与 PAL 类似，但 SECAM 的 U/V 色度信息在不同行交替传输。
• 颜色副载波频率：U = 4.25 MHz，V = 4.41 MHz。

Digital Video

数字视频的优点

• 将视频存储在数字设备或内存中。
• 可以随时处理并集成到各种多媒体应用中。
• 可以直接访问——支持非线性视频编辑。
• 重复录制不会降低图像质量。
• 易于加密，对信道噪声的容忍度更高。

Chroma Subsampling

四种不同的 色彩下采样(chroma subsampling) 方法：

• 4:4:4：不进行子采样，所有像素均包含亮度和色度信息。
• 4:2:2：水平方向上色度分辨率减半，每 4 个亮度像素只存储 2 个色度值。
• 4:1:1：色度采样比 4:2:2 更少，每 4 个像素只存 1 个色度值。
• 4:2:0：水平和垂直方向均进行 2 倍采样，每 4 个像素中的色度信息最多存 1 个（常用于 JPEG 和 MPEG）。

CCIR-601 standard

CCIR（国际无线电咨询委员会）公布的 CCIR-601 标准是最重要的数字视频标准之一，后被 ITU-R 601 标准所继承。

• 子采样方案：4:2:2
• NTSC 制式：525 行，每行 858 像素（其中仅 720 可见）
• 数据传输速率：$525 \times 858 \times 30 \times 2 \times 8 \approx 216 \text{ Mbps}$

High Definition TV

高清电视(High Definition TV, HDTV) 相较于传统电视有以下特点：

• 采用 16:9 宽屏格式，提高视觉体验。
• 逐行扫描代替隔行扫描，减少图像闪烁。
• 使用更高分辨率的格式，如 1080p、720p。