MPEG – это просто! 

Материал опубликован в журнале "625", номер 3, 2000.

Константин Гласман
Иллюстрации Маргариты Покопцевой

Обсуждая проблемы MPEG, нельзя не обратиться к статье Дж. Воткинсона «MPEG – всегда? MPEG – везде?» (625, 1999, №10, с.78). Талантливый популяризатор, опытный полемист, автор десятков книг и статей по проблемам современного телевидения Дж. Воткинсон не видит никаких перспектив развития MPEG: «Ниша для MPEG-систем узка и полна скрытых ловушек». К мнению Дж. Воткинсона прислушиваются, но чем обосновывает он такое суждение? Суть доказательства содержится уже в первом абзаце: «MPEG прочно удерживает позицию наиболее непонимаемого аспекта современного телевидения. Но, если бы я должен был описать суть MPEG одним предложением, я бы сказал, что это современная замена композитного сигнала». Параллели между MPEG и композитным сигналом просто наполняют статью. Особенно заметен такой вывод: «Аналогия между MPEG и композитным видео настолько сильна, что она срабатывает даже там, где на самом деле подобия нет». Как видно, метод доказательства – аналогия и индукция. Оценка результатов, полученных с помощью такого метода, в серьезной дискуссии заставляет обратиться к общим проблемам теории доказательств. То положение, которое формулирует автор, в учебниках по философии называется умозаключением по аналогии. Это означает, что знание, полученное из рассмотрения какого-либо объекта (композитный видеосигнал) переносится на менее изученный, сходный по существенным свойствам объект (система компрессии MPEG). Когда-то Лаплас сказал: «В самой математике главные средства достигнуть истины – индукция и аналогия» (Опыт философии теории вероятности. М., 1908, с.7). Но подобие существенных свойств должно быть строго доказано. Иначе автор умозаключения по аналогии рискует оказаться в положении персонажа анекдота, рассказываемого самими математиками: «Взгляни на этого математика, - сказал логик. – Он замечает, что первые девяносто девять чисел меньше сотни, и отсюда с помощью того, что он называет индукцией, заключает, что все числа меньше сотни» (Д. Пойа. Математика и правдоподобные рассуждения. М., 1975, с.33). К сожалению, доказательства сходства существенных свойств композитного сигнала и потока видеоданных MPEG Дж. Воткинсон не приводит, поэтому приходится сомневаться в его выводах, даже не прибегая к детальному анализу положений статьи. Должен признаться, что когда я прочитал первый абзац упомянутой статьи, я подумал, что, может быть, у наших вещателей будет достаточно здравого смысла, чтобы не отказываться от MPEG только потому, что это самый непонятный аспект телевидения, и поступить в духе рекомендации известного физика, одного из авторов операционного исчисления Оливера Хевисайда: «Надо ли отказываться от обеда только потому, что мы не полностью понимаем процесс пищеварения?»
Умозаключение по аналогии оправдано тогда, когда нет возможностей для изучения самого объекта исследования, когда с его помощью выдвигаются гипотезы. Но зачем прибегать к сомнительным аналогиям сейчас, когда стандарт MPEG опубликован и доступен для изучения? Не лучше ли приоткрыть завесу непонимания и показать, что MPEG – это просто, дав возможность самим читателям сделать выводы?

Немного истории

В январе 1988 года в рамках объединенного технического комитета по информационным технологиям JTC1 Международной организации по стандартизации ISO и Международной электротехнической комиссии IEC была образована рабочая группа экспертов по кодированию движущихся изображений, перед которой была поставлена задача разработки стандартов кодирования изображения и звука с целью устранения избыточности. Группа получила официальное наименование ISO/IEC JTC1/SC29/WG11 (11 рабочая группа 29 подкомитета), но мировую известность она приобрела под названием MPEG - Moving Picture Expert Group. В первом заседании группы в мае 1998 года участвовало 25 экспертов, сейчас группа MPEG объединяет сотни специалистов, представляющих около 200 организаций из более чем 20 стран. Общая цель работы группы остается прежней – компрессия, обработка и кодовое представление изображения, звука и их комбинаций. Основные проекты группы – это MPEG-1 (стандарт ISO/IEC 11172) - Кодирование изображение и звука при скоростях передачи данных до 1.5Мбит/с, MPEG-2 (ISO/IEC 13818) – Обобщенное кодирование изображения и звука, MPEG-4 (ISO/IEC 14496) – Кодирование аудиовизуальных объектов, MPEG-7 (ISO/IEC 15938) – Описание содержания объектов мультимедиа. Из этого списка лишь стандарт MPEG-7 пока не утвержден ISO, но работа над всеми проектами (кроме MPEG-1) продолжается. Наиболее известный из проектов группы MPEG - стандарт MPEG-2 к настоящему времени насчитывает уже 10 частей, первая из которых была представлена к стандартизации в 1994 году, а последняя - в 1999 году.
Среди 10 составных частей стандарта MPEG-2 можно выделить 3 основных: 13818-1 – Systems, 13818-2 – Video, 13818-3 – Audio. Спецификация 13818-2 регламентирует кодовое представление и процесс декодирования, обеспечивающий воспроизведение компрессированных телевизионных изображений. 13818-2 предполагает сжатие потока видеоданных за счет устранения пространственной и временной избыточности, присущей телевизионному изображению. Устранение пространственной избыточности основывается на использовании дискретного косинусного преобразования, временной – на дифференциальном кодировании с компенсацией движения. Но процедура кодирования не регламентируется стандартом, что оставляет возможности для совершенствования кодеров и улучшения качества воспроизводимого изображения. Спецификация 13818-3 определяет кодовое представление сигнала звукового сопровождения. Системная спецификация 13818-1 устанавливает правила объединения данных видео и звука в единый поток. Важнейшая особенность стандарта MPEG-2 – представление сигналов телевизионного изображения и звука в форме, задаваемой спецификациями 13818-1 - 13818-3, позволяет обращаться с видео и звуковыми потоками как с потоками компьютерных данных, которые могут записываться на самые разнообразные носители информации, передаваться и приниматься с использованием каналов связи и сетей телекоммуникаций, которые существуют сегодня и появятся в будущем.

Структура элементарного потока видеоданных

Элементы потока

Поток видеоданных, определяемый спецификацией 13818-2, представляет собой иерархическую структуру, элементы которой строятся и объединяются друг с другом в соответствии с определенными синтаксическими и семантическими правилами. Существует 6 типов элементов этой иерархической структуры:

• Видеопоследовательность

• Группа изображений

• Изображение

• Срез

• Макроблок

• Блок.

Видеопоследовательность – элемент потока видеоданных высшего уровня. Она представляет собой серию последовательных кадров телевизионного изображения. MPEG-2 допускает как построчные, так и чересстрочные последовательности. Чересстрочная последовательность – это серия телевизионных полей. В процессе компрессии поля могут кодироваться раздельно. Это дает изображения типа «поле». Два поля, кодируемые как телевизионный кадр, образуют изображение типа «кадр». В одной чересстрочной последовательности могут использоваться и изображения-поля, и изображения-кадры. В последовательностях с построчным разложением каждое изображение представляет собой кадр.
В соответствии с используемыми методами дифференциального кодирования различают три типа изображений: I, P и B. Изображение типа I кодируется с использованием только той информации, которая содержится в нем самом (I - Intra-coded picture). В нем устраняется только пространственная избыточность. При кодировании P и B изображений используется межкадровое кодирование. При кодировании изображения типа P формируется разность между исходным изображением и предсказанием, полученным на основе предшествующего или последующего изображения типа I (P – Predictive-coded picture). Изображение типа B – это изображение, при кодировании которого используется предсказание, сформированное на основе предшествующего и последующего изображений типа I или P (B – Bidirectionally-predicted-coded picture). В изображениях типа P и B устраняется и пространственная, и временная избыточность.
Серия изображений, содержащих одно I-изображение, называется группой изображений. Пример видеопоследовательности с различными типами изображений показан на рис.1 (стрелками показаны направления предсказания в пределах одной группы изображений). Чем больше группа изображений, тем большая степень компрессии может быть достигнута.

С информационной точки зрения каждое изображение представляет собой три прямоугольных матрицы отсчетов изображения: яркостную Y и две матрицы цветности Cb и Cb. Стандарт MPEG-2 допускает различные структуры матриц. Соотношение между количеством отсчетов яркости и цветности определяется форматом дискретизации. В случае формата 4:2:0 размеры матриц Cb и Cb в 2 раза меньше, чем Y, и в горизонтальном, и в вертикальном направлениях (рис.5). Формат 4:2:2 отличается тем, что все три матрицы имеют одинаковые размеры по вертикали, но в горизонтальном направлении матрицы цветности имеют в два раза меньшее количество элементов (рис.6). В формате 4:4:4 все матрицы одинаковы (рис.6).

Каждое изображение делится на срезы, которые состоят из макроблоков (рис.2). Макроблок складывается из блоков размером 8х8 элементов изображения (пикселов). Каждый макроблок содержит группу из 4 блоков с отсчетами яркости (из области изображения с размерами 16х16 пикселов) и группу блоков с отсчетами цветности, взятых из той же области изображения, что и отсчеты блоков яркости. Число блоков с отсчетами цветности зависит от формата дискретизации: по одному блоку Cb и Cb в формате 4:2:0, по два – в формате 4:2:2, по 4 – в формате 4:4:4 (рис.3). В изображениях типа «кадр», в которых может использоваться и кадровое, и полевое кодирование, возможны 2 варианта внутренней организации макроблока (рис.4). В случае кадрового кодирования каждый блок яркости Y образуется из чередующихся строк двух полей (рис.4а). При полевом кодировании каждый блок Y образован из строк только одного из двух полей (рис.4б). Блоки цветности образуются по таким же правилам в случае форматов дискретизации 4:2:2 и 4:4:4. Однако при использовании формата 4:2:0 блоки цветности организуются для выполнения дискретного косинусного преобразования в рамках кадровой структуры (рис.4а).



Все структурные элементы потока видеоданных, полученного в результате внутрикадрового и межкадрового кодирования (кроме макроблока и блока), дополняются специальными и уникальными стартовыми кодами. Каждый элемент содержит заголовок, за которым следуют данные элементов более низкого уровня. В заголовке видеопоследовательности (как элемента высшего уровня) приводится разнообразная дополнительная информация, например, размеры и соотношение сторон изображения, частота кадров, скорость потока данных, матрица квантования, формат дискретизации цветности изображения, координаты основных цветов и белого цвета, параметры матрицы для формирования яркостного и цветоразностных сигналов, параметры передаточной характеристики (гамма).

Принципы видеокомпрессии

Сокращение пространственной избыточности выполняется в изображениях типа I и достигается на уровне блока. Набор операций такого кодирования – дискретное косинусное преобразование; взвешенное квантование, определяемое элементами матрицы квантования; энтропийное кодирование серии коэффициентов косинусного преобразования, полученной в результате зигзаг-сканирования матрицы коэффициентов (подробно об алгоритмах видеокомпрессии рассказано в статье, опубликованной в 625, 1997, №7, с.60-75). Метод сокращения временной избыточности – дифференциальная импульсно-кодовая модуляция с компенсацией движения при кодировании изображений типа P и B. При кодировании формируется разность между исходным изображением и предсказанием, полученным на основе предшествующего и/или последующего изображения. Полученная разность подвергается дискретному косинусному преобразованию, взвешенному квантованию и энтропийному кодированию. Для повышения точности предсказания и, тем самым, сокращения объема необходимых для представления изображения данных, используется компенсация движения. Оценивается скорость перемещения движущихся объектов от кадра к кадру и при определении предсказания производится соответствующая коррекция в положении опорного изображения, по отношению к которому находится ошибка предсказания. Определение величины и направления смещения движущихся объектов от кадра к кадру, называемого вектором движения, производится на уровне макроблока. Оценка вектора движения - сложная процедура, требующая больших вычислительных мощностей. Именно она определяет асимметрию кодека MPEG-2. Однако стандарт не регламентирует процедуру оценки вектора движения, поэтому в этой области ведутся серьезные работы, благодаря использованию результатов которых практическая асимметрия кодека в будущем будет минимизироваться.
Стандарт MPEG-2 (в отличие от JPEG и DV) предполагает устранение не только пространственной, но и временной избыточности. Что же это дает? Представим себе группу из 12 изображений со следующей структурой – I-B-B-P-B-B-P-B-B-P-B-B. После компрессии объем изображений типа P для типичных сюжетов вещательного телевидения будет составлять примерно 35% объема изображения типа I, а B-изображения – примерно 25%. Объем данных, которые после компрессии представляют всю группу из 12 изображений, будет равен 4 изображениям типа I. Но если бы не было сокращения временной избыточности, то необходимый объем данных был бы в 12/4=3 раза больше. Этот коэффициент (3) и дает уменьшение скорости потока данных, достигаемое за счет использования компрессии MPEG-2 с группами из 12 изображений, при приблизительно такой же заметности искажений компрессии. Чем больше группы изображений, тем больше выигрыш, обеспечиваемый за счет устранения временной избыточности. Правда, надо отметить, что в случае применения систем компрессии типа JPEG или DV не было бы артефактов, связанных с движущимися объектами, но, с другой стороны, в системе MPEG-2 глаз замечает такие искажения тем меньше, чем быстрее движутся объекты в поле изображения. Как видно, эти два фактора в какой-то мере компенсируют друг друга. Можно корректировать величину выигрыша, но то, что этот выигрыш значителен, не подлежит сомнению, поэтому применение компрессии MPEG-2 с устранением временной избыточности, конечно, целесообразно во всех звеньях тракта, где желательно уменьшение скорости потока данных.

Режимы кодера

Возможны два основных режима работы кодера компрессии – с постоянной скоростью потока данных и с постоянным уровнем качества декодированного изображения. Как же можно регулировать скорость потока? Возможность для управления степенью компрессии и скоростью потока данных предоставляет изменение параметров матрицы квантования: чем более грубое квантование, тем больше нулевых значений в матрице коэффициентов и тем меньше объем данных, необходимых для передачи информации об изображении. Однако с увеличением степени компрессии растут и необратимые искажения изображения из-за шумов квантования.
В режиме с постоянным качеством используется фиксированная матрица квантования. Но при этом скорость потока компрессированных данных является переменной. Чем больше детальность изображения, чем быстрее перемещается объект в поле изображения, тем больше количество ненулевых коэффициентов в матрице коэффициентов косинусного преобразования, тем больше объем данных и тем больше скорость потока. Такой режим можно использовать при записи компрессированных потоков видеоданных на дисковые накопители в условиях отсутствия ограничений на объем записанных данных. Однако при этом возможны ограничения на скорость записываемого потока, ведь она не может быть произвольно большой.
В режиме с постоянной скоростью потока данных в кодере осуществляется непрерывное изменение коэффициентов матрицы квантования. Чем мельче детали, чем более динамично изображение, тем более грубое квантование вводится в кодере для того, чтобы привести к заданной величине скорость потока. Это означает, что в декодированных изображениях с большим количеством быстро движущихся мелких деталей будет больше искажений и артефактов из-за шумов квантования, чем в статичных изображениях с крупными структурными элементами. Такой режим используется в системах передачи компрессированных изображений по каналам связи с фиксированной пропускной способностью, в системах цифрового спутникового, кабельного и наземного телевизионного вещания.
Если запись компрессированного потока видеоданных производится не в условиях реального времени, то можно использовать и другие варианты управления скоростью потока данных. Например, можно выполнять компрессию в два прохода. На первом проходе находятся параметры компрессии, обеспечивающие максимальное качество при фиксированном объеме дискового пространства. На втором – производится компрессия с найденными параметрами. Есть еще одна возможность улучшения качества при записи фрагментов программы с быстро перемещающимися объектами. На стадии предварительного просмотра оператор может найти такие интервалы и пометить их с целью принудительного размещения в них изображений типа I, что позволяет улучшить качество при кодировании таких «трудных» для компрессии сцен. Эти методы используются при записи программ и фильмов на диски DVD.

Порядок передачи изображений в элементарном потоке

В результате компрессии объем данных, представляющий исходные изображения, сжимается (рис.7). Но стандарт MPEG-2 не регламентирует сам процесс кодирования, поэтому изображения (блоки представления) в нем рассматриваются как результат декодирования компрессированных изображения – блоков доступа. Использование двунаправленного предсказания приводит к тому, что декодер может приступить к декодированию изображения типа B только после того, когда уже получены и декодированы и предшествующее, и последующее опорные изображения, с помощью которых вычислялось предсказание. Для того, чтобы не устанавливать в декодере огромные буферные массивы, в потоке данных на выходе кодера (этот поток называется элементарным потоком видеоданных) кодированные изображения следуют в порядке декодирования. Например, вместо последовательности I-B-B-P формируется серия I-P-B-B (рис.8).

Профили и уровни MPEG-2

Стандарт MPEG-2 определяет кодирование, охватывающее требования широкого круга приложений сферы производства и распределения телевизионных программ. Обобщение требований типичных и наиболее важных приложений и определило синтаксис и семантику потока видеоданных. Но для наиболее эффективного применения на практике и обеспечения высокой степени эксплуатационной совместимости устройств, работающих в рамках стандарта MPEG-2, но разработанных и изготовленных различными производителями, в рамках синтаксиса MPEG-2 выделено несколько подмножеств, называемых профилями. Но и в рамках синтаксических границ каждого профиля может быть огромное количество комбинаций параметров цифрового потока. Поэтому в каждом профиле выделено несколько уровней, определяемых совокупностью ограничений, наложенных на параметры цифрового потока, подчиняющегося синтаксису профиля. Другими словами, профиль - это подмножество стандарта для специализированного применения, задающее алгоритмы и средства компрессии. Уровни внутри каждого профиля связаны главным образом с параметрами компрессируемого изображения (таблица 1).
Профили MPEG-2: Simple - простой профиль; Main - основной профиль; SNR - профиль с масштабируемым квантованием (SNR - Signal-to-Noise-Ratio - отношение сигнал шум); Spatial - профиль с масштабируемым пространственным разрешением (spatial - пространственный); High - высокий профиль; 422 - студийный профиль. В комментариях нуждаются лишь несколько столбцов таблицы 1. Профиль с масштабируемым квантованием SNR поддерживает все типы изображений. На базовом уровне кодера используется обычное кодирование на основе предсказания с компенсацией движения, дискретного косинусного преобразования и квантования ошибки предсказания. Выходные данные этого кодера образуют нижний, или базовый слой цифрового потока данных. Ошибка квантования, обусловленная квантователем, кодируется (с использованием второго квантователя и кодера с переменной длиной слова) и передается в качестве верхнего слоя цифрового потока. На приемной стороне производится либо декодирование одного базового слоя, что обеспечивает приемлемое качество, либо обоих слоев, что позволяет уменьшить шумы квантования.
Профиль с масштабируемым пространственным разрешением Spatial также использует все виды изображений. Цифровой поток структурирован и имеет базовый и дополнительные слои. Профиль позволяет иметь наряду с базовым пространственным разрешением и более высокие значения, если декодировать все слои цифрового потока.
Студийный профиль 422 обеспечивает полное разрешение, соответствующее рекомендации ITU-R 601, монтаж с точностью до кадра, допускает многократные перезаписи.
Надо иметь в виду, что в таблице показаны максимально достижимые значения параметров, а не их сочетания. Например, в рамках основного уровня профиля 422 количество активных строк равно 608 для системы разложения 625 строк/25 кадров и 512 – для 525 строк/30 кадров. К настоящему времени лишь часть из возможных сочетаний профилей и уровней достаточно разработана и принята в качестве стандарта. Большинство выпускаемых в настоящее время кодеров и декодеров в интегральном исполнении относятся к основному профилю и основному уровню (MP@ML). Однако уже есть две реализации систем для основного уровня студийного профиля 422 – это система видеозаписи Betacam SX, в которой используются группы изображений из 2 кадров (I и B) при величине потока видеоданных – 18Мбит/с, и система, в которой используются только изображения типа I при скорости потока записываемых видеоданных 50Мбит/с.

Таблица 1. Профили и уровни стандарта MPEG-2

Уровень	Профили	Simple	Main	SNR	Spatial	High	422
	Изображения	I и P	I,P и B	I,P и B	I,P и B	I,P и B	I,P и B
	Формат	4:2:0	4:2:0	4:2:0	4:2:0	4:2:0, 4:2:2	4:2:2
High	Отсчетов в строке		1920			1920
	Строк в кадре		1152			1152
	Кадров в секунду		60			60
	Макс. скор. потока		80 Мбит/с			100 Мбит/с
High-1440	Отсчетов в строке		1440		1440	1440
	Строк в кадре		1152		1152	1152
	Кадров в секунду		60		60	60
	Макс. скор. потока		60 Мбит/с		60 Мбит/с	80 Мбит/с
Main	Отсчетов в строке	720	720	720		720	720
	Строк в кадре	576	576	576		576	608
	Кадров в секунду	30	30	30		30	30
	Макс. скор. потока	15 Мбит/с	15 Мбит/с	15 Мбит/с		20 Мбит/с	50 Мбит/с
Low	Отсчетов в строке		352	352
	Строк в кадре		288	288
	Кадров в секунду		30	30
	Макс. скор. потока		4 Мбит/с	4 Мбит/с

Пакетный элементарный поток

Системная спецификация MPEG-2 (ISO/IEC 13818-1) описывает объединение элементарных потоков одной или нескольких телевизионных программ в единый поток данных, удобный для записи или передачи по каналам цифровой связи. Надо отметить, что стандарт MPEG-2 не определяет защиту от ошибок, возможных при записи или передаче, хотя он, конечно, предусматривает такую возможность, облегчая защиту за счет оптимального выбора параметров потока. MPEG-2 регламентирует две возможных формы единого потока данных – это программный поток и транспортный поток. Первый шаг на пути получения единого потока - формирование пакетного элементарного потока PES (Packetised Elementary Stream), представляющего собой последовательность PES-пакетов (рис.9). Каждый пакет состоит из заголовка и данных пользователя, или полезной нагрузки, которая представляет собой фрагменты исходного элементарного потока. Нет никаких требования по согласованию начала полезных данных пакета и начала блоков доступа, поэтому начало блока доступа может быть в любой точке PES-пакета, а несколько малых блоков доступа могут попасть в один PES-пакет. PES-пакеты могут быть переменной длины. Эту свободу можно использовать по-разному. Например, можно просто установить фиксированную длину всех пакетов, а можно согласовывать начало пакета с началом блока доступа.



В начале заголовка PES-пакета (рис.10) идет 32-битный код старта, состоящий из стартового префикса и идентификатора потока. Идентификатор потока позволяет выделить PES-пакеты, принадлежащие одному элементарному потоку телевизионной программы. Спецификация определяет разрешенные значения чисел в поле идентификатора для 32 элементарных потоков звука и 16 элементарных потоков видеоданных. Флаги 1 и 2 – биты, указывающие на наличие или отсутствие в заголовке дополнительных полей, которые не являются обязательными. Эти поля служат для переноса дополнительной информации, такой, например, как авторские права, скремблирование, приоритет. Особую значимость имеют биты P и D флага 2, указывающие на наличие полей с метками времени представления PST (Presentation Time Stamps) и декодирования DTS (Decoding Time Stamps). Метки времени – это механизм, обеспечивающий синхронизацию потоков данных в декодере.

Программный поток

Программный поток объединяет элементарные потоки, образующие телевизионную программу (рис.11). При формировании программного потока образуются блоки из PES-пакетов. Блок содержит заголовок блока, системный заголовок (необязательный), за которым следует некоторое количество PES-пакетов. Длина блока программного потока может быть произвольной, единственное ограничение – заголовки блока должны появляться не реже, чем через 0,7 секунды. Это связано с тем, что в заголовке содержится важная информация – опорное системное время. Системный заголовок содержит информацию о характеристиках программного потока, таких, например, как максимальная скорость передачи данных, число видео и звуковых элементарных потоков. Декодер использует эту информацию, например, для того, чтобы решить, может ли он декодировать этот программный поток.



Программный поток объединяет элементарные потоки одной программы, имеющие общую временную базу. Он предназначен для использования в условиях окружения, не вносящего ошибки в цифровые данные. Причина этому – сравнительно большие блоки переменной длины. Искажения из-за ошибок одного блока могут означать потерю, например, целого кадра телевизионного изображения. Поскольку длина блока переменная, то декодер не может предсказывать время конца одного блока и начало другого и вынужден полагаться только на информацию о длине, содержащуюся в заголовке. Если соответствующее поле заголовка окажется пораженным ошибками, то декодер выйдет из синхронизма и потеряет, по крайней мере, один блок. К преимуществам, получаемым при использовании программного потока, можно отнести то, что процедура демультиплексирования программного потока относительно проста.