MuMS:Fragenkatalog5

5. Video-Formate, -Kompression: MPEG-1 bis 7, H.263

5.1. Skizzieren Sie die Erzeugung digitaler Videokomponentensignale (DSC, Digital Serial Components) ausgehend von analogen RGB-Signalen einer Kamera? Folie 3

Die RGB Farbwertsignale der Kamera werden in Helligkeits- und Chromakomponenten umgerechnet. Abtastung dieser Werte in digitales Komponentensignal Y, C(b) & C(r). Bitparalleles, serielles „Digital Serial Componts“ DSC mit 270 mbps Progressive oder Interlaced (Halbblider) Abtastformat hat 3,375 MHz als Basiswert.

5.2. Was versteht man unter Unterabtastung des Videosignals? Gehen Sie auf das 4:2:2 und auf das 4:2:0-Format genauer ein. Was versteht man unter dem SIF-Format? Folie 4, 5

Unterschiedlich genaue Quantisierung von Helligkeits- und Farbinformation entsprechend der menschlichen Wahrnehmung. Dies ist möglich durch eine starre Kopplung mit der Zeilenfrequenz, da so die Pixel genau übereinander liegen (mischen!)

4:4:4:

Y, C(b) & C(r) werden mit gleicher, voller Genauigkeit abgetastet.

4:2:2:

Y wird voll Abgetastet, C(b) & C(r) nur jeweils mit halber Genauigkeit

4:2:0:

Y wird voll abgetastet, für C(b) & C(r) wir ein Mittelwert der umgebenden 4 Werte berechnet und dann den Y-Werten zugeordnet, die bei der Mittelwertbildung „beteiligt waren“

4:1:1:

Reduktion der horizontalen C(b) & C(r) – Auflösung auf 25 %

SIF-Format:

Weiterführung der Unterabtastung, diesmal Y, C(b) & C(r). Y auf 50 %, C(b) & C(r) auf je 25 % Ziel: Kleine Datenmassen um Realisierung der Video CD (1 Min. ca. 10 MByte)

(4:4:4 und 4:1:1 nur zum weiteren Verständnis dabei!)

5.3. Was versteht man unter der Studionorm ITU-R BT.601 bzw. CCIR 601? Folie 7

ITU: International Telecommunication Union
CCIR: Consultative Commitee for international Radio

Die "Recommendation 601: Encoding Parameter of Digital TV for Studios" normiert digitale Videosignale für Studios. Für das amerikanische (525-Zeilen/60 Hz) und europäische (625/50) TV-System gelten weitgehend gemeinsame Parameter. Codiert werden gammakorrigierte Quellsignale AY, AB-Y und AR-Y bzw. AR, AG und AB.

Weitere Daten:

gleichmäßige Quantisierung mit 8 bit 13,5 bzw. 6,75 MHz Abtastfrequenz Bandbreitenbegrenzung von 5,75 bzw. 2,75 MHz

5.4. In welchen Bearbeitungsschritten erfolgt die Video-Kompression in MPEG? Gehen Sie auf die Besonderheiten der Video-Vorverarbeitung bei MPEG-1 ein. Folie 8 bis 21

• Video-Vorverarbeitung
  • Reduzierung der räumlichen Auflösung

• Bewegungskompensation
  • Reduktion der zeitlichen Redundanz durch Ausnutzung der Ähnlichkeit aufeinander folgender Bilder

• Transformationskodierung
  • Verringerung der räumliche Redundanz (bezogen auf die menschliche Wahrnehmung) durch DCT und Quantisierung

• Entropiekodierung
  • Verlustfreie Kompression der Datenmenge

Bei der Videovorverarbeitung wird das analoge Videosignal digitalisiert und bestimmten Formaten angepasst. Handelt es sich z.B. um ein FBAS-Signal, so besteht es aus den RGB-Signalkomponenten AR, AG, AB. Aus diesen Signalen werden ein Helligkeitssignal Y und zwei Farbdifferenzsignale Cb und Cr berechnet (siehe Farbinformation im Videosignal).

• Digitalisierung eines Signals nach ITU-R BT 601.5 (CCIR601)
  • Um analoge Signale zu digitalisieren, müssen sie normiert werden, d.h., dass sie sich nur in einem fest definierten Wertebereich bewegen. Der Standard schreibt vor, dass die Luminanz- und Farbdifferenzsignale jeweils in einem Bereich von 1 Volt liegen. Die lineare Quantisierung erfolgt mit 8 oder 10 Bit.

5.5. Beschreiben Sie die Reduktionsmethoden bei der MPEG-Videokompression. Unterscheiden Sie dabei zwischen I-, P- und B-Frames. Folien 10 bis 13

Zwei Arten der Datenersparnis:

Redundanzreduktion

  • Verlustfrei 
  • Nutzung von Selbstähnlichkeit 
  • Differenz(bild)kodierung mit Bewegungskompensation 
  • Entropiekodierung 

Irrelevanzreduktion

  • Reduzierte Farbauflösung (4:2:2, 4:2:0, 4:1:1) 
  • Reduzierung der Detailschärfe 
  • DCT & Quantisierung 

Bei MPEG:

Ein Bildblock (GOP; Group Of Pictures) wird in I, P & B Frames aufgeteilt

'I-Bild Intra Coded Picture:

wird wie ein Standbild kodiert, d.h. im Wesentlichen nach den bei JPEG verwendeten Methoden. Die DC-Koeffizienten werden differenzkodiert, wobei Codeworte variabler Länge verwendet werden. Die AC-Koeffizienten werden Zickzack-sortiert, mittels Run-Length-Encoding kodiert und in einem Kodewort variabler Länge gespeichert. Es werden zwei Arten von Makroblöcken verwendet: Einige enthalten ausschließlich die kodierten Daten, andere zusätzlich einen Parameter zur Skalierung der ab dann zu verwendenden Quantisierungskennlinie.

P-Bild Predictive Coded Picture:

benötigt zur Kodierung Informationen des vorangegangenen I- bzw. P-Bildes und zur Dekodierung die des letzten I- und aller vorangegangenen P-Bilder. P-Bilder nutzen die Tatsache, dass Bereiche benachbarter Bilder durch Verschiebung ähnlich sind. Zur Ermittlung der Bewegungsvektoren werden verschiedene Suchverfahren angewendet, z.B. Full Search Blockmatching oder hierarchische Verfahren. Die Makroblöcke werden mittels Differenzmethode mit anschließender DCT transformiert. Der DC-Koeffizient wird DPCM-kodiert. Die AC-Koeffizienten werden quantisiert und anschließend mittels RLC und Huffman-Algorithmus kodiert. Zusätzlich wird der Bewegungsvektor gespeichert.

B-Bild Bidirectionally Predictive Coded Picture:'
Benötigt zur Kodierung bzw. Dekodierung Informationen des vorangegangenen und des nachfolgenden I- oder P-Bildes. Ein B-Bild ermöglicht den größten Kompressionsfaktor von den 3 Bildtypen. B-Bilder können nicht als Referenzbilder dienen. Die Reihenfolge der Anzeige einer Bilderfolge mit B-Bildern (z.B. IBP) unterscheidet sich von der Reihenfolge, in der die Bilder kodiert sind (z.B. IPB), da zum Dekodieren (und Anzeigen) der B-Bilder auch Informationen der nachfolgenden I- und P-Bilder notwendig sind. B-Bilder verwenden die Differenzkodierung zum vorangegangenen und nachfolgenden I- oder P-Bild. Die Quantisierung und Entropie-Kodierung der Makroblöcke erfolgt wie bei P-Bild-spezifischen Makroblöcken. Zur Bewegungskompensation wird der aktuell zu untersuchende Makroblock mit Blöcken des vorherigen und folgenden I- oder P-Bildes verglichen. Zusätzlich können Makroblöcke aus beiden Referenzbildern interpoliert und mit dem aktuellen Makroblock verglichen werden. Besteht der am besten passende Makroblock nur aus einem Bild, ist die Vorgehensweise wie bei P-Bildern. Entstand der Makroblock jedoch durch Interpolation, werden beide Bewegungsvektoren kodiert, der interpolierte mit dem aktuellen Makroblock differenzkodiert und DCT-kodiert.

D-Bilder DC Coded Picture: Dient dem schnellen Vorlauf. Es werden nur die Unterschiede zwischen zwei Frames, d.h. die DC-Koeffizienten bei Vernachlässigung der AC-Koeffizienten kodiert.

5.6. Erläutern Sie Methoden der Bewegungsabschätzung und Blockvergleichsalgorithmen bei MPEG. Folie 12, 13

Bewegungsabschätzungen:

Idee: Kodierung von Differenzblöcken Ein Bewegungsvektor mit einer festen Max. Länge ist gegeben. Dadurch ist die Maximale Suchentfernung für ähnliche Blöcke in den anderen Bildern gegeben. Wenn in dieser Region ein genügend ähnlicher Block gefunden wird, kann platzsparend kodiert werden, wird das gewünschte Ähnlichkeitsmaß nicht erreicht dann erfolgt eine Intraframe Kodierung

Blockvergleich:

Aufteilung des Suchraumes (Größe durch max. Länge Bewegungsvektor gegeben) in ein feines Gitter eingeteilt. Suche startet in der Mitte des Gitters. Dann wird das Gitter systematisch verfeinert: wo der ähnlichste Block gefunden wird, wird die Suchgenauigkeit verdoppelt.

5.7. Beschreiben Sie die Vorgehensweise bei der Transformationskodierung von I-, P- und B-Frames. Gehen Sie auf die Quantisierung und Entropiekodierung ein. Folie 14 bis 18

Transformationskodierung:

• Intraframekodierung mittels DCT (vgl. JPEG) von den 8x8 Blöcken (selbe Kodierung für die Differenzblöcke) •Quantisieren der Koeffizienten (Quantisierungsmatrix) • Zig-Zag Scanning, Sortierung der Matrix und Entropiekodierung

• I-Frames:

  DC-Koeff.: Differenzkodierung / variable Länge 
  AC-Koeff.: Run-Length Kodierung / variable Länge 
  2 Arten von Makroblöcken: Daten / Daten & Parameter 

• P-Frames:

  Makroblöcke werden Differenzkodiert 
  Wie I-Frame nur zusätzliche Speicherung von Bewegungsvektor 

• B-Frames:

  Höchste Kompression 
  Dient nicht als Referenzbild (Kod. und Anzeige ist verschieden) 

Quantisierung:

• 2 Quantisierungsmatrizen (intra- / interframe) je GOP • fester DC-Koeffizient • Jeder Slice und Macroblock bekommt einen Q(uality)-Factor (1-31); zur Steuerung der Bitrate • Jeder q-Faktor ist solange gültig, bis er überschrieben wird

Entropiekodierung:

• DCT-Koeffizienten wie bei JPEG • Bewegungsvektoren differenzkodiert • Huffman Kodierung

5.8. Erläutern Sie den Begriff „Group of Pictures“. Nennen Sie typische Zusammensetzungen. Welche Vor- und Nachteile hat die Zusammensetzung mit ausschließlich P-Bildern? Volie 18, 19

= GOP Bildblock aus I,P & B Frames bestehend. Meist 9 Bilder mit 3 Bilder Abstand zwischen P Bildern (IBB PBB PBBI)

Vorteile „nur P Bilder“:

Bei sehr dynamischen Sequenzen ist die Differenzbildung besser, da nur zum Letzten Bild eine Ähnlichkeit gesucht wird Navigation im Medium besser, da Kodierungs-, Übertragungs- und Dekodierungsreihenfolge gleich ist.

Nachteile:

Höhere Datenraten nötig, da B Bilder intraframe kodieren können Innerhalb einer GOP kann leichter Folgefehler passieren, wenn ein Fehler in einem P Bild der GOP ist

Der wahlfreie Zugriff und das Schneiden wird erheblich erschwert, da nur an I-Frames geschnitten werden kann, da beim "Raustrennen" eines P-Frames dann die Folgeframes nicht mehr stimmen.

5.9. Wie ist der prinzipielle Aufbau eines MPEG Video-Encoders und der eines Decoders? Folie 20, 21

Encoder:

• Videovorbearbeitung (4:2:2 oder 4:2:0)
• I-Frames: Bockweise DCT, quantisiert & RLC + VLC
• P- & B-Frames: Bewegungsabschätzung (Bewegungsfaktor), Bildung des Differenzblockes, DCT, Quantisierung, RLC & VLC
• Anschließendes Multiplexing der ganzen Daten in einen Datenstrom
• abhängig von IPB-Sequenz entscheidet der Encoder ob Intraframe- oder Differenzbild codiert wird & Progressive oder Interlaced (Bei Progressive ist die Effizienz der Kodierung höher)

Decoder:

• Weniger Aufwand da keine Bewegungsabschätzung
• Demultiplexing der Daten, Q-Faktoren und Bewegungsvektoren
• Pufferung (andere Decodierungsreihenfolge als Übertragung)

5.10. Was sind die wichtigsten Merkmale des MPEG-1 Videokompressionsverfahrens? Folie 22

• Konstante Datenrate von 1,5 mbps
• SIF-Auflösung bis 30 Hz
• Beschränkter Parameterbereich
• Audio-Kompression nach MUSICAM Layer 1
• Bewegungsvektor von +/- 64 Pixel
• Def. Eingangspuffer von knapp 1,9 mbps

5.11. Was sind die wichtigsten Erweiterungen des MPEG-2 Verfahrens gegenüber MPEG-1? Folie 23, 24

• variable Bitrate
• progressive/interlaced
• 10x10 Pixelblöcke & erhöhte Genauigkeit der Bewegungsvektoren (1/2 Pixel)
• 4 Auflösuingsstufen: low, main, high-1440 & high
• mehrere Fassungen im selben Datenstrom
• frei wählbarer DCT-Koeff. (8-10)
• frei wählbare Inter- und Intraframe MPEG-Matrizen
• Profile & Level

5.12. Welche Inhalte regelt der MPEG-System Standard (ISO 13818-1)? Welche Elemente bzw. Layer wurden definiert und wie ist ein MPEG-2 Datenstrom aufgebaut? Folie 25 bis 31

Standard:

• Paketieren und Multiplexen
• Video-Bitstream Spezifikation (Encoder / Decoder)
• Codierung von Audio- & Metadaten
• Richtlinien ob En-/Decoder „compliant“ sind
• Standardisierung einer kompletten Softwaresimulation
• Specs. der MPEG2 Datenströme
• Erweiterung für RT-Encoding

Layer:

• Sequence Layer: Definiert Basis-Parameter, z.B. Abtastraster, Auflösung, Seitenverhältnis, Bitrate, min. Eingangspuffer, Quantisierungsmatrix
• GoP Layer: Beschreibt die Prädiktion einer Gruppe
• Picture Layer: Bildtyp (I,P,B,D), Position innerhalb der GoP, Codierung, Voll-/Halbbild, ...
• Slice Layer: Ein Slice wird aus einer Folge von Makroblöcken gebildet. Die Gesamtheit der Slices überdeckt das komplette Teilbild. Position innerhalb eines Bildes und Zahl der Blöcke
• Macroblock Layer: Basis für bewegungskompensierte Prädiktion; Übertragung der Bewegungsvektoren; meist 16 x 16 Pixel der Y-Ebene
• Block Layer: Definiert die Koeffizienten der DCT für 8 x 8 Pixel Blöcke. Bei P-und B-Bildern handelt es sich um den Differenzblock

5.13. Was versteht man unter MPEG-2 „Program Streams“, was unter „Transport Streams“? Was sind die wichtigsten Merkmale? Folie 25 bis 29

Program Stream:

• Datenstrom für Medien mit hoher Datensicherheit (Optische/Magnetische Medien) – d.h. weniger Fehlertollerant
• In einem Program-Stream sind Video-, Audio- und Untertitelspuren (Elementary Streams) mit jeweils eigener Spurkennung (PID) & Timecode von einem Multiplexer in einen kontinuierlichen Datenstrom gemischt, der in langen Paketen organisiert ist. Zusätzlich bekommt der Strom eine gemeinsame Zeitbasis

Transport-Stream:

• Datenstrom für Broadcast-Bereich: SAT/Kabel/Terrestrisch
• Daher ist die Blockgröße des Datenstroms deutlich kleiner und zusätzlich mit viel Redundanz angereichert, um bei Paketverlust ausreichend Reserven zu besitzen, um eine fehlerfreie Übertragung zu gewährleisten.
• Ein weiterer Unterschied ist das In einem TS meist mehrere Sender ihr Programm übertragen (Bouquet), dadurch wird mehr Steuerinformation nötig, um die Datenströme demultiplexen zu können, ermöglicht allerdings variable Bitraten. Laufzeitsynchronisation durch getaktete Zeitmarke (PTS).

5.14. Was sind Programmspezifische Informationen (PSI) bei MPEG-2? Folie 32

Infos die im Transport Stream gespeichert sind (Anzahl ES, Zuordnung zu Kanälen & PID)

• in MPEG2 vorgesehen:
  • PAT (Program Association Table): Anzahl der Programme im TS Verweis auf PMT
  • PMT (Program Map Table): pro Programm; Liste aller ES & PID

• in DVB vorgesehen:
  • CAT (Conditional Access Table)
  • NIT (Network Information Table): Frequenzband, Orbitpostition, Transponder, Kanalbandbreite & Symbolrate
  • Zusätzliche Tabellen: Bouquet Association, Service Description, Event Information, Time & Date & Running Status
  • (Vgl. EPG)

5.15. Was versteht man unter Profilen und Level bei der Videokompression nach MPEG-2? Warum werden diese Begriffe eingeführt? Folie 33 bis 37

Profile geben indirekt die Codierungstechnik an, z.B. Chrominanzauflösung und Skalierbarkeit. Folgende Profile sind definiert:

Profiles:

Simple / Main Profile: 4:2:0 / Geringe Verzögerungen (RT) / TV, DVB & Entertainment

SNR Profile: 4:2:0 / 2 Video Level unterschiedlicher Qualität, VBR / TV Skalierung mit weiteren BP-Frames (Extralange GOP)

Spatial Profile: 4:2:0 / 3 Videolevel incl. SNR Profile / HDTV mit SDTV Skalierung durch P-Frames

High Profile: 4:2:2 / HDTV Anwendung (Studio) bei hohen Datenraten

Levels:

Low (LL): VCD / 4 mbps

Main (ML): D1 / 15 oder 20 mbps

High-1440 (H14L): anamorph (half) HD / 60 oder 80 mbps

High (HL): full HD / 80 oder 100 mbps

Notwendige und sinnvolle Kombinationen als Profile @ Level standardisiert.

5.16. Wie erfolgt die Komprimierung eines H.261 Videostroms und welche Unterschiede bestehen zur MPEG-Komprimierung? Folie 39 bis 42

• Echtzeitkodierung: Kodier-, Übertragungs- und Dek.reihenfolge gleich
• Keine bidirectional predictive Kodierung – begrenzter Bewegungsvektor (Rechenleistung!)
• Aufteilung in 8x8 Blöcke und Zusammenfassung zu Makroblöcken (4 zu Y, je einer für C(r) bzw. C(b). Diese Makroblöcke (4 Stück) werden mit dem Vorgängerbild „gematcht“oder Intraframe kodiert.
• Störungsunterdrückung durch Hochfrequenzfilter möglich.
• Stärkere Kompression als MPEG: fester DC von 8 & weniger DCT-Koeffizienten

5.17. Welche Bild-Formate und welche Bandbreiten werden bei H.261 unterstützt? Arbeitet das Verfahren mit fester Bandbreite und variabler Bildqualität? Folie 39

Ursprünglich für Videotelefonie gedacht; daher konstante Übertragungsrate. Schmalbandige Übertragung und Echtzeitkompression erfordert kleine Videos: 64 kbps (Kanalbündlung x30 möglich!); Anlehnung an VHS – daher CIF und Quarter CIF Auflösung; jeweils Progressive, 30 Hz, 4:2:2

5.18. Was sind die Unterschiede zwischen der H.261 und der H.263 Videokompression? Folie 43

• Makroblock feiner – statt ein 16x16 Block -> 4 einzelne 8x8 Blöcke
• Verbesserte Bewegungskompensation (1/2 Pixel)
• Unbeschränkte Bewegungsvektoren
• Verbesserte Effizienz der Kodierung für Fehlerrobustheit
• Kein Huffman -> arithmetische Kodierung
• Ein PB Bild vereint 2 Bilder in einer Einheit
• Geringere und höhere Auflösungen sind optional möglich