Codecs in allgemeinen Medientypen

Der MIME-Typ für ein Containerformat wird ausgedrückt, indem der Medientyp (audio, video, usw.) angegeben wird, gefolgt von einem Schrägstrich (/) und dann dem Format, das verwendet wird, um das Medium zu enthalten:

audio/mpeg

Eine Audiodatei, die das MPEG-Dateiformat verwendet, wie zum Beispiel ein MP3.

video/ogg

Eine Videodatei, die das Ogg-Dateiformat verwendet.

video/mp4

Eine Videodatei, die das MPEG-4-Dateiformat verwendet.

video/quicktime

Eine Videodatei im QuickTime-Format von Apple. Wie an anderer Stelle erwähnt, wurde dieses Format einst häufig im Web verwendet, ist es aber nicht mehr, da es ein Plug-in erforderte, um es zu verwenden.

Jedoch sind all diese MIME-Typen ungenau. Alle diese Dateitypen unterstützen eine Vielzahl von Codecs, die beliebig viele Profile, Ebenen und andere Konfigurationsfaktoren haben können. Aus diesem Grund sollten Sie möglicherweise den codecs-Parameter zusammen mit dem Medientyp verwenden.

Sie können den Parameter codecs zum Medientyp hinzufügen. Dazu fügen Sie ein Semikolon (;) gefolgt von codecs= und dann die Zeichenkette, die das Format des Dateiinhalts beschreibt, hinzu. Einige Medientypen erlauben Ihnen nur, die Namen der zu verwendenden Codecs anzugeben, während andere es auch erlauben, verschiedene Einschränkungen für diese Codecs anzugeben. Sie können mehrere Codecs angeben, indem Sie sie mit Kommas trennen.

audio/ogg; codecs=vorbis

Eine Ogg-Datei mit einer Vorbis-Audiospur.

video/webm; codecs="vp8, vorbis"

Eine WebM-Datei, die VP8-Video und/oder Vorbis-Audio enthält.

video/mp4; codecs="avc1.4d002a"

Eine MPEG-4-Datei, die AVC (H.264) Video, Main Profile, Level 4.2 enthält.

Wie bei jedem MIME-Typ-Parameter muss codecs zu codecs* (beachten Sie das Sternchenzeichen, *) geändert werden, wenn einer der Codec-Eigenschaften Sonderzeichen verwendet, die gemäß RFC 2231, Abschnitt 4: MIME Parameter Value and Encoded Word Extensions prozent-kodiert werden müssen. Sie können die JavaScript-encodeURI()-Funktion verwenden, um die Parameterliste zu kodieren; ebenso können Sie decodeURI() verwenden, um eine zuvor kodierte Parameterliste zu dekodieren.

Die folgenden Container unterstützen erweiterte Codec-Optionen in ihren codecs-Parametern:

• 3GP
• AV1
• HEVC
• ISO BMFF
• MPEG-4
• QuickTime
• WebM

Einige der oben aufgeführten Links führen zum selben Abschnitt; das liegt daran, dass diese Medientypen alle auf dem ISO Base Media File Format (ISO BMFF) basieren und somit dieselbe Syntax verwenden.

Die Syntax des codecs-Parameters für AV1 ist in der Spezifikation AV1 Codec ISO Media File Format Binding definiert, Abschnitt 5: Codecs Parameter String.

av01.P.LLT.DD[.M.CCC.cp.tc.mc.F]

Die Komponenten dieses Codec-Parameter-Strings werden im Folgenden detaillierter beschrieben. Jede Komponente hat eine feste Anzahl von Zeichen; wenn der Wert kürzer ist, muss er mit führenden Nullen aufgefüllt werden.

Alle Felder von M (Monochrome-Flag) an sind optional; Sie können das Einfügen von Feldern jederzeit beenden (dürfen aber keine Felder willkürlich weglassen). Die Standardwerte sind in der obigen Tabelle enthalten. Einige Beispiel-AV1-Codec-Strings:

av01.2.15M.10.0.100.09.16.09.0

AV1 Professional Profile, Level 5.3, Main-Tier, 10 Bits pro Farbkomponente, 4:2:2 Farbunterabtastung mit ITU-R BT.2100 Farbprimaries, Transfercharakteristiken und YCbCr-Farbmatrix. Die Studio-Swing-Repräsentation ist angegeben.

av01.0.15M.10

AV1 Main Profile, Level 5.3, Main-Tier, 10 Bits pro Farbkomponente. Die restlichen Eigenschaften werden aus den Standardeinstellungen entnommen: 4:2:0 Farbunterabtastung, BT.709 Farbprimaries, Transfercharakteristiken und Matrixkoeffizienten. Studio-Swing-Repräsentation.

ISO Base Media File Format Syntax

Die Syntax des codecs-Parameters für VP9 ist in der Spezifikation VP Codec ISO Media File Format Binding definiert, im Abschnitt Codecs Parameter String.

In diesem Format beginnt der Wert des codecs-Parameters mit einem vierstelligen Code, der den im Container verwendeten Codec identifiziert, gefolgt von einer Reihe von durch Punkte (.) getrennten zweistelligen Werten.

cccc.PP.LL.DD
cccc.PP.LL.DD.CC.cp.tc.mc.FF

Die ersten vier Komponenten sind erforderlich; alles von CC (Farbunterabtastung) an ist optional, aber alles oder nichts. Jede dieser Komponenten wird in der folgenden Tabelle beschrieben. Nach der Tabelle folgen einige Beispiele.

Beispiele

video/webm;codecs="vp09.02.10.10.01.09.16.09.01,opus"

VP9-Video, Profil 2 Level 1.0, mit 10-Bit YUV-Inhalten mit 4:2:0-Farbunterabtastung, BT.2020-Primaries, ST 2084 EOTF (HDR SMPTE), BT.2020 nicht-konstante Luminanzfarbmatrix und voller Bereich für Chroma- und Luminanzkodierung. Das Audio ist im Opus-Format.

Alle Medientypen, die auf dem ISO Base Media File Format (ISO BMFF) basieren, teilen die gleiche Syntax für den codecs-Parameter. Zu diesen Medientypen gehören MPEG-4 (und tatsächlich das QuickTime-Dateiformat, auf dem MPEG-4 basiert) sowie 3GP. Sowohl Video- als auch Audiospuren können mit dem codecs-Parameter mit den folgenden MIME-Typen beschrieben werden:

Jeder durch den codecs-Parameter beschriebene Codec kann entweder als Name des Containers (3gp, mp4, quicktime, usw.) angegeben werden oder als Containername plus zusätzlicher Parameter, um den Codec und seine Konfiguration genauer zu spezifizieren. Jeder Eintrag in der Codec-Liste kann eine Anzahl von Komponenten enthalten, die durch Punkte (.) getrennt sind.

Die Syntax für den Wert von codecs variiert je nach Codec; sie beginnt jedoch immer mit der vierstelligen Kennung des Codecs, einem Punkt-Trennzeichen (.), gefolgt vom Object Type Indication (OTI)-Wert für das spezifische Datenformat. Für die meisten Codecs ist die OTI eine zweistellige hexadezimale Zahl; für AVC (H.264) jedoch sechs hexadezimale Stellen.

Daher sehen die Syntaxen für jeden der unterstützten Codecs so aus:

cccc[.pp]* (Generisches ISO BMFF)

Wo cccc die vierstellige ID für den Codec ist und pp der Ort ist, an dem null oder mehr zweistellige kodierte Eigenschaftswerte platziert werden.

mp4a.oo[.A] (MPEG-4 Audio)

Wo oo der Object Type Indication-Wert ist, der den Inhalt der Medien genauer beschreibt, und A die einstellige Audio OTI ist. Die möglichen Werte für die OTI finden Sie auf der MP4 Registrationsbehörde-Website's Object Types-Seite. Beispielsweise ist Opus-Audio in einer MP4-Datei mp4a.ad. Für weitere Details siehe MPEG-4 Audio.

mp4v.oo[.V] (MPEG-4 Video)

Hier ist oo erneut die OTI, die den Inhalt genauer beschreibt, während V die einstellige Video OTI ist.

avc1[.PPCCLL] (AVC-Video)

PPCCLL sind sechs hexadezimale Ziffern, die die Profilnummer (PP), die Constraint Set Flags (CC) und das Level (LL) angeben. Siehe AVC-Profile für die möglichen Werte von PP.

Das Constraint Set Flags-Byte besteht aus ein-Bit-Boolean-Flags, wobei das bedeutendste Bit als Flag 0 (oder constraint_set0_flag, in einigen Ressourcen) bezeichnet wird und jedes nachfolgende Bit um eins höher nummeriert wird. Derzeit werden nur die Flags 0 bis 2 verwendet; die anderen fünf Bits müssen null sein. Die Bedeutungen der Flags variieren je nach verwendetem Profil.

Das Level ist eine Festpunktzahl, sodass ein Wert von 14 (dezimal 20) Level 2.0 bedeutet, während ein Wert von 3D (dezimal 61) Level 6.1 bedeutet. Generell gilt: Je höher die Levelnummer, desto mehr Bandbreite wird der Stream verwenden und desto höher sind die maximal unterstützten Videodimensionen.

avc3[.PPCCLL] (Variable Auflösung AVC)

Die avc3-Codec-Parameter haben die gleiche Syntax wie die avc1-Codec-Parameter.

AVC-Profile

Die folgenden sind die AVC-Profile und ihre Profilnummern für die Verwendung im codecs-Parameter sowie der Wert, der für die Einschränkungskomponente CC angegeben werden soll.

MPEG-4 Audio

Wenn der Wert eines Eintrags in der codecs-Liste mit mp4a beginnt, sollte die Syntax des Wertes so aussehen:

mp4a.oo[.A]

Hierbei ist oo die zweistellige hexadezimale Object Type Indication, die die verwendete Codec-Klasse für die Medien angibt. Die OTIs werden von der MP4 Registration Authority vergeben, die eine Liste der möglichen OTI-Werte pflegt. Ein spezieller Wert ist 40; dies zeigt an, dass die Medien MPEG-4 Audio (ISO/IEC 14496 Part 3) sind. Um noch spezifischer zu sein, wird für OTI 40 eine dritte Komponente – der Audio Object Type – hinzugefügt, um den Typ auf einen bestimmten Untertyp von MPEG-4 einzugrenzen.

Der Audio Object Type wird als ein- oder zweistellige dezimal-Zahl angegeben (im Gegensatz zu den meisten anderen Werten im codecs-Parameter, die hexadezimal sind). Zum Beispiel hat AAC-LC von MPEG-4 eine Nummer des Audio-Objekttyps von 2, sodass der vollständige codecs-Wert, der AAC-LC repräsentiert, mp4a.40.2 ist.

Daher kann ER AAC LC, dessen Audio-Objekttyp 17 ist, mit dem vollständigen codecs-Wert mp4a.40.17 dargestellt werden. Einstellige Werte können entweder als eine einzelne Ziffer angegeben werden (was die beste Wahl ist, da es am weitesten kompatibel sein wird) oder mit einem führenden Nullpadding auf zwei Ziffern wie mp4a.40.02.

Die Audio-Objekttypen sind in ISO/IEC 14496-3 Unterabschnitt 1, Abschnitt 1.5.1 definiert. Die folgende Tabelle bietet eine grundlegende Liste der Audio-Objekttypen und im Fall der häufigeren Objekttypen eine Liste der unterstützenden Profile, aber Sie sollten die Spezifikation konsultieren, wenn Sie mehr über die Funktionsweise eines bestimmten MPEG-4-Audio-Typs wissen müssen.

Der High Efficiency Video Coding Codec, auch bekannt als H.265 und MPEG-H Teil 2, kann in den MP4 (video/mp4), Quicktime (video/quicktime) und Matroska (video/matroska) Containern enthalten sein.

Die Verwendung von HEVC wird allgemein durch die Verwendung eines unterstützenden MIME-Typs mit angehängtem codecs-Parameter beschrieben; Syntaxbeispiele sind wie folgt:

video/mp4;codecs=hvc1.1.6.L186.B0,mp4a.40.2
video/mp4;codecs=hvc1.1.6.L186.B0,opus
video/mp4;codecs=hev1.1.6.L186.B0,mp4a.40.2
video/mp4;codecs=hev1.1.6.L186.B0,opus

Die Syntaxen für jeden der unterstützten Codecs sehen folgendermaßen aus:

hvc1[.A.B.C.D] (HEVC-Video)

Der Wert beginnt mit der vierstelligen Klarskriptkennung des Codecs (hvc1), gefolgt von vier oder mehr durch Punkte (.) getrennten Werten:

A

Der general_profile_space. Dies ist als ein- oder zweistellige Zeichen kodiert:

• Das erste Zeichen ist A, B oder C, das general_profile_space 1, 2 oder 3 darstellt, oder kein Zeichen, das general_profile_space 0 darstellt.
• Das zweite Zeichen ist eine Dezimalzahl, die das general_profile_idc darstellt.

  Hinweis: In den obigen Beispielen bedeutet der Wert 1, dass general_profile_space === 0 (kein Zeichen) und general_profile_idc === 1.

B

Ein 32-Bit-Wert, der eine oder mehrere generelle Profilkompatibilitätsflags (general_profile_compatibility_flag) darstellt, die im Hexadezimalformat (führende Nullen können weggelassen werden) und in umgekehrter Bit-Reihenfolge von am bedeutendsten bis am wenigsten signifikant kodiert sind. Die Werte können von 31 (am bedeutendsten) bis 0 (am wenigsten signifikant) reichen und sind in ISO/IEC 23008-2 spezifiziert.

Hinweis: In den obigen Beispielen bedeutet der Wert 6, dass general_profile_compatibility_flag === 6.

C

Das general_tier_flag, kodiert als L (general_tier_flag === 0) oder H (general_tier_flag === 1), gefolgt von dem general_level_idc, kodiert als Dezimalzahl.

Hinweis: In den obigen Beispielen bedeutet der Wert L186, dass general_tier_flag === 0 gefolgt von general_level_idc === 186.

D

Ein oder mehrere 6-Byte Constraint-Flags. Beachten Sie, dass jedes Flag als Hexadezimalzahl kodiert ist und durch einen zusätzlichen Punkt getrennt ist; nachgestellte Bytes, die Null sind, können weggelassen werden.

Hinweis: In den obigen Beispielen ist nur ein Constraint-Flag vorhanden — B0.

hev1[.A.B.C.D] (Variable Auflösung HEVC)

Die hev1 Codec-Parameter haben die gleiche Syntax wie die hvc1 Codec-Parameter.

Die Grundform des codecs-Parameters eines WebM besteht darin, einen oder mehrere der vier WebM-Codecs beim Namen zu nennen, getrennt durch Kommas. Die folgende Tabelle zeigt einige Beispiele:

Die Zeichenketten vp8.0 und vp9.0 funktionieren ebenfalls, werden aber nicht empfohlen.

Sie können den codecs-Parameter in verschiedenen Situationen verwenden. Erstens können Sie ihn mit dem <source>-Element verwenden, wenn Sie ein <audio>- oder <video>-Element erstellen, um eine Gruppe von Optionen für den Browser festzulegen, aus denen er bei der Auswahl des Formats der Medien für die Anzeige im Element wählen kann.

Sie können den codecs-Parameter auch verwenden, wenn Sie einen MIME-Mediendatentyp an die MediaSource.isTypeSupported() Methode angeben; diese Methode gibt einen Boolean zurück, der anzeigt, ob die Medien wahrscheinlich auf dem aktuellen Gerät funktionieren.

• Webmedien-Technologien
• Das <source>-Element, Kind der <audio>- und <video>-Elemente
• Leitfaden zu Medientypen und -formaten im Web
• Leitfaden zu auf dem Web verwendeten Audio-Codecs
• Leitfaden zu auf dem Web verwendeten Video-Codecs
• Codecs, die von WebRTC verwendet werden
• Die korrekten HTML-Codecs-Parameter für ein AV1-Video erhalten
• High Efficiency Video Coding auf Wikipedia