Audiovisualisierung

Oszilloskop

Audiovisualisierung bezeichnet die dynamische Darstellung von Grafiken und Animationen auf der Basis von Audiodaten, wie Musik, Sprache oder Geräuschen. Das Ziel ist einerseits die Verbildlichung von bestimmten Informationen im Material, um sie technisch beurteilbar zu machen und andererseits entwickelt sich die Visualisierung auch zu einer Kunstform, indem Musik optisch untermalt wird.

Technische Anwendung

Wellenform

Die einfachste Variante ist die Darstellung per Oszilloskop. Im einfachsten Fall wird die Wellenform des Audiosignals über den Zeitverlauf des Audiosignals aufgetragen. Das bedeutet, man lässt den Elektronenstrahl eines Oszilloskops in einer gewissen Frequenz über den Bildschirm laufen und sieht die Wellenform des Audiosignals.

Panoramamesser

Eine weitere Variante ist die Panoramaanzeige (auch Korrelationsanzeige genannt) zwischen dem linken und dem rechten Audiokanal. In diesem Falle steuert das Audiosignal für die linke Seite die horizontale Auslenkung des Elektronenstrahls, während das rechte Audiosignal die vertikale Auslenkung aussteuert (links und rechts können auch vertauscht werden). Diese Art der Audiovisualisierung wird in der Regel in Musikstudios oder in der TV- oder Radiotechnik eingesetzt, um die Stereobreite des gehörten Signals optisch beurteilen zu können. An der Wellenformdarstellung kann man bei leisen Signalen den Rauschanteil optisch beurteilen. In der Panoramaanzeige kann man zudem erkennen, wie sich ein Audiosignal im Raum anordnet. Die Darstellung schwankt dabei zwischen einer diagonale Linie im ersten Quadraten und einer solchen Linie im vierten Quadranten, was eine völlige Dekorrelation bedeutet. In der Regel ist die Anzeige bei Stereosignalen pulsierend kreisförmig. In dem Lied Die Roboter der Düsseldorfer Elektro-Band Kraftwerk zeigt die Panoramaanzeige am Anfang des Liedes für kurze Zeit ein Quadrat.

Levelmeter

Eine weitere häufige Anzeige ist das sogenannte Peakmeter. Es zeigt die Lautstärke in Form eines Balkens an. Der Klassiker, der noch heute in Radiostudios eingesetzt wird, ist das Peakmeter von RTW. Auch sehr bekannt sind die Varianten der Firma NTP. Peakmeter werden eingesetzt, um zu beurteilen, ob man innerhalb eines bestimmten Lautstärkebereichs liegt. Gerade im Radio ist es wichtig, den Lautstärkepegel einzuhalten, da große Schwankungen den Zuhörer stören würden. Ein Peakmeter dient den Moderatoren zur Kontrolle, ob die Lautstärke richtig eingestellt ist und ob wirklich Audiosignale zum Sender transportiert werden. Anderenfalls wurde eventuell ein Regler am Mischpult nicht hochgezogen.

Kombiniertes Level- und Panometer

Wichtig zur Beurteilung ist die sogenannte Korrelation. Falls ein Kanal verdreht ist (linkes und rechtes Audiosignal schwingen genau gegensätzlich), kann sich das Signal beim Zusammenmischen (Umschalten auf Mono, Radios die nur Mono abspielen) komplett aufheben. Das Resultat wäre, dass man nichts mehr hört, obwohl ein Signal vorhanden ist. Das menschliche Gehör kann Phasenverschiebungen nicht wahrnehmen. Solche Phasendreher kann man nur optisch beurteilen. In älteren Radiomischpulten wurden die Signale über Operationsverstärker gemischt. Die darin verwendeten Operationsverstärker neigten dazu, die Phase von Audiosignalen zu verschieben. Sogenannte Korrelationsmesser machen solche Phasendreher optisch sichtbar und sind in modernen Peakmetern integriert. Früher wurden Phasendreher mit Oszilloskopen beobachtet, oder mit einem zusätzlichen Peakmeter, der die Summe beider Signale (Mono) anzeigte. Bewegten sich die Balken für die linke und rechte Seite, jedoch der Balken für das Mono-Signal nicht oder nur kaum, so war ein Phasendreher im Signal. Den Moderatoren steht in diesem Fall eine Taste zur Verfügung, die das rechte Audiosignal auf den linken Kanal oder umgekehrt kopiert. Das Audiosignal ist in einem solchen Fall nur „pseudo-Stereo“, kann aber auch auf Mono-Radios gehört werden. Dieser Effekt ist durch moderne hochqualitative Operationsverstärker (zum Beispiel der Firma Burr-Brown) kaum noch vorhanden. Seit Audiosignale digital (mittels DSP) gemischt werden, tritt der Effekt nicht mehr auf.

Spektrumanalysator

In ähnlicher Weise können die einzelnen Spektralanteile eines Klanges nach Frequenzen aufgeschlüsselt grafisch dargestellt werden. In Signalverarbeitungssystemen wird dazu oft eine FFT angewendet und die Amplituden der Signalanteile logarithmisch aufgetragen.

Künstlerische Anwendung

Audiovisualisierung als Unterhaltungsmedium

Atari Video Music

OpenCubic Player, Beispiel für eine Computer basierte Audiovisualisierung: Trackermodul-Player mit Echtzeit Frequenzspektrumsvisualisierung (STFT)

Die Audiovisualisierung fasziniert viele Menschen. In den 1970er Jahren wurden Lichtorgeln populär.

Im Jahr 1976 verkaufte die Firma Atari ein Produkt mit dem Namen Atari Video Music System C-240 Mint. Dieses Gerät wurde an den Fernseher oder die Stereoanlage angeschlossen und stellte bunte Bilder dar, die sich simultan zur Musik bewegten oder ihre Farben änderten. Das Gerät musste zuerst an die Steckdose angeschlossen werden und anschließend an die Stereoanlage, sonst konnte die Stereoanlage einen Defekt davontragen.

Für den legendären Commodore 64, der Mitte bis Ende der 1980er Jahre als Spielkonsole genutzt wurde, gab es eine große Anzahl von Spielen, viele mit Kopierschutz. Cracker knackten den Kopierschutz und hinterließen als Visitenkarte ein sogenanntes Cracktro auf den Datenträgern. Heute sind diese „Cracktros“ unter dem Namen „Demo“ bekannt. Es hat sich eine eigene Szene um diese Demos herum gebildet (Demoszene). Sehr früh schon waren sich bewegende Balken und optische Darstellungen der im Hintergrund laufenden Musik wesentlicher Bestandteil dieser Demos. Um 1985 herum wurde diese Demoszene auf dem Amiga der Firma Commodore fortgeführt. Die Computer der Serie Amiga verfügten über vier Audiokanäle, die dazugehörigen Formate waren SID oder Mod. In sehr vielen Demos, aber auch in Computerspielen wurden die vier Balken (Peakmeter) für jeden der Audiokanäle als optischer Effekt eingesetzt. Um 1987 tauchten vermehrt Disketten mit kleinen Liedersammlungen auf (MusicMags), wie zum Beispiel von der Gruppe Kaktus. Diese Disketten wurden innerhalb weniger Sekunden vom AMIGA geladen und zeigten ein buntes Universum von kleinen hektischen Grafiken an. Darüber hinaus konnte aus einer Liste von Hunderten von Liedern ein Stück ausgewählt werden. Abhängig von der Musik liefen verschiedene Grußbotschaften an andere Gruppen über den Bildschirm, die von den verschiedenen Elementen der Musik verzerrt wurden, oder sich in der Geschwindigkeit veränderten. Diese Liedersammlungen waren die ersten Programme ihrer Art, die die Elemente der Musik auf Grafiken abbildeten und letztlich nur diesem Zweck dienten. Die Darstellung der Musik wurde durch die Grafik nahezu zelebriert.

MilkDrop-Screenshot (v1.04d): ein Nachfolger des Geissplugins für Winamp

Seit die Computer schnell genug sind, kann mittels der Schnellen Fourier-Transformation das Frequenzspektrum eines Audiosignals in Echtzeit berechnet werden. Dies begann für die PC-Plattform mit MS-DOS in den frühen 1990er Jahren, Software die das bewerkstelligte war z. B. der IntertiaPlayer oder CubicPlayer, welche eine ausreichende Rechenleistung auf der noch schwachen PC-Hardware durch Assemblerprogrammierung erreichten.

Bald nach der Entwicklung des Datenformates mp3 wurde im Mai 1997 ein Audioplayer namens Winamp veröffentlicht, mit einem Plug-in basierenden Audiovisualisierungskonzept (siehe auch Winamp#Visualisierungs-Plug-ins). Winamp ist einer der ersten kostenlosen mp3-Spieler für PCs gewesen, erreichte eine große Verbreitung und prägte in Design, GUI und Look and Feel das Audioplayergenre. Ein bekanntes Audiovisualisierungs-Plug-in war das Geissplug-in von 1998, welches erstmals eine fraktalartige Visualisierung auf Basis der Musik generierte.

Seit Winamp sind praktisch alle Audio- und Medienplayer mit einer Audiovisualisierung ausgestattet, z. B. iTunes der Firma Apple. Der Zusammenhang zwischen Musik und Video ist allerdings willkürlich und nicht immer nachvollziehbar realisiert.

Audiovisualisierung in der Kunst

Am Freitag, dem 30. November 2001, installierten die Wiener Klangkünstler sha und GTT eine Stahlkonstruktion von 14 riesigen Klangmonolithen am Dornerplatz in Wien. Es war das größte Klangkunstwerk Europas. Diese Monolithen waren mit sogenannten NXT-Flachlautsprechern bestückt. Diese Lautsprecher bringen Platten in Schwingung und übertragen so den Klang. Die 14 riesigen Klangmonolithen sollten nun als Integrationsversuch für städtische Problemzonen fungieren. Der Begriff „Audiovisualisierung“ fällt in diesem Zusammenhang im metaphorischen Sinne. Die Probleme der Stadt und die Schatten, die auf diese fallen, werden ‚audiovisualisiert‘. Sinngemäß wird mit dieser Begriffssemantik die Wirkung von Klang und Musik auf die Wahrnehmung der Menschen bezeichnet. Der Klang, die Musik visualisiert in den Köpfen der Menschen die Problemstellung.

Audiovisualisierung im Bereich Design

Gerade beim Entwurf von Firmenlogos hat sich in den letzten Jahren viel getan. Es wurden Schriften entwickelt und durch Logos erweitert. Diese Kombination wird für ein Unternehmen einmal festgemacht und lebt dann in der Firmengeschichte als Corporate Identity weiter. Viele Designbüros bieten zusätzlich eine „Audiovisualisierung“ der Corporate Identity an. Dies ist die Gestaltung von Erkennungsmelodien, oder Tonfolgen zusätzlich zum Logo. Sehr bekannt sind die fünf Töne der T-Com, die vier Töne, die bei der Intelwerbung stets auftreten oder die Startmelodie des Betriebssystems Windows der Firma Microsoft. Der Konsument wird mit dem Logo und dem Audiologo stets gleichzeitig konfrontiert. So verbindet das Unterbewusstsein des Konsumenten die Tonfolge (das akustische Logo) mit dem Firmennamen und dem Logo. Heutzutage spricht man daher auch von „Identity-Mix“ oder „Markenkommunikation“, statt nur von Corporate Identity.

Beispiele

• Autoradios verwenden heute als kleine optische Spielerei Lautstärkebalken (Peakmeter) oder ein kleines Frequenzspektrum als Audiovisualisierung.
• Einige Stereoanlagen zeigen das Frequenzspektrum an.
• Videorekorder mit einstellbarer Aufnahmelautstärke zeigen zwei Peakmeter an.
• Lasershows in Discos kann man als Audiovisualisierung verstehen.
• Videojockeys (VJs) zeigen in Discos Bilder zur Musik.
• Musikvideos kann man als Erweiterung der Audiovisualisierung verstehen.

Liste von Visualisierungsprogrammen

(Jahresangaben beziehen sich auf die Einführung)

• Music Animation Machine (1985, MAM)
• ZMusic (1987, Stephen Nachmanovitch)
• Virtual Light Machine (1990, Jeff Minter)
• Cthugha (1993, Kevin „Zaph“ Burfitt, PC (DOS))
• Inertia Player 1995, (Stefan Danes, Ramon van Gorkom et al. / Inertia Productions) Echtzeit-Spektrumsvisualisierung
• Visual Music Tone Painter (1992–2004, Stephen Nachmanovitch)
• Geiss-plugin (1998, Ryan Geiss), Fraktalvisualisierung
• SoundSpectrum/G-Force (2000, Andy O’Meara, SoundSpectrum)
• MilkDrop (2001, Ryan Geiss) und OpenGL Implementierung, nun projectM Open-Source-Projekt
• R4 (2003, Gordon Williams)
• Vsxu (2003, Vovoid)
• Neon (2004, Jeff Minter und Ivan Zorzin)
• TronMe (2006, 3D Solar)
• iTunes (2006, Apple)
• Advanced Visualization Studio (Justin Frankel)
• NoiseCradle (NoiseCradle)
• Windows Media Player (Microsoft)
• fische (2001–2013, Marcel Ebmer), auch als XBMC plug-in (fishBMC)

Siehe auch

• Aussteuerungsmesser
• Computergrafik
• Computervisualistik
• Visualisierungsprogramm

Literatur

• Thomas Sandmann: Effekte und Dynamics, Ppv Medien, 3. Auflage, Februar 2003

Weblinks

• Atari Video Music System C-240
• Peakmeter der Firma RTW. Die Radiolegende. (Memento vom 25. März 2010 im Internet Archive)
• Offizielle Cthuga Webpage einem der ersten PC Visualisierungsprogramme
• Geisswerks, Webseite von Milkdrop und Geiss-plug-in, einem der ersten PC Audiovisualisierungsplug-ins