Adaptive Music & Real-Time Sound Synthesis

computer graphics & visualization

Adaptive Music & Real-Time Sound Synthesis


Adaptive Music & Real-Time Sound SynthesisDominik Steger

Inhahltsverzeichnis: Adaptive Music Ausdruckskraft von Musik Definition Vorgehensweise: Music Design Document Grenzen der Adaptive Music Adaptive Audio Technology The Music System Music System und Game Engine Beispiel: nicht Spielwelt



Ausdruckskraft von Musik

• Vermittelt Inhalt auf emotionaler und unbewusster Ebene

• Kann Spannung erzeugen oder beseitigen• Assoziation bestimmter Musik mit Charakteren

Vorgriff möglich

Ausdruckskraft, Feinsinn, Tiefe



Definition- Adaptive Music• Wann und wie welche Ereignisse

Ausführungszeitraum• Auswahl von Eingabeparametern generiert Variationen

von umgebenden Interaktionen gesteuert

• Adaptive Music System: Spezifikation der Ereignisse „Handlungsvorschrift“

• Kleine Variationen der Eingabe große Auswirkungen auf Musik

• Soll klingen als wäre es linear komponiert• große Unterschiede in individuellen Ausdrucksformen



Das Music Design Document• Zusammenarbeit zwischen Komponist und Game

Designer

• Eigenschaften des Komponisten:Hat stilistische Ideen und TechnikenErkennt wie, wann und wo und warum Musik Sinn hatFokus auf Vision des Game Designers

„feedback loop“ möglichkreative Vision wird zur technischen Lösung



Das Music Design Document• Aufkommende Fragen:

Welche Teile des Spiels sollten Musik enthalten?

Welcher Musikstil ist am besten für das Spiel?

Wann soll die Musik im Hintergrund, wann intensiv sein?

Wie sollen die Übergänge der Musik sein?Sind “character themes“ angemessen?



Adaptive Audio Technologies

• Adaptive Audio = Ton und Musik reagieren auf Gameplay• Noch immer relativ frühe Phase der

Entwicklung • Vor Auswahl des Music Systems, bestimmen

der zu verwendenden Techniken



Grenzen von Adaptive Music• Spektrum von Musik die linear und

pre-rendered ist bis Musik, die vollständig game-rendered ist

• Welche Technik verwendet wird hängt ab von: Dem Spiel selbst Entscheidungen des Komponisten und des

Game Designers



Vergleich Wave-MIDI• Wave-files: lineare Eigenschaft Alle Instrumente, Tools

und Techniken möglich in Wavedatei aufzunehmenhohe Produktionswerte

Zerlegung in “wavelets“höhere Anpassungsfähigkeit

• MIDI-files: Note als manipulierbares

Datenteil Geschwindigkeit, Harmonie und

Instrumentation schnell änderbar Anpassungsfähiger als wave-filesleichte Übergänge

Plattformabhängige “custom instrument banks“Bei guter Anwendung derzeit dynamischste Musikerlebnis

Kombination möglich




No One Lives Forever 2Jeder Zustand der Musik wurde in individuelle wave –files der Maßlänge 1 bis 4 eingeteilt, zu Beginn einer Datei: transition point => Übergang in anderen Zustand möglich, Dateien überlappen oder sind aufeinander abgestimmt




Mark of Kri

Verwendung von custom instrument banks und MIDI-files



Adaptive Audio Technologies• Koordinierung und Synchronisation von

“music cues“music cues geschichtet oder sequentiell

Einsatzzeitpunkt essentiellStarten einer music cue nur zu bestimmten rhythmischen GrenzenVermeidung von Kollision



Adaptive Audio TechnologiesÜbergänge zwischen music cues• Festhalten am Gameplay• abhängig von Spielszenario:

Stille cross-fadedirekte Verbindungeine extra cue zur Überlappung

• music system muss immer bereit sein



Übergangstechniken• cue-to-cue transission:

Aktuelle cue spielt bis zu einer Grenze, dann Beginn der Nächsten

sehr einfach, kann abrupt wirken• Layering:

Vergrößerung/Verkleinerung der Anzahl an InstrumentenKontinuität, jedoch keine schnellen Übergänge

• Übergangsmatrix:Übergänge zwischen beliebigen Paaren von music cues

der Matrix möglichgut für spezielle Situationen



Adaptive Audio Technology• Harmonic System:Ändern der Tonart einer music cue in Echtzeit

durch game engineVariation, Stimmungswechsel

Verfolgung der harmonischen Änderungen einer music cue

Neue cues können in Harmonie zur aktuellen beginnen



Adaptive Audio Technology• Run-time mixing and effects:- Verändern der Lautstärke- Wechsel zwischen Instrumenten- Hall, Verzögerung sollten vom music system

kontrolliert werden



Adaptive Audio Technology• Musical variation:Game engine ruft music cue auf

Music system wählt ein zufälliges wave-file Jedes Instrument hat mehrere mögliche parts

ein part wird wahllos ausgewählt“replay value“



Music System and Engine• Entwicklung von eigenen “interactive music engines“ Zusammenarbeit mit Komponisten hilfreich• Verfügbare Engines: Direct Music, Miles Sound Sytem Mühsames einarbeiten notwendig • Adaptive Audio Technology im Entstehen• Keine stimmige Programmiersprache

Unternehmen wie Sony, Electronic Arts, LucasArts besitzen eigene Engines und Technologien



Music System und Game Engine

• Zusammenarbeit zw. Game Engine und Music Engine Effektivität

• Game Engine: Anweisungen an Music System• Music System: Übermittelung des eigenen Status• Game Engine ändert die Musik durch:

Location based triggersGame-state triggersNPC AI triggersPlayer charachter triggersEvent triggers

Kombination möglich



Beispiel – nicht aus der Spielwelt

• Mozarts musikalisches Würfelspiel:

Tisch mit verschiedene Versionen

Würfel wird geworfen riesige Anzahl an

Variationen



Inhaltsverzeichnis: Real-Time Sound SynthesisBegriffsklärungAnforderungenSpring-Mass SystemSpring-Mass System`s Equation of Motion Vibration Mode

- Mode Compression- Quality Scaling

Beispiele



Begriffsklärung

Pro:• einfach und schnell

Contra:• mühsame Aufnahme• Interaktion mit

Umgebung in einer Szene

• Anwendung der Physik

Simulation der Entstehung von sounds

• Verfolgung der Ausbreitung von Schallwellen + Oberflächenvibration

Bisher üblich: „Recorded Soundclips“:



Anforderungen• Abhängig davon, wie Objekte kollidieren und wo der

Aufprall stattfindet• Abhängig von Eigenschaften der Materialien, der

Geometrie der Objekte• Automatisches Abfangen kleiner Änderungen von

Tönen und Klangfarben

Anforderungen an Physically based Sound Synthesis:1. Physics Engine: Sound system muss über

Kollisionsgeometrie informiert werden 2. Hohe Rechenleistung



Entstehung von Sounds

• Schallwellen prallen auf Oberflächen Vibrationen• Modellierung dieser Vibrationen:

Direkte Anwendung der Bewegungslehre

diskrete Annäherungen an die Geometrie eines Objekts



Spring-Mass System• Diskretisierung eines Objekts• Eingabe: Netzt bestehend aus Eckpunkten und verbindenden

Kanten Die Eckpunkte des Netzes werden durch Punktmassen

die Kanten durch gedämpfte Federn ersetzt

Durch Anwendung der klassischen Bewegungslehre erhält man eine Gleichung:



Spring-Mass System`s Equation of Motion:

M= diagonale Matrix der Masse, Einträge: Punktmassen; K = symmetrische Matrix; federartigen Verbindungen zwischen den Teilchen;y= Flüssigkeitskonstanten= viskoelastische Konstante r = Abstandsvektor zwischen den Teilchenf = extern einwirkende Kraft



Spring-Mass System`s Equation of Motion:• Konstante der Schwingungsdämpfung, der Feder und

die Teilchenmasse materialabhängigcharakteristischer Klang verschiedener Materialien

• M, K: Kodierung der Geometrie des Objekts Bestimmung der Klangfarbe• Diagonalisieren der Matrix K

Lösungsweg wird vereinfachtZerlegung in Vibrationsmodi repräsentierende Gleichungssysteme



Vibration Mode

• Sounds eines Objekts = Mischung der Vibrationmodi zu bestimmten Anteilen

• „Diagonalisierung“ wird offline berechnet• Zur Laufzeit müssen „nur“ die Anteile bestimmt

werden• Abhängig von Kollisionsimpulsen und Position

des Aufpralls



Vibration Mode



Vibration Mode

• Naiver Ansatz: Mischung aller Vibrationmodi zu passenden Anteilen

• Objekt mit ein paar tausend Eckpunkten = ein paar tausend Vibrationsmodi

• Probleme bei der Ausführung (Knack- und Klickgeräusche)

Anzahl der Vibrationsmodi verringernAusschöpfen der menschlichen auditiven Wahrnehmung



Mode Compression Studie: nahe beieinander liegen Frequenzen können vom

Menschen nicht unterschieden werden

• Zusammenfassung mehrerer Frequenzen, die nahe beieinanderliegen• Erhöhung der Effizienz bei der Synthese der Sounds eines

Objekts



Quality Scaling• Anzahl der Objekte zu groß

=> Mode Compression nicht ausreichend• Wichtiger für Gameplay: Variation der Qualität in bestimmten

zeitlichen Rahmen

• Idee: Aufmerksamkeit auf Objekten aus dem Vordergrund Skalierung der Soundqualität der Objekte Zuordnung von Zeitquoten Kontrollieren der Anzahl an zu mischenden Vibrationsmodi und der Lautstärke

Objekte im Vordergrund -> hohe Qualität



Beispiel: Position Dependent Sounds



Zu den BeispielenXylophon:• Produktion der Töne mit mehr als 500 FPS• Generierung der Sounds benötigt 10% der CPU,

bei einem 3.4GHz Pentium-4 Laptop mit 1GB RAM

Ringe:• Mehr als 100 Ringe fallen auf Holztisch • Audio Simulation mit mehr als 200 FPS• Application Frame Rate 100 FPS



Audio Simulation: Ringszene



Beispiel: Theater



Ausbreitug der Schallwellen2 GHz Laptop

Bis zu 4 Reflektionen

Mehr als 95000 Strahlen werden 2 Mal die Sekunde gesendet



Vielen Dank für eure Aufmerksamkeit!

Adaptive Music & Real-Time Sound Synthesis

Documents

What is Csound? a programming language for sound generationa...

Real-time force-based sound synthesis using GPU parallel...

2007 PhD Thesis: Adaptive Wave Field Synthesis

donner Click on one of the ten sounds. sound 1 sound 2 sound...

Adaptive electronic camouflage using texture synthesis

Adaptive Authoring of Adaptive Hypermedia

Ph.D. Defense: Expressive Sound Synthesis for Animation

Udk] sound (sound cue)

Adaptive Wave Field Synthesis for Surround Sound...

Sound. Sound What causes sound? Sound Waves Speed of...

Sound and more sound

Adaptive Information Systems: From Adaptive Hypermedia to .....