História da música e áudio para games

Música e efeitos sonoros para gamess

IntroduçãoDo analógico ao digital

Como o áudio faz seu caminho até o disco rígido?

Ondas sonoras Microfone ADC da placa de som(Analog to Digital Converter)As ondas sonoras chegam ao ADC que dá saída a um número que diz o quão alto (volume) é o som

Sistema operacionalO número é interpretado pela placa e enviado ao sistema operacional que o envia ao programa de edição de áudio

Disco rígido ou memóriaO programa de edição de áudio transfere o resultado para a memória ou para o disco rígido

44.1Khz 8000Hz

Termos básicosSample rate

Os dados armazenados no disco ou na memória, no processo de gravação, são chamados de sample O número de vezes por segundo que os samples são coletados é chamado de sample rate Os sample rates são medidos em Hertz (unidade por segundo)Ex: 8.000Hz = 8.000 vezes p/ segundo Assim como bytes e kbytes > Hertz e Kilohertz (K=vezes 1000) Sample rates são para o som o que é a resolução para o vídeo. Quanto mais pixels no vídeo, mais qualidade de imagem. Quanto maior o sample rate, maior a qualidade do áudio.

Sample rate

16 bits 8 bits

Termos básicosSample quality

Também chamado bits per sample ou apenas bits Refere-se ao quão acurada é a medição de cada sample Os valores mais comuns são 8 e 16 bits 8 bits: pode medir e expressar 256 níveis de volume 16 bits: pode medir e expressar 65.536 níveis de volume Se tivéssemos apenas 1 bit, teríamos apenas som ou silêncio. Sample quality está para o som como depth color está para a imagem, quanto mais bits, maior definição.

Sample quality

Curiosidade44100 Hertz?Antes dos CDs, o áudio digital era armazenado em tapes de vídeo. Esses tapes eram projetados para armazenar e tocar 60 frames por segundo de dados de vídeo. Cada frame tinha 245 linhas e cada linha tinha três valores (Red, Green e Blue). Daí temos:245 x 3 x 60 = 44.100

Termos básicosStereo sound e armazenamento em CD

A captura do som estéreo é feita, teoricamente, com dois microfones posicionados, em um ângulo específico, em cada lado da fonte sonora Comumente, não captura-se aúdio dessa forma, mas os softwares de edição podem orientar o som gravado e distribuí-lo nos dois canais (esquerdo e direito) Qualidade de CD equivale a som estéreo de 16bits sampleado a 44100Hz. Para cada segundo de áudio temos 44100 samples a 16 bits (2 bytes, lembrando que 1 byte tem 8 bits) por sample – 88.200 bytes por canal, por segundo. Como o som estéreo tem dois canais temos 88,200 x 2 = 176,400 (176K) bytes para cada segundo de áudio. Isso explica o fato de um CD com capacidade de 650 Mb armazenar apenas 74 minutos de som com “qualidade de CD”.

História do CD74 minutos74 minutos é a duração da Nona sinfonia de Beethoven. Quando o CD nasceu, uma das especificações é de que fosse possível executar a sinfonia inteira sem nehuma interrupção. Incrível como um compositor clássico, morto há tanto tempo, influenciou umas das peças de tecnologia de áudio mais onipresentes hoje em dia.

650 Mb74 min

Termos básicosFormatos e algoritmos de compressão

Gravando com qualidade de CD a 176K por segundo teremos músicas de três minutos (180 segundos) com aproximadamente 30 Mb (176k x 180 seg = 31.680Kb) Porém, existem algoritmos que retiram os “excessos” e conseguem armazenar áuiio com qualidade diminuindo o tamanho dos arquivos. Os algoritmos de compactação, basicamente, representam os mesmos dados mas de maneira compacta.

Compressão ExemploUm arquivo wav com dois segundos de silêncio equivale a 88.200 bytes com o mesmo valor binário (zero).Você pode comprimi-lo com algo do tipo: “Ok, os próximos 88.200 bytes são zero”Esse é um algoritmo de compressão comum chamado RLE (run-lenght encoding)

RLE(run-lenght encoding)

ProcessamentoMP3 e codecs

Moving Picture Experts Group É um formato com “perda” (de qualidade) Elimina informações “irrelevantes” como altas frequências (cymbal e pratos por exemplo) A perda é imperceptível para um ouvinte “médio” mas um bom par de caixas de som e um bom ouvido podem perceber a diferença ao comparar os dois formatos (com perda e sem perda) Ouvir uma bela sinfonia em MP3 é como faze-lo com algodão nos ouvidos

MP3 (MPEG Layer 3)

Codecs (COmpressor-DECompressor)

São justamente as partes de código de programação que implementam os algoritmos de compressão/descompressão Os formatos de arquivo comprimidos trazem essa informação embutida e se, por acaso, você tentar tocar um arquivo gerado por um codec que você não tem, terá de caçá-lo na internet para que seu sistema consiga decodificar o Codec

ProcessamentoMixagem digital

Som para jogos é muito mais do que tocar um único som wav (Waveform Audio File Format) A forma mais fácil de tocar dois sons simultâneos é somá-los (figura abaixo) Para obter bons resultados há algo mais do que apenas somar os dois sons Se você tocar três sons ao mesmo tempo, terá um terço do volume que o um único som teria se tocado sozinho. Existem diferentes soluções para esse probema mas a boa notícia é que você não precisa se preocupar com isso, tudo é feito automaticamente pelo sistema operacional. O mais perto que você chegará dessa manipulção é dizer (via programação): “Direct X Audio, mixe este sample a este volume com esse sample nesse outro volume”.

FM Synth

Formatos

Nos anos 80, as mais poderosas máquinas de jogos possuiam algo em torno de 8 a 128 Kb de memória de armazenamento. Um efeito de som típico, mesmo em baixa qualidade, tinha algo entre 30 e 50 Kb Os primórdios do áudio no PC utilizavam o que ficou conhecido como Frequency Modulation Synthesys, ou FM synth.

FM Synth Utiliza algoritimos para recriar ondas sonoras em tempo real. No lugar de armazenar samples wave, FM Synth tenta emular uma onda sonora recriando ondas de diferentes formatos, frequências e volumes matematicamente. É algo como “Se eu criar esse tipo de onda com esta frequência x, e combinar com esta outra onda de frequência y, eu tenho um som muito próximo de um trumpete. Infelizmente, muito próximo não significava bom.

FM Synth

MOD áudio

Wave Table synthesis

História do áudio em games

A próxima revolução deu-se com o computador Amiga, catapultando a MOD Music para a popularidade. MOD soava bem melhor que FM pelo fato de utilizar samples de áudio reais no lugar de aproximações matemáticas. O formato suportava, originalmente, quatro tracks e, a qualquer momento, cada uma dessas quatro tracks podiam ser tocadas em qualquer andamento. Os computadores agora tinham memória suficiente para armazenar samples de instrumentos e poder de processamento para manipular o andamento desses instrumentos em tempo real. A qualidade ficava em torno de 11Khz ou 22Khz Baterias soavam muito melhor pelo fato de serem gravações do instrumento real. Esta técnica foi uma forma primitiva do que viria a ser o Wave Table Synthesis.

MOD Music

Mod Music

História do áudio em games

Paralelamente ao FM synth e tracked music surge o MIDI (Musical Instrument Digital Interface) MIDI surgiu na versão 1.0 em 1983 e foi rapidamente adotado por profissionais da música digital como padrão. Tracked music: é um sistema fechado onde a CPU faz tudo: armazena os instrumentos, armazena as notas, aplica os efeitos e toca o resultado final. MIDI: várias máquinas trabalham juntas para criar o som em um sistema aberto que fala a mesma linguagem. O MIDI é um protocolo que especifica como as notas são armazenadas e como são transmitidas para diferentes aparelhos. Especifica um set de 128 instrumentos chamados General MIDI Level 1

MIDI

MIDI

MIDI

DLS

História do áudio em games

Nos anos 90, MIDI e tracked music caminhavam juntos MIDI gerava arquivos pequenos (menos de 100K) pelo fato dos instrumentos (timbres reais pré-gravados) não estarem armazenados na música em si, mas isso significava que a qualidade do áudio dependia da qualidade das bibliotecas de áudio do ouvinte. Profissionais tinham bibliotecas de boa qualidade ao passo que os gamers comuns não. A tracked music era fiel à gravação e não ficava limitada aos 128 instrumentos pré-definidos do MIDI. Porém, os arquivos eram imensos e exigiam muito poder de processamento. 1997: Midi Manufactures Association aprova o Downloadable Sounds Level 1 (DLS) O DSL levou o MIDI mais longe, possibilitando que cada instrumento tivesse vários samples diferentes Os sons MIDI tocados pelos computadores de usuários comuns passaram a soar mais próximos dos sons reais dos instrumentos Os compositores de música para jogos agora podiam trabalhar escrevendo em MIDI e tendo a certeza que a música soaria muito próxima na máquina do jogador. Também não estavam mais limitados a trabalhar com os 128 instrumentos originais do MIDI já que podiam cirar seus próprios samples. A Microsoft solidificou o reinado do DLS incluindo, como parte do DirectX, um set de sons de instrumentos criados pela Roland. Hoje, como os developers utilizam o mesmo software sintetizador do DirectX, siginifica que o que eles ouvem é o que o jogador ouve.

Downloadable Sounds Level 1 e 2 (DLS)

DLS 2

Em 1999 a MMA(MIDI Manufacturers Association)ratificou o DLS 2.O DirectMusic 8 foi o primeiro asuportar o novo formato que agoraexige pequeno uso da CPU.

CD Audio

História do áudio em games

Para os games comerciais, distribuidos em CD, o aúdio em faixas no próprio CD tem sido o mecanismo de armazenamento preferido. Possibilita que toda a parafernália MIDI ou de tracked music seja dispensada. As músicas são reproduzidas exatamente como foram gravadas O Drive de CD Rom faz a maior parte do trabalho, com uso mínimo de processamento da CPU A capacidade de armazenamento do CD é considerável.

CD Audio (Redbook Audio)

RedbookChamado assim pelo fato da primeira especificação da Sony chegar as mãos dos engenheiros em uma pasta vermelha.

Tornou-se menos atrativo pois 650Mb já não é uma capacidade tão grande. Por que usar áudio sem compressão quando se pode entregar a mesma música virtualmente igual utilizando MP3 com tamanhos de arquivo muito menores? Música de CD não consegue ser dinâmica ao passo que MIDI e/ou samples podem formar blocos de faixas dinâmicas que podem mudar de acordo com o que está acontecendo no jogo, em tempo real Para muito jogos, o áudio de CD, dependendo da situação, ainda pode ser uma boa escolha

CD Audio (hoje)

QuakeTrilha em faixas de CD Composta por Trent Reznore Nine Inch Nails

CD Audio

História do áudio em games

API Open Source para áudio 3D multi-plataforma. Pode ser usada juntamente com OpenGL (Open Graphics Library), garantindo a portabilidade do jogo. A biblioteca modela fontes sonoras se movendo em um espaço tridimensional para o ouvinte Os objetos básicos da Open AL são: Listener, Source e Buffer. Pode haver um grande número de Buffers que contém dados de áudio. Cada buffer pode ser ligado a um ou mais sources que representam pontos que emitem aúdio no espaço tridimensional.

Open AL (Open Audio Library)

Open AL (Alternativa ao Direct Sound)

Surgiu pelas mãos da Loki Software com o intuito de facilitar a portabilidade de games Windows para Linux Posteriormente foi mantida pela comunidade pró open source Hoje está nas mãos da Creative com suporte oficial à Apple e a toda a comunidade open source A engine executa todas as tarefas necessárias como cálculo da atenuação com a distância e efeito doppler, entre outros

Que formato utilizar?

MIDI, DLS, Direct Music e Redbook audio ainda estão em uso hoje FM synth morreu com o MS-DOS e Windows 3.11 Um decisão importante é escolher o formato correto PRIMEIRO: Decida se você deseja ou não música dinâmica Para música dinâmica a melhor escolha é o Direct Music (Direct X) Você pode transformar uma engine de música estática em uma engine de música dinâmica, se quiser e puder (o trabalho é grande) Você também pode programar seu próprio sistema para execução de música dinâmica baseado em samples de segmentos de áudio. Por exemplo, você pode samplear diferentes variações de um mesmo trecho e programar para que o código selecione um trecho randomicamente ou mesmo baseado no que está acontecendo no jogo naquele momento. Se seu jogo for vendido online, considere tracked music (não confunda com audio de CD) pelo seu tamanho reduzido. Áudio de CD e música sampleada comprimida são poderosas somente se você tiver dinheiro e meios para produzir música de qualidade Se seu alvo é hardware modesto, áudio de CD é uma boa escolha já que não utiliza quase nada de processamento. Mas também pode utilizar música comprimida como MP3, WMA e Ogg Vorbis. Se você for um produtor indepentende e utilizar áudio de CD, lembre que toda vez que uma música mudar você precisará gravar outra mídia, ou programar uma camada fake que simula a leitura do CD pegando as músicas de outro lugar. Tenha cuidado ao utilizar algoritmos de compressão. Podem existir questões de licenciamento de CODECs envolvidas. Para jogos comerciais distribuidos em CD, usualmente a escolha é MP3 para trilhas sonoras estáticas e Direct Music (ou seu sistema proprietário) para música dinâmica Para games online as melhores escolhas são MP3 e tracked music.

Audio Engines Bass, Mik Mod e Fmod

Licença Shareware: 100 EurosLicença única: 950 EurosLicença Ilimitada: 2450 Euros

http://www.un4seen.com/bass.html

Plataforma Mac e PC Suporta todos os formatos mais populares utilizados hoje em dia Requer apenas Directx 3 Trabalha com EAX e 3D Sound

Linguagens:C/C++, Delphi, Visual Basic and MASM APIs

Freeware

http://mikmod.raphnet.net/

Suporta os formatos mais populares Roda em diferentes sistemas: MacOs, Java, Unix e Windows

v

Free para freeware

Para produtos comerciais:a partir de $ 6000

http://www.fmod.org

Suporta muitas plataformas incluindo Xbox, Xbox 360, PS2, PS3, Wii e GameCube Suporta grande variedade de compilers de C++ Visual Basic Features avançados de EAX

Audio Engines ModPlug e Miles Sound System

Free

http://www.modplug.com

Solução simples pra quem deseja apenas tocar tracked music Interfaces para C++, Visual Basic e Delphi

ModPlugAté $ 3000

http://www.radgametools.com/miles.htm Disponível para Windows 95, 98, Me, NT, 2000, XP, MacOS 9 and MacOS X, Microsoft Xbox, Microsoft Xbox 360, Sony Playstation(R) 2, e PLAYSTATION(R) 3 É a melhor disponível no mercado Existe desde 1991 Já foi utilizada em aproximadamente 4000 jogos Se você tem grana, essa é a melhor recomendação