Síntese de Imagens Fisicamente Correctas: Aplicações e Desafios Luís Paulo Peixoto dos Santos Abril, 2005
Síntese de Imagens Fisicamente Correctas:Aplicações e Desafios
Luís Paulo Peixoto dos Santos
Abril, 2005
Departamento de InformáticaUniversidade do Minho
2
Síntese de Imagens por Computador
ObjectivoA partir de uma descrição geométrica de um mundo pretende-se
sintetizar uma imagem correspondente a esse mundo observado a partir de determinado ponto.
Departamento de InformáticaUniversidade do Minho
3
Síntese de Imagens:O modelo de iluminação
O modelo de iluminação utilizado influencia a qualidade da imagem final: este determina quais os fenómenos relacionados com o transporte da luz que são incluídos no processo de síntese.
Os modelos de iluminação mais simples incluem pouquíssimos efeitos relacionados com a luz:
• Iluminação local: apenas a interacção de cada objecto com as fontes de luz é considerada (luz directa)
• Iluminação global: o efeito da luz reflectida por outros objectos (que não as fontes de luz) também é considerado para calcular a iluminação de cada ponto.
Departamento de InformáticaUniversidade do Minho
4
Síntese de Imagens:Iluminação local
• Os modelos de iluminação local consideram apenas a iluminação directa:
Interacção entre cada objecto e as fontes de luz
• Fenómenos resultantes da interacção entre objectos são ignorados:
– Sombras– Reflexão especular (ex.: espelhos)– Transmissão especular (ex.: vidros)
Departamento de InformáticaUniversidade do Minho
5
Síntese de Imagens:Iluminação local
[Foley90]
Departamento de InformáticaUniversidade do Minho
6
Síntese de Imagens:Iluminação Global
• Na iluminação de cada ponto é incluída, além da componentedirecta, a luz reflectida ou transmitida por outros objectos que nãoas fontes de luz.
Observador
Directa
Indirecta
Departamento de InformáticaUniversidade do Minho
7
Síntese de Imagens:Iluminação Global – Sombras
[Peter Milner, AccuRender3]
Departamento de InformáticaUniversidade do Minho
8
Síntese de Imagens:Iluminação Global – Reflexão Especular
[Greg Ward, Radiance]
Departamento de InformáticaUniversidade do Minho
9
Síntese de Imagens:Iluminação Global – Transmissão Especular
[Graeme Watt, Radiance]
Departamento de InformáticaUniversidade do Minho
10
Síntese de Imagens:Iluminação Global – Transmissão Especular e Refracção
[Radiance]
Departamento de InformáticaUniversidade do Minho
11
Síntese de Imagens:correcção física vs. fotorealismo
• No processo de síntese de imagens são muitas vezes usados modelos de iluminação empíricos que produzem imagens foto-realistas, mas que não correspondem ao que seria realmente visto se aquele mundo existisse!
[Gilles Tran, POVRay]
Departamento de InformáticaUniversidade do Minho
12
Síntese de Imagens Fisicamente Correctas
Objectivo
“… desenvolver modelos de iluminação baseados na física e processos de visualização perceptuais que produzam imagens sintéticas visual e/ou mensuravelmente indistinguíveis e imagens do mundo real…”.
[Greenberg, 1997]
Estas imagens podem ser usadas de forma preditiva, em oposição a imagens que apenas têm um grande impacto visual.
Departamento de InformáticaUniversidade do Minho
13
Síntese de Imagens Fisicamente Correctas
• Os modelos de iluminação e os mecanismos de transporte de luz utilizados para sintetizar estas imagens devem ser fisicamente correctos, não podendo utilizar aproximações empíricas.
• Todas as grandezas utilizadas na modelação do mundo virtual, devem ser grandezas físicas.
• A síntese de imagens fisicamente correctas é, portanto, uma simulação de um processo físico.
Departamento de InformáticaUniversidade do Minho
14
Síntese de Imagens Fisicamente Correctas:Aplicações
• Arqueologia• Arquitectura• Engenharia da Iluminação• Publicidade e Marketing• Simuladores• Cinema• Jogos para Computador
Departamento de InformáticaUniversidade do Minho
15
Síntese de Imagens Fisicamente Correctas:Aplicações - Arqueologia
[Temple of Kalabsha, V. Sundstedt, P. Ledda, A. Chalmers, Univ. of Bristol]
Departamento de InformáticaUniversidade do Minho
16
Síntese de Imagens Fisicamente Correctas:Aplicações - Arquitectura
[London Underground Control Centre, A. Sedgwick, S. Walker, O. Arup, Radiance]
Departamento de InformáticaUniversidade do Minho
17
Síntese de Imagens Fisicamente Correctas:Aplicações – Engenharia da Iluminação
[Greg Ward, Radiance]
Imagem original Linhas de iso-luminância
Departamento de InformáticaUniversidade do Minho
18
Iluminação Global:Evolução Histórica
• Ray tracingTurner Whitted, Agosto 1979
Baseado em métodos já usados na Física Óptica, este algoritmo engloba de uma forma elegante sombras, reflexões e transmissões especulares.
Departamento de InformáticaUniversidade do Minho
19
Iluminação Global:Evolução Histórica
• RadiosidadeGoral, Torrance andGreenberg, 1984
Simula as interreflexõesdifusas, assumindo que todos os materiais são reflectores difusos perfeitos.
Departamento de InformáticaUniversidade do Minho
20
Iluminação Global:Evolução Histórica
A radiosidade simula o “color bleeding”
Departamento de InformáticaUniversidade do Minho
21
Iluminação Global:Evolução Histórica
• Ray Tracing DistribuídoCook, Porter and Torrance, 1984
Suaviza os resultados do ray tracing, permitindo simular reflexões glossy, sombras suaves, translucência, motion blur e profundidade de campo.
Ray tracing clássico Reflexões glossy
Departamento de InformáticaUniversidade do Minho
22
Iluminação Global:Evolução Histórica
• Ray Tracing DistribuídoCook, Porter and Torrance, 1984
Ray tracing clássico Sombras suaves
Departamento de InformáticaUniversidade do Minho
23
Iluminação Global:Evolução Histórica
• Ray Tracing DistribuídoCook, Porter and Torrance, 1984
Ray tracing clássico Translucência
Departamento de InformáticaUniversidade do Minho
24
Iluminação Global:Evolução Histórica
• Ray Tracing DistribuídoCook, Porter and Torrance, 1984
Motion blur
Departamento de InformáticaUniversidade do Minho
25
Iluminação Global:Evolução Histórica
• Ray Tracing DistribuídoCook, Porter and Torrance, 1984
Departamento de InformáticaUniversidade do Minho
26
Iluminação Global:Evolução Histórica
• Equação de rendering e path tracingKajiya, 1986
A equação de rendering descreve matematicamente o transporte da luz, permitindo o aparecimento de novos algoritmos que tentam obter uma solução aproximada para o integral.
∫Ω
Ψ∂ΨΨ←Θ↔Ψ+Θ→=Θ→s
xre NxLxfxLxL ω),cos()(),()()(r
Departamento de InformáticaUniversidade do Minho
27
Iluminação Global:Evolução Histórica
• Path tracingKajiya, 1986
Aproximação estocásticaà solução da equação de rendering, que é capaz de seguir todos os caminhos da luz: fenómenos especulares, difusos e cáusticas.
Departamento de InformáticaUniversidade do Minho
28
Iluminação Global:Evolução Histórica
• Photon MappingHenrik Wann Jensen, 1996
Aproximação estocástica à solução da equação de rendering, que permite calcular cáusticas, interreflexões difusas, meios participativos (ex.: fumo, nevoeiro), etc., de uma forma muito mais rápida do que o path tracing.
Departamento de InformáticaUniversidade do Minho
29
Iluminação Global:Evolução Histórica
• Photon Mapping – Iluminação GlobalHenrik Wann Jensen, 1996
Departamento de InformáticaUniversidade do Minho
30
Iluminação Global:Evolução Histórica
• Photon Mapping – CáusticasHenrik Wann Jensen, 1996
Departamento de InformáticaUniversidade do Minho
31
Iluminação Global:Evolução Histórica
• Photon Mapping – Cáusticas e Meios ParticipativosHenrik Wann Jensen, 1996
Departamento de InformáticaUniversidade do Minho
32
Iluminação Global:Evolução Histórica
• Photon Mapping – Meios ParticipativosHenrik Wann Jensen, 1996
Departamento de InformáticaUniversidade do Minho
33
Iluminação Global:Evolução Histórica
• Dispersão da LuzHenrik Wann Jensen, 2001
Departamento de InformáticaUniversidade do Minho
34
Iluminação Global:Evolução Histórica
• Dispersão da LuzHenrik Wann Jensen, 2001
Departamento de InformáticaUniversidade do Minho
35
Síntese de Imagens Fisicamente Correctas:Desafios
• Este é um processo computacionalmente muito exigente;
• A síntese de cada imagem requer um elevado tempo de computação
• O tempo de rendering inviabiliza a utilização em contextos interactivos, onde se exigem de 10 a 30 imagens por segundo(100 a 33 ms por imagem)
• Exemplo: o filme SHREK exigiu 10 milhões de horas de rendering
Departamento de InformáticaUniversidade do Minho
36
Síntese de Imagens Fisicamente Correctas:Optimizações
As abordagens à resolução deste problema têm passado por:
• Algoritmos mais eficientes
• Computação Paralela
• Coprocessadores gráficos
• Rendering progressivo
• Rendering selectivo
Departamento de InformáticaUniversidade do Minho
37
Síntese de Imagens Fisicamente Correctas:Computação Paralela
• O processo de síntese é distribuído por várias máquinas
Departamento de InformáticaUniversidade do Minho
38
Síntese de Imagens Fisicamente Correctas:Computação Paralela
• Limitações nas acelerações devido a custos de:– Comunicações e sincronização– Repetição de trabalho– Gestão do paralelismo
Tempos de processamento
0
200
400
600
800
1000
1200
1 10 100 1000
Número de processadores
Tem
po d
e ex
ecuç
ão
Departamento de InformáticaUniversidade do Minho
39
Síntese de Imagens Fisicamente Correctas:CoProcessadores Gráficos
• As placas gráficas são coprocessadores gráficos que podem ser usados para acelerar partes do processo de síntese
• Modelo de computação diferente do associado aos CPUs
• Grande evolução nos últimos anos, tanto ao nível do desempenho, como funcionalmente
• Existem ray tracers, com modelos de iluminação simplificados a correr na placa gráfica
http://www.gpgpu.org
Departamento de InformáticaUniversidade do Minho
40
Síntese de Imagens Fisicamente Correctas:Rendering progressivo
• Síntese de imagens progressivamente com maior qualidade: – os resultados iniciais, mais grosseiros, podem ser imediatamente
apresentados ao utilizador
Departamento de InformáticaUniversidade do Minho
41
Síntese de Imagens Fisicamente Correctas:Rendering selectivo
• As regiões da imagem mais relevantes para o observador são sintetizadas com maior qualidade
• A restante imagem pode ser sintetizada com parâmetros de qualidade inferior, requerendo menor tempo de execução
• Esta abordagem apoia-se em limitações do Sistema Visual Humano, que tem tendência para se concentrar apenas em alguns aspectos das imagens que lhe são apresentadas
Departamento de InformáticaUniversidade do Minho
42
Síntese de Imagens Fisicamente Correctas:Rendering selectivo
Saliency maps
Departamento de InformáticaUniversidade do Minho
43
Síntese de Imagens Fisicamente Correctas:Rendering selectivo
Task Maps
Departamento de InformáticaUniversidade do Minho
44
Síntese de Imagens Fisicamente Correctas:Rendering selectivo
Alan Chalmers, Universidade de Bristol
Departamento de InformáticaUniversidade do Minho
45
Síntese de Imagens Fisicamente Correctas:Rendering selectivo
Alan Chalmers, Universidade de Bristol