고급컴퓨터그래픽스 - graphics.hallym.ac.krgraphics.hallym.ac.kr/teach/2008/acg/src/chap05-1.pdf고급컴퓨터그래픽스 5장텍스쳐처리~ 5.2 이미지텍스처처리

고급 컴퓨터 그래픽스

5장 텍스쳐 처리 ~ 5.2 이미지 텍스처 처리

2008. 3. 27 발표자 심민섭

5. 텍스처 처리 (Texturing)텍스처 (Texture)

물체에 대한 시각적 느낌

컴퓨터 그래픽스에서 텍스처 처리이미지, 함수, 다른 데이터 소스를 사용하여 각 위치에서의표면의 외관을 정해주는 프로세스

이미지를 표면과 결합 하면서 모델링, 메모리, 속도면 에서의절감 효과를 가져온다.

2

5.1 일반화된 텍스처 처리텍스처 처리

표면의 속성들을 효율적으로 모델링 하는 기법

조명 처리식 에서 사용되는 값들을 수정

이러한 값들을 바꾸기 위해 표면상의 위치를 사용

위치를 기반으로 정반사 하이라이트 텍스처는 광택도 값을 변경, 범프 텍스처는 법선의 방향을 바꾸게 됨

색상은 관측자의 위치, 조명, 재질, 투명한 물체, 안개효과 등을 고려하여 계산

3

5.1 일반화된 텍스처 처리단일 텍스처에 대한 일반화된 텍스쳐 파이프 라인

공간에서의 위치는 텍스처 처리 프로세스를 위한 시작투영함수가 적용되어 매개변수 공간 값이 얻어짐 (u, v)매개변수 공간 값을 텍스처 공간으로 변환해주는 대응자 함수사용검색된 값은 값 변환 함수에 의해 다시 변환변환된 값은 재질이나 셰이딩용 법선 벡터와 같은 표면의 속성을 수정하는데 사용

4

5.1 일반화된 텍스처 처리예

오브젝트 공간물체의 참조 프레임상에서 위치 (-2.3, 7.1, 88.2)

매개변수 공간투영함수(직교투영) 이용(0~1 사이 값) u, v = (0.32, 0.29)

텍스처 이미지 공간텍스쳐 해상도가 256×256 이면 대응자 함수 이용 (u, v) × 256 = (81.92, 74.24) 소수점 이하 버림 (81. 74) 위치에서 (0.9, 0.8, 0.7)의색상 값을 갖는 픽셀을 얻고색상 보정을 위해 색상에 1.1을 곱하는 값 변환 함수 적용하여 (0.99, 0.88, 0.77)의 색상을 얻을 수 있음

5

5.1 일반화된 텍스처 처리

투영 함수목적 : 텍스처 좌표를 만드는 것3차원의 점들을 텍스처 좌표로 변환하는 작업구면투영

특정한 점을 중심으로 하는 가상의 구 위로 투사

원통형투영u 텍스처 좌표를 계산 할 때 원통의 중심축을 따라 동일한 거리에떨어져 있는 v 텍스처 좌표를 이용원통의 축과 거의 수직 할 때는 왜곡 현상 발생

평면투영한 방향을 따라 투영, 모든 표면에 텍스처 적용, 직교투영 사용

6

5.1 일반화된 텍스처 처리투영의 결과는 정점들에 저장

환경 매핑과 같은 특정한 렌더링 방법들은 정점 별로 계산 또는 픽셀별로 계산되는 자신들만의 독특한 투영함수를 갖게 됨

구면투영, 원통형투영, 평면투영, 자유투영

7

5.1 일반화된 텍스처 처리투영함수의 개별적인 적용

모델을 세분하기 위하여

다양한 텍스처 투영방법이 단일 모델에 적용된 예

8

5.1 일반화된 텍스처 처리왜곡의 최소화

메시 펼치기(unwrapping), near-optimal 등을 이용각각의 다각형들이 텍스처의 영역을 공평하게 나눠 가지도록

조각상 모델을 위한 여러 개의 작은 텍스처들을 두 개의 커다란텍스처로 저장, 오른쪽 그림은 어떻게 다각형이 펼쳐지고텍스처 위에 어떻게 표시되는가를 보여줌

9

5.1 일반화된 텍스처 처리텍스처 좌표 값

3개의 요소를 갖는 벡터로 (u, v, w)w는 투영 방향의 깊이를 나타냄

4개의 동치 좌표계로 (s, t, r, q)q는 동치 좌표계 4번째 값으로, 집중 조명광 효과에 사용

대응자 함수매개변수 공간 값을 텍스처 공간의 위치로 바꿈또 다른 대응자로 4×4 행렬 변환 사용

이동, 회전, 크기변환, 투영 가능

u, v 값 범위 밖의 처리 방법 결정OpenGL – 래핑 모드(Wrapping Mode)Direct3D – 텍스처 주소 지정 모드(Texture Addressing Mode)

10

5.1 일반화된 텍스처 처리랩(wrap), 반복(repeat)

이미지가 표면 위로 반복되며 지나간다.

거울상(mirror)이미지가 표면 위로 반복되며 지나가지만 반복 하면서 하나씩뒤집어 진다

고정(clamp), 모서리에 고정(clamp to edge)범위 밖의 값들은 범위의 값들로 고정이미지 텍스처의 모서리 값이 반복되는 결과

경계(border), 경계에 고정(clamp to border)범위 밖의 값들을 별도로 정의된 경계 색상으로 랜더링 또는 텍스처의 모서리를 경계로 사용

11

5.1 일반화된 텍스처 처리텍셀 (texel)

범위 안에 들어 있는 매개변수 값에 (u, v) 이미지의 해상도를곱하면 픽셀의 위치를 찾아낼 수 있음텍스처에서의 픽셀과 화면상의 픽셀을 구별하기 위한 용어

다른 텍스처 함수3차원 이미지 데이터

3차원 격자형태의 영상 데이터를 잘라 2차원 슬라이스를 만들어 볼수 있음

텍스쳐 패치(patch)2차원 이미지로 임의의 3차원 표면을 깔끔하게 덮는 것은 어렵거나불가능왜곡 현상을 최소화 하기 위해 면들을 부드럽게 이어 줄 수 있는타일을 만드는 것

12

5.1 일반화된 텍스처 처리3차원 텍스처

장점2차원 텍스처 매핑이 가지는 왜곡 문제와 봉합(seam) 문제가 발생하지 않음

생성 기법일반적인 방법은 잡음 함수(noise function) 사용

13

5.1 일반화된 텍스처 처리

2차원 텍스처 함수장점

저장 공간 절감텍스처가 무한대의 해상도를 가지며반복성도 가지지 않는다는 점

1차원 텍스처 이미지나 함수외곽선 높이에 따른 색상 지정선에도 텍스처를 입힐 수 있음

긴 선에 반투명 텍스처를 입혀 비 내리는 렌더링

14

5.1 일반화된 텍스처 처리값 변환

텍스처 값을 얻어낸 후 그 값을 직접 사용 또는 변환하여 사용대부분 실시간 시스템 Gouraud 셰이딩보통 조명식의 계산 결과로 나온 RGB 값 수정

이 식이 각 정점들에서 계산되고 그 색상이 다른 점들로 보간

실시간 시스템의 표면을 변형하기 위한 방법결합 함수(combine function), 혼합 연산(texture blending operations)

대치(replace) - 원래 표면 색을 텍스처 색상으로 대치전사(decal) - α 텍스처 값이 이용 가능 할 때 입력된 텍스처는 바탕색상과 혼합, (판박이) 할 때 유용변조(modulate) – 텍스처 색상과 표면 색상을 곱한다.

15

5.1 일반화된 텍스처 처리

텍스처를 적용 하면 난반사항과 정반사항이 모두 어두워 질수 있음

난반사와 정반사 셰이딩 색상을 개별적으로 보간, 난반사 음영값만 텍스처에 의해 수정 가능하도록 함

16

5.2 이미지 텍스처 처리이미지 텍스처 처리

2차원 이미지를 다각형 표면에 붙여서 렌더링

하나의 픽셀은 그 격자 셀 바깥쪽에 있는 샘플들에 의해 영향을 받을 수도 있음

가속기에서 사용되는 텍스처 이미지 사이즈는 보통 2m×2n

또는 2m×2n로 제한 하기도 함

17

5.2.1 확대(Magnification)확대

32×64 텍셀의 크기를 가진 텍스처가 직사각형 위로 입혀진다.

18

5.2.1 확대(Magnification)

최 근접 이웃 법(nearrest neighbor)왼쪽 그림에서 사용픽셀레이션(pixelation) - 각각의 텍셀들이 뚜렷하게 보임확대 시 각 픽셀의 중심으로부터 가장 가까운 텍셀 값을취하기 때문화질이 떨어짐간단하며, 속도가 빠르다

19

5.2.1 확대(Magnification)쌍 선형 보간 법

각 픽셀에 대해 네 개의 이웃한 텍셀들을 찾아 2차원 상에서선형 보간 하여 해당 픽셀의 색상 값을 찾아낸다.약간 흐릿하기는 하지만 최 근접 이웃 방법을 사용할 때 나타나는 계단 현상은 사라진다.

식 5.1b(pu, pv) = (1-u’)(1-v’) t(xl, yb) + u’(1-v’) t(xr, yb) + (1-u’)v’ t(xl, yt) + u’v’ t(xr, yt)

20

5.2.2 축소(Minification)축소

여러 텍셀들이 한 픽셀의 셀을 커버하게 됨정확한 색상 값을 얻기 위해서는 그 픽셀에 영향을 주는 텍셀들의 효과를 모두 합산 해야만 한다.하지만 근처에 있는 텍셀들이 각각 얼마만큼의 영향을 주는지결정하기 어려움실시간으로 그것을 완벽하게 계산 하는 것은 현실적으로불가능

21

5.2.2 축소(Minification)축소의 방법

최 근접 이웃 화소법 (근접 점 샘플링)픽셀의 셀 중심에서 가장 가까이 있는 텍셀 설정이 필터는 심각한 앨리어싱 문제를 야기시간적 앨리어싱(temporal aliasing) - 면이 움직일 때 더욱 심하게나타남

쌍 선형 보간 필터확대 필터에서 사용하던 방식최 근접 이웃 화소법에 비해 화질이 약간 더 좋음4개의 텍셀 값 혼합그러나 4개 이상의 텍셀들로부터 영향을 받는 경우 필터링 실패

22

5.2.2 축소(Minification)

샘플링 기법 이용텍스처의 신호 주파수는 화면상에서 공간상에 위치한 텍셀들이 얼마나 가까이 있는가에 따라 달라짐

Nyquist 한계 때문에 텍스처의 신호 주파수는 샘플링 주파수의 반보다 크지 않아야 한다

예)검정색과 흰색 줄이 번갈아 나오는 그림한 검정선에서 다음 검정선까지 2텍셀 너비그러므로 파장은 ½화면상에서 적절하게 이 텍스처를 표시하려면주파수가 최소 2 × ½ 이 되어야 함즉 최소한 한 텍셀당 한 픽셀이 대응 되어야 한다는 것

23

5.2.2 축소(Minification)안티앨리어싱

일반적으로 앨리어싱을 피하려면 한 픽셀에 한 텍셀들만 대응되도록 해야 한다.

픽셀들이 샘플링 주파수를 증가시키거나 텍셀의 주파수를감소 시켜야 함

완벽한 해결책을 위해 텍스처 축소 알고리즘이 개발되여야 함

모든 안티앨리어싱 알고리즘의 기본 개념

텍스처를 전처리하여 한 픽셀에 대응하는 집합의 효과를 신속하게계산할 수 있는 자료 구조를 만들어 내는 것

24

5.2.2 축소(Minification)

상단 : 근접점 샘플링, 중단 : 밉매핑(mipmapping), 하단 : 합산 영역 테이블(summed area table)

25

5.2.2 축소(Minification)밉매핑(Mipmapping)

텍스처에 대한 안티앨리어싱 방법중 가장 많이 사용Mip

“multum in parvo” 라틴말로 작은 공간에 많은 것들이 들어 있는 것

밉매핑 축소 필터가 사용되면 실제 렌더링이 수행되기 전 더작은 텏처들의 집합이 원래의 텍스처에 추가됨텍스처는 원래 영역의 ¼로 다운 샘플됨

26

5.2.2 축소(Minification)고화질 밉맵을 형성하는 두 가지 중요한 요소

좋은 필터링 방법밉맵 레벨을 구성하는 일반적인 방법은 픽셀의 2×2 집합을 평균하여 밉 값을얻어내는 것

박스필터 – 최악의 필터, 앨리어싱을 야기시키는 고주파 성분은 두고, 저주파성분들을 불필요하게 블러링하는 효과를 가지고 있음

매우 안 좋은 화질의 이미지를 만들어 냄

Gaussian, Lanczos, Kaiset 또는 이와 유사한 필터를 사용 좋은 결과

감마 보정이를 무시하면 밉맵 레벨에서 인지되는 밝기가 원래 텍스처의 밝기와 달라질수 있음

관측자가 물체에서 멀어짐에 따라 그리고 보정되지 않은 밉맵을 사용하게됨에 따라 물체가 전체적으로 어두워 보일 수도 있음

27

5.2.2 축소(Minification)

정사각형의 픽셀 셀과 거기에 나타나는 텍스처의 모습그 픽셀 셀을 텍스처 상에 투영한 그림

28

5.2.2 축소(Minification)목표

텍스처에서 어느 정도의 부분이 픽셀에 영향을 주는가

d를 구하기 위한 두 가지 방법픽셀의 셀에 의해 생성된 사변형 긴 모서리를 사용하는 것4개의 미분 값 중에 절대값이 가장 큰 것을 척도로사용하는 것

각 미분 값은 특정한 화면 좌표에 대하여 텍스처 좌표값의 변화량을 측정예 : 는 한 필셀에서 화면상 x축에 대한 u 텍스처 값의 변화량

d를 계산하는 목적밉맵의 피라미드 축을 따라 샘플링 할 위치를 결정하는 데 있음목표 : 픽셀 대 텍셀의 비율이 적어도 1:1이 되도록 만드는 것d가 증가함에 따라 더 작고 더 블러링된 버전이 사용됨

29

yu

yu

xu

xu

∂∂

∂∂

∂∂

∂∂ ,,,

xu∂

∂

5.2.2 축소(Minification)삼선형 보간법(trilinear interpolation)

d 값은 레벨 사이의 거리를 나타내는 분수 값을 가짐

d 위치의 상위 레벨 텍스처와 하위 레벨 텍스처에서 모두샘플링

(u, v) 위치는 이러한 두 개의 텍스처 레벨로부터 쌍선형 보간샘플을 얻어내는데 사용

최종 샘플은 각 텍스처 레벨로부터 d까지 거리에 기반 선형보간

밉맵을 두 번 접근해야 하기 때문에 실행비용이 두배

30

5.2.2 축소(Minification)상세 단계 편향값(Level of detail bias)

d 좌표상에서 사용자가 제어하는 것 중 하나

d에 더해진 값으로 인지되는 텍스처의 선명도에 영향

만약 d를 증가시켜 피라미드 상위 단계로 이동하면 텍스처가 더흐릿해 보임

이미지의 유형이나 그 이미지를 사용하는 방법에 따라 달라짐

다소 흐릿하게 보이는 이미지에는 음의 편향값 사용

저급하게 필터링된 합성 이미지에는 양의 편향값 사용

시간적 앨리어싱 문제들을 피하기 위해 더 높은 편향값 필요

31

5.2.2 축소(Minification)밉매핑의 결과

미리 결합된 텍셀들의 값을 읽어서 보간 하는 것축소하는 양이 얼마이든 상관없이 일정 시간 소요결점

오버블러링(overblurring)u 방향에서 많은 수의 텍셀 커버, v 방향에서 적은 수의 텍셀 커버이런 경우 관측자가 시야 방향과 거의 수평으로 기울어진 표면을 바라 볼때

직사각형 영역을 얻어오는 것은 불가능셀이 개략적으로 차지하는 영역의 가장 큰 쪽 값을 선택하여 d값을정함따라서 결과 이미지는 상대적으로 더 흐릿하게 보임그림 5.11의 밉맵 이미지에서 볼 수 있음

32

5.2.2 축소(Minification)립매핑(Ripmapping)

오버블러링을 부분적으로 또는 완전히 회피하기 위한 기술밉맵을 확장하여 직사각형 영역들까지 활용 가능한 하위 텍스처로 포함하위 텍스처에 접근 하기 위해 u, v와 립맵 배열에서의 위치를결정하기 위한 두 개의 값 사용

립맵의 하위 텍스처 배열

33

5.2.2 축소(Minification)합산 영역 테이블(Summed-Area Table)

텍스처와 동일한 크기를 가지면서 저장된 색상에 대해 더 많은 정밀도 비트를 가지는 배열 생성

배열의 각 위치에는 점과 택셀, 원점에 의해 구성된 직사각형에 들어가는 모든 텍셀의 합을 계산하여 저장텍스처 처리 하는 동안 투영한 상은 하나의 직사각형으로 둘러싸인영역이 됨

34

5.2.2 축소(Minification)식 5.2

x, y는 직사각형의 텍셀 좌표, s[x, y]는 그 텍셀에 대한 합산 영역 값우측 상단 모서리부터 원점까지 전체 영역의 합을 취한 후A와 B영역을 빼줌 이때 C영역이 두 번 뺏기 때문에 한 번 더해줌(xll, yll)은 C영역의 우측 상단 꼭지점 좌표

결과그림 5.11우측 모서리 부근에서 수평선쪽으로 뻗어 있는 선들은 선명해 보이지만 가운데 부분에 대각선으로 지나가는 선들은 여전히 오버블러링

35

))((

],[],[],[],[

llurllur

llllurllllururur

yyxx

yxsyxsyxsyxsc

−−+−−

=

5.2.2 축소(Minification)문제

텍스처를 대각선 방향으로 비스듬하게 바라보면 샘플링 할 영역에해당하는 사각형이 너무 커져 그 픽셀의 값을 계산하는데 실제로 사용되지 않는 텍셀들까지 포함 된다는 것

비등방 필터링립맵, 합산 영역 테이블정사각형 모양이 아닌 영역에서 텍셀의 값들을 얻어낼 수 있도록 하는 방법하지만 기본적으로 수평 수직 방향에 가장 효과적이도록 설계두가지 모두 메모리를 많이 사용

36

5.2.2 축소(Minification)제약이 없는 비등방 필터링(Unconstrained Anisotropic Filtering)

가장 일반적인 방법 – 기존의 밉맵 재활용기본 아이디어

픽셀의 셀을 역투영하고, 투영결과로 만들어진 텍스처상의 사변형을여러 번 샘플링한 다음 그 샘플을 혼합하는 것

37

5.2.2 축소(Minification)방법

각 밉맵 샘플은 피라미드상에서 자신의 위치를 가지며, 또한 그와 관련된 정사각형 영역을 가짐사각형이 차지하는 개략적인 영역을 계산하는데 단일 밉맵 샘플을사용하는 대신 여러 개의 정사각형을 이용하여 그 사각형 영역을커버함사각형의 짧은 쪽을 사용하여 d를 결정각 밉맵 샘플에 대해 평균되는 영역이 더 작아지고 따라서 덜 흐릿한이미지가 만들어 짐사각형의 긴 쪽은 그쪽으로 평행하면서 사각형의 중심을 지나가는비등방선(line of anisotropy)를 만드는데 사용비등방한 정도가 1:1과 2:1 사이일 때 이 선을 따라 두 개의 샘플들이취해짐비등방한 정도가 심해질수록 이 축을 따라 더많은 샘플이 추출

38

5.2.2 축소(Minification)장점

방향성의 제한을 가지지 않음비등방선이 임의의 방향을 가리킬 수 있도록 하기 때문에

추가적인 텍스처 메모리를 필요로 하지 않음샘플링 할 때 밉맵 방법을 사용하기 때문에

칩셋 내에 더 많은 병렬 파이프라인이 들어갈수록 이용할 수 있는 최대 비등방 비율도 그만큼 증가

하드웨어가 반복적으로 샘플링 하도록 함으로써 비등방 비율 더 높일 수도 있음

39

5.2.2 축소(Minification)밉맵과 비등방 필터링의 비교

왼쪽은 삼선형 밉매핑오른쪽은 16:1 비등방 필터링

40