Page 1
Metrologija 2016
P7: 28.nov. Merjenje kotov; kolokvij
P8: 5.dec. Merjenje z uporabo strojnega vida
P9: 12.dec. Strojni vid; krožnost, valjnost, ravnost
P10:19.dec. Hrapavost površin
P11: 2.jan. CMM
P12: 9.jan. seminarji
2. kolokvij - določimo datum - predlagam kar teden od 9. - 13.jan.
[email protected]
Page 2
STROJNI VIDv tehnoloških meritvah
poglavje
Metrologija
Page 3
Strojni vid pri tehnoloških
meritvah
• kakšne vrste slik poznamo
• pomen in nekaj primerov
• EM spekter
• aplikacije v posameznih delih
spektra
• o matriki slike
Page 4
nastanek slike
refleksija emisija transmisija
VPRAŠANJE: način nastanka slike; skiciraj zgled in navedi tipični zgled
Page 6
kdaj se svetloba sploh siplje
Dr/2
Df: fazna razlika
Dr: razlika poti
h: hrapavost
Page 7
2-D slika: f(x,y) ~ projekcija 3D scene na 2D senzor
Page 8
2-D slika: f(x,y) ~ projekcija 3D scene na 2D senzor
kristal germanija
https://en.wikipedia.org/wiki/Self-similarity
Page 9
EM spekter
3-D slika: f(x,y,z)
• CT: Computerized tomography
• MRI: Magnetic Resonance Imaging
• optično vzorčenje v konfokalni mikroskopiji
• seizmične slike po obdelavi
vijolična 380–450 nm
modra 450–495 nm
zelena 495–570 nm
rumena 570–590 nm
oranžna 590–620 nm
rdeča 620–750 nm
Page 11
The standard charge is £10 for each day.Enforcement is primarily based on automatic number platerecognition (ANPR). Transport for London (TfL) is responsible for the charge which has been operated by IBM since 1 November 2009.
Congestion charge CCTV cameras on Vauxhall Bridge Road
Page 12
Aplikacije v vidnem delu spektra
meritev prstnih
odtisov
kontrola bankovcev
avtomatska kontrola
tablic
Page 13
Strojni vid v industriji
Pogled na merilna mesta naprave za avtomatsko optično kontrolo
izdelkov, 6 merilnih mest, 6 kamer, pnevmatski transport, cikel
stroja manjši od 1.2 sek. (vključno z vsemi mehanskimi gibi).
video - vodopivec -kolektor LIV
Page 15
MRIemisijska slika
Page 17
emisijske slike
IR spekter
gama kamera PET
Page 18
Pozitronska Emisijska Tomografija
http://en.wikipedia.org/wiki/Positron_emission_tomography
Page 19
CFRP integrity evaluation methods
Inspection by means of IR thermography
Page 20
CFRP integrity evaluation methods
Inspection by means of IR thermography
A: a surface profile across the pierced hole
B: thermographic image of the same workpiece
Page 21
konfokalna mikroskopija
https://en.wikipedia.org/wiki/Confocal_microscopy
Page 22
geofizikalno slikanje
Page 23
Napoved za rast tržišča aplikacij
strojnega gledanja v Evropi 2001-
2011
Source: MarketsandMarkets
Page 24
100 200 300 400 500 600 700 800 900 1000
100
200
300
400
500
600
700
800
900
37
1 2
34
50 100 150 200 250 300
50
100
150
200
primeri
Page 29
ločevanje med grčami in sivinami, ki so posledica
obdelave je v tem primeru narejeno z nevronsko mrežo
Page 31
Meritve:
• merjenje napake vogala,
• merjenje koničnosti reza.
Merjenje napake vogala
Merjenje koničnosti
reza zg. str.
Merjenje koničnosti reza
sp. str.
Page 33
pogoji osvetlitve
napake leče
ločljivost
Page 34
osvetlitev bistveno
vpliva na
Page 35
zajem oblike
predmeta
vir: E4242-QuickImage_mitutoyo.pdf
Page 36
http://www.edmundoptics.com/technical-resources-center/imaging/telecentricity-and-telecentric-lenses-in-machine-vision/
običajne leče
telecentrične
leče
Page 38
dimenzija matrike slike
Page 39
dimenzija matrike slike
Page 41
nadaljevanje
1. iskanje vzorcev
2. histogram slike
3. binarizacija slike
4. robovi
5. razpoznavanje objektov
Page 42
zajem oblike
predmeta
Page 43
splošno-posebno & posebno splošno
diagonalna črta
ali
vertikalna črta
Page 44
Ena od rešitev problematike je
oponašanje človekovega vida
Podobno kot na fotografiji: resolucija slike na
mrežnici ni enakomerna.
Le centralni del mrežnice zagotavlja dobro
resolucijo, zato svet okrog sebe vidimo s
premikanjem oči.
Page 45
ISKANI VZOREC
Zgled za iskanje vzorca na objektu
OBJEKT
50 100 150 200 250 300 350 400 450 500
50
100
150
200
250
300
Tudi za štetje kot najpreprostejšo obliko
meritev naša čutila niso vedno ustrezna.
Kaj pa strojni vid?
Page 46
Postopek iskanjasl=imread('slon.tif','tif');
ob=imread('noga.tif','tif');
rezult = normxcorr2(sl,ob);
figure(1); imagesc(rezult);
[yn,xn]=find(rez>0.4);
figure(2);imagesc(sl);hold on;
colormap gray
plot(xn-35,yn-21,'r.')
50 100 150 200 250 300 350 400 450 500 550
50
100
150
200
250
300
350
-0.2
0
0.2
0.4
0.6
0.8
50 100 150 200 250 300 350 400 450 500
50
100
150
200
250
300
335x50742x71
376x577
Page 47
a=round(256*rand(7,7))
b=a(3:5,3:5)
b=b+0*rand(size(b))
rezult = normxcorr2(b,a)
imagesc(rezult)
1 2 3 4 5 6 7 8 9
1
2
3
4
5
6
7
8
9 -0.6
-0.4
-0.2
0
0.2
0.4
0.6
0.8
a=round(256*rand(7,7))
b=a(3:5,3:5)
b=b+21*rand(size(b))
rezult = normxcorr2(b,a)
imagesc(rezult)
1 2 3 4 5 6 7 8 9
1
2
3
4
5
6
7
8
9
-0.6
-0.4
-0.2
0
0.2
0.4
0.6
0.8
Page 48
8 10 12 14 16 18 20 22145
150
155
160
165
170
175
180
185
100 200 300
50
100
150
200
250
300
350
-0.4
-0.2
0
0.2
0.4
0.6
0.8
50 100 150 200 250 300
50
100
150
200
10 20 30
20
40
60
80
100
120
Page 49
50 100 150 200 250 300
50
100
150
200
-0.4
-0.2
0
0.2
0.4
0.6
0.8
sledenje pozicije glave pri awj rezanju:
8 10 12 14 16 18 20 22145
150
155
160
165
170
175
180
185
INDEX OF IMAGE SEQUENCE
PO
SIT
ION
OF
CU
TT
ING
HE
AD
[pix
els
]
10 20 30
20
40
60
80
100
120
50 100 150 200 250 300
50
100
150
200
295
300
305
310
315
320
325
330
335
340
345[oK]10 20 30 40 50 60
5
10
15
20
25
30
*
10 15 20 25 30 35 40 45 50
5
10
15
20
25
30
križna korelacija
Page 50
-2
-1
0
1
2
x 10-3
-0.1
-0.05
0
0.05
0.1
-1
0
1
2
3
4
5
koef3
koef1koef2
-1.5
-1
-0.5
0
0.5
1
1.5
2
x 10-3
-0.08-0.06-0.04-0.0200.020.040.06
-5
0
5
koef3
koef2
koef1
5 10 15 20 25 30 35 40 45 50
5
10
15
20
25
30
5 10 15 20 25 30 35 40 45 50
5
10
15
20
25
30
37
1 2
34
50 100 150 200 250 300
50
100
150
200
Page 51
-0.015
-0.01
-0.005
0
0.005
0.01 -0.4
-0.2
0
0.2
0.40
20
40
60
koef3
koef1koef2
prilag2 = polyfit(z,x,2);
logpred2 = polyval(prilag2,z);
prilag2 = polyfit(z,log(x),2);
logpred2 = exp(polyval(prilag2,z));
-2
-1
0
1
2
x 10-3
-0.1
-0.05
0
0.05
0.1
-1
0
1
2
3
4
5
koef3
koef1koef2
bolje tako
Page 52
-0.3 -0.25 -0.2 -0.15 -0.1 -0.05 0 0.05 0.10
10
20
30
40
50
60
koeficient - k
koeficie
nt
- n
prilag2 = polyfit(z,x,1);
logpred2 = polyval(prilag2,z);
0 0.5 1 1.5 2 2.5 3 3.5 4-0.4
-0.35
-0.3
-0.25
-0.2
-0.15
-0.1
-0.05
0
0.05
0.1
A
B
C
Page 53
histogram slike
100 200 300 400 500 600
50
100
150
200
250
300
350
400
450
500
550
>> sl=imread('v1B.tif');
>> imagesc(sl)
0 50 100 150 200 250
0
1000
2000
3000
4000
5000
6000
7000
8000
>> imhist(sl(:,:,1))
128/256=0.5
Page 54
binarizacija slike & robovi
>> sl2=im2bw(sl(:,:,1),0.5);
>> imagesc(sl2); colormap gray
100 200 300 400 500 600
50
100
150
200
250
300
350
400
450
500
550
>> slr=bwperim(sl2);
>> imagesc(slr)
100 200 300 400 500 600
50
100
150
200
250
300
350
400
450
500
550
Page 55
razpoznavanje objektov
>> slob=bwlabel(sl2,4);
>> imagesc(slob);
>> slob(483:2:517, 539:2:570)ans =
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0
0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 0
0 0 0 0 0 0 0 0 0 1 0 0 1 1 1 1
0 0 0 0 0 0 1 1 1 1 1 0 1 1 1 1
0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1
0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1
0 0 0 0 0 0 1 0 0 1 1 1 1 1 1 1
0 0 0 0 1 1 1 1 0 1 1 1 1 1 1 1
0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
100 200 300 400 500 600
50
100
150
200
250
300
350
400
450
500
550
Page 56
histogram slike
>> sl=imread('zrna.jpg','jpg');
>> [slI, sznm]=rgb2ind(sl);
>> slg=ind2gray(slI,sznm); imagesc(slg);
>> slE=histeq(slg); imagesc(slg);
Page 57
binarizacijaEt=graythresh(slE)
sl2E=im2bw(slE,Et);
imagesc(sl2E)
Page 58
segmentacija slL=bwlabel(sl2G,4);
imagesc(slL);
colormap jet
Page 59
%% branje slike in prikaz
sl=imread('kv_orig.jpg');
figure(1); imagesc(sl);
colormap gray
%% odebelitev crt
se = strel('square',7);
sl1 = imerode(sl,se);
figure(2); imagesc(sl1);
colormap gray
sl1_bw=im2bw(sl1,0.5);
50 100 150 200 250
50
100
150
200
250
50 100 150 200 250
50
100
150
200
250
Page 60
% abstrakcija na crte - drugic
sl3= bwmorph(sl1_bw,'thin',inf);
figure(4); imagesc(sl3); colormap
gray
% abstrakcija na crte - prvic
sl2= bwmorph(sl1_bw,'remove',inf);
figure(3); imagesc(sl2); colormap
gray
50 100 150 200 250
50
100
150
200
250
50 100 150 200 250
50
100
150
200
250
50 100 150 200 250
50
100
150
200
250
Page 61
%% stanjsanje crt
se = strel('square',7);
sl11 = imdilate(sl,se);
figure(5); imagesc(sl11);
colormap gray
sl11_bw=im2bw(sl11,0.5);
%% branje slike in prikaz
sl=imread('kv_orig.jpg');
figure(1); imagesc(sl);
colormap gray
50 100 150 200 250
50
100
150
200
250
50 100 150 200 250
50
100
150
200
250
Page 62
% abstrakcija na crte – 2/2
sl33= bwmorph(sl11_bw,'thin',5);
figure(7); imagesc(sl33);
colormap gray
50 100 150 200 250
50
100
150
200
250
% abstrakcija na crte – 2/1
sl22= bwmorph(sl11_bw,'remove',5);
figure(6); imagesc(sl22); colormap
gray
50 100 150 200 250
50
100
150
200
250
50 100 150 200 250
50
100
150
200
250
Page 63
POVRŠINA
TEKSTURA
ODBOJ
Page 64
texture is defined as an ensemble of repetitive sub-patterns, which
follow a set of well defined placement rules. These sub-patterns
themselves are made up of more fundamental units called primitives. A
primitive is a connected set of pixels, characterised by a set of attributes.
P. Brodatz. Textures: A Photographic Album for
Artists and Designers. Dover, New York, 1966.
macro texture
micro texture
significant
directionality
Page 65
LBM TURNINGEDMAWJ
PROCESS
SCHEME
MICRO – METER
SCALE
MILIMMETER
SCALE
ROUGHNESS
PROFILE0 0.5 1 1.5 2 2.5 3 3.5 4
164
166
168
170
172
174
176
178
0 500 1000 1500 2000 2500 3000 3500-8
-6
-4
-2
0
2
4
6
8
10
0 500 1000 1500 2000 2500 3000 3500-40
-30
-20
-10
0
10
20
30
0 500 1000 1500 2000 2500 3000 3500-20
-15
-10
-5
0
5
10
15
20
va
B
C
c
(LBM)
E=h.n
m
(EDM)
m
U
t
+
e-
(AWJM)
m
Page 67
computer controlled light emitting
diodes, illuminating the measured
surface with angle f selective from
12.8o to 77.4o in regular steps
EXPERIMENTAL SETUP
specimen
stepper
motor f = 38.6o
f = 64.3o
Page 68
image histogram
Face turned tool steel, illuminated
by the LED light (a, b) and
corresponding grey level
histograms (c, d). Illumination with
an angle of incidence f: 25.7o (a)
and 64.3o (b).
Electrodischarge machined tool
steel, illuminated by the LED light
(a, b) and corresponding grey
level histograms (c, d).
Illumination with an angle of
incidence f: 25.7o (a) and 64.3o
(b).
Page 69
100 200 300 400 500 600
50
100
150
200
250
300
350
50 100 150 200 250 300 350
50
100
150
200
250
300
350
100 200 300 400 500 600
50
100
150
200
250
300
350
50 100 150 200 250 300 350
50
100
150
200
250
300
350
100 200 300 400 500 600 700
100
200
300
400
500
600
700
100 200 300 400 500 600 700
100
200
300
400
500
600
700
obravnava v frekvenčnem prostoru
Page 70
100 200 300 400 500 600
100
200
300
400
500
600
700
800
900
1000250 300 350 400 450
300
350
400
450
500
550
600
650
700
DSC02436
obravnava v frekvenčnem prostoru
Page 71
100 200 300 400 500 600 700
100
200
300
400
500
600
700
250 300 350 400 450 500
250
300
350
400
450
obravnava v
frekvenčnem
prostoru
Page 72
osnovna načina sipanja svetlobe na površinah
zrcalni odboj difuzni odboj
Michael Oren and Shree K. Nayar Generalization of the Lambertian model and Implications for Machine Vision
Page 73
dAdaλ2
upoštevati je potrebno
hrapavost površine. Vsak
element je že morda
izotropni sevalec,
vendar se zadeva zaplete
kadar je v zornem polju
več elementov.
Page 74
Radiometric Definitions
direction viewingφ,θv ii
dA
φ,θdΦφ,θE ii
ii
direction sourcelight φ,θs ii
rr
iirrriirrr
dωθ cosdA
φ,θ;φ,θdΦφ,θ;φ,θL
ii
iirrriirrr
φ,θdE
φ,θ;φ,θdLφ,θ;φ,θf
Irradiance
Radiance
BDRF
Page 75
Flowchart
Photographs
Geometric model
Forward
Rendering
Algorithm
Lighting
BRDF
Rendering
Page 76
Flowchart
Photographs
Geometric model
Forward
Rendering
AlgorithmBRDF
Novel lighting
Rendering
Page 77
Reflectance modeling (diff
+specular texture)
Input Synthesized
Sato, Wheeler, Ikeuchi 97
Page 78
a= 4 m=4
50 100 150
20
40
60
80
100
120 20
40
60
80
100
120
140
160
100 200 300 400 500 600
100
200
300
400
Page 79
Dsc02439
200 400 600
100
200
300
400
500
600
700
800
900
1000
a= 4 m=4
50 100 150
50
100
150
200
250
20
40
60
80
100
120
140
160
0 50 100 150 2000
2000
4000
6000
8000
10000
50 100 150 200 250
20
25
30
35
Page 80
Dsc02439
0 50 100 150 2000
500
1000
1500
2000
2500
3000
3500
4000
20 40 60 80 100 120 140 160 180 200
15
20
25
30
35
200 400 600
100
200
300
400
500
600
700
800
900
1000
a= 5 m=9
20 40 60 80 100 120 140
20
40
60
80
100
120
140
160
180
200
20
40
60
80
100
120
140
160
Page 81
Taksonomija metod za
zajem 3D oblik
• pasivne metode
• aktivne metode:
• I.) zajem z dotikom
objekta (CCM)
• II.) brezkontaktne
optične - metode
(trigonometrija)
Page 82
Triangulacija
Rasterski in vektorski
režim
selektiven izbor površine
Page 83
Problemi pri triangulacijskem
postopku
• kalibracija in natančnost
merilne opreme,
• geometrijska dostopnost,
• okluzija oziroma
prekrivanje,
• večje število pogledov
(seštevanje napak),
• laserska pegavost ,
• difuzija svetlobe na
površini (potrebna uporaba
spreja)
• šum in pomakljivi podatki
(motnje iz okolice)
Page 84
METODA 1
• oddelek LABOD
• dotikalna
metoda (CCM)
• referenčni
model
• deklarirana
točnost
znotraj 0.005
mm
• željena
točnost: +/-
0.5 mm
Page 85
UGOTOVITVE
• trajanje
skeniranja 5ur
• 800 000 točk
• neobčutljiv na
motnje iz
okolice
• omejen volumen
zajema – metoda
ni primerna za
oklepe
Page 86
• oddelek LAT
• Hajfajst x-
y osi
• nastavek z-
os
• uporaba
rdečega
filtra
METODA 2
Page 87
• 40 ur za zajem
• 61 trakov
• površina iz 20
000 slik
Page 88
• ZScanner 700
• podjetje IB-ProCad
• teža 1 kg
• cena 16 000 €
• stereokamera
• natančnost do 0,05
mm
• 20 minut dela
• srednje nastavitve
-
28 000 točk
METODA 3
Page 89
• CCM – triangulacija
• odstopanje > 0,5 mm
• neomejen volumen
zajema
• enostavno rokovanje
in uporaba paketa
Page 90
• DAVID laserscanner
• preprosta izvedba
• hitro do prvih
rezultatov
• šum površine
• hobi (3D animacije)
METODA 4
Page 93
Measuring BRDFs
• A full BRDF is 4-dimensional
• Simpler measurements
(0D/1D/2D/3D) often useful
• Start with simplest, and get
more complex
Page 94
Measuring Reflectance
0º/45º
Diffuse Measurement
45º/45º
Specular Measurement
Page 95
Integrating Spheres
• Sphere with diffuse material
on inside
• Geometry ensures even
illumination
• More accurate measure of
diffuse reflectance
Page 96
Gloss Measurements
• Standardized for applications
such as paint manufacturing
• Example: “contrast gloss” is
essentially ratio of specular
to diffuse
• “Sheen” is specular
measurement at 85°
Page 97
Gloss Measuements
• “Haze” and “distinctness of
image” are measurements of
width of specular peak
Page 98
BRDF Measurements
• Next step up in complexity:
measure BRDF in plane of
incidence (1- or 2-D)
Page 99
Marschner’s Image-Based BRDF
Measurement• For uniform BRDF, capture 2-D
slice corresponding to variations
in normals
Page 100
vir: Advanced Machining Processes of Metallic Materials, STR.180
PRIMER UPORABE STROJNEGA VIDA ZA
SPREMLJANJE OBRABE ORODJA
Page 101
slika: Postopek skeniranja objekta, ki temelji na principu optične triangulacije