-
BEELDVERWERKING VOOR HIGH-
THROUGHPUT BEELDANALYSE VAN
MULTI-WELL PLATEN
Joachim Savat Stamnummer: 01206593
Promotor(en): Prof. dr. Ir. Jan Verwaeren en dr. Ir. Maarten
Ameye
Masterproef voorgelegd voor het behalen van de graad in Master
of Science in de industriële
wetenschappen: biochemie
Academiejaar: 2018 - 2019
-
i
Abstract Ondanks een snelle evolutie van de plantengenomica is
er nog steeds een gebrek aan ontwikkeling
voor plantfenotypering. High-throughput
plantfenotyperingplatforms worden steeds vaker gebruikt
om deze problemen op te lossen. Verschillende
beeldvormingstechnieken worden op deze platforms
gebruikt voor de visualisatie van de structurele en functionele
eigenschappen van een plant. Eén van
deze platforms maakt deel uit van het laboratorium van
toegepaste mycologie en phenomics aan de
UGent, namelijk de Pathoviewer. Het bevat een gerobotiseerde
multispectraalcamera, die gebruikt
wordt om abiotische als biotische stress bij planten te
detecteren onder gecontroleerde
omstandigheden. In deze thesis zal er een pipeline ontwikkeld
worden om beeldmateriaal op een
robuuste manier te analyseren. Met een GUI kunnen
plantfenotypische kenmerken zoals
bladoppervlakte, oppervlakte laesie, percentage laesie en het
aantal laesie bepaald worden. Deze
kenmerken werden zowel handmatig met een open software programma
berekend, als met de
zelfgeschreven software toepassing. Er werd een duidelijk
lineair verband gevonden tussen beide
methoden. De gemiddelde correlatiecoëfficiënt bedroeg 0,9578
voor de bepaling van het gezonde
oppervlakgedeelte van bladeren in een multititerplaat. Voor de
oppervlakte laesie op de bladeren
was dit 0,7903. Tijdens een tweede experiment werd de invloed
van enzymen op de afremming van
de groei van laesies bepaald met behulp van de zelfgeschreven
software toepassing. Als resultaat
werd een gelijkaardige conclusie getrokken als een medestudent
die onderzoek verrichte naar
dezelfde studie, namelijk dat er weldegelijk een significante
invloed terug te vinden is voor bepaalde
enzymen op de afremming van laesie.
Kernwoorden: Plantfenotypering - Planfenotyperingsplatforms –
Pathoviewer – Software applicatie –
ImageJ - Laesie
-
ii
Voorwoord Bij de start van mijn thesis was ik zeer nieuwsgierig
en benieuwd naar de rol, die geautomatiseerde
beeldverwerkingstechnieken bieden in het
plantfenotyperingsproces. Dit was een vrij nieuw thema
voor mij en ik keek er naar uit om te ontrafelen wat deze nieuwe
wereld allemaal in zijn mars had.
Niet alleen deze wereld van ‘phenomics’ en ‘genomics’ was nieuw,
maar ook het programmeren in
Python had ik nog nooit gedaan. Gelukkig werd ik goed
ondersteund door twee gedreven
begeleiders. Ze maakten dat ik al snel op weg raakte met de
beginselen van het programmeren in
Python en legden me uit hoe de wereld rond plantfenotypering in
zijn werk ging. Niet alleen tijdens
het praktische gedeelte kon ik altijd met mijn vragen bij hen
terecht, maar ook voor het schrijven van
de literatuurstudie en de resultaten van de thesis kon ik op hun
hulp rekenen. Vandaar een grote
dank naar mijn beide promotoren. Bedankt voor het vele
verbeterwerk, de lange maar zeer nuttige
vergaderingen en de hulp waarop ik altijd kon rekenen gedurende
mijn thesis.
Vervolgens wil ik graag ook mijn proffen bedanken die tijdens
mijn opleiding ervoor gezorgd hebben
dat ik klaar ben om in het bedrijfsleven te stappen. De vele
interessante lessen en ook soms wat
uitdagendere lessen zorgden voor de goede ontwikkeling van de
student die ik nu geworden ben.
Tenslotte zou ik graag ook mijn zussen, ouders en vele vrienden
willen bedanken die me altijd
gesteund hebben tijdens mijn opleiding en de vorming van deze
thesis. Zij waren altijd klaar voor een
luisterend oor, een schouderklopje of een helpende hand tijdens
deze, soms wat chaotische,
periode.
-
iii
Inhoud Abstract
....................................................................................................................................................
i
Voorwoord
...............................................................................................................................................ii
Inhoud
.....................................................................................................................................................
iii
1 Inleiding
...........................................................................................................................................
1
2 Beeldvorming voor plantfenotypering
............................................................................................
2
2.1 Plantfenotypering door middel van beeldanalyse in hedendaags
onderzoek ........................ 2
2.1.1 Genoom, omgeving, fenotype en (high-throughput)
fenotypering ................................ 2
2.1.2 Gebruik van beeldvorming en –analyse voor fenotypering
............................................ 3
2.2 Beeldvormingstechnieken
.......................................................................................................
3
2.2.1 Absorptiespectra van (groene) planten
..........................................................................
4
2.2.2 Beeldvorming in het zichtbare spectrum
........................................................................
5
2.2.3 Beeldvorming in het nabije infrarood spectrum en korte
golf infrarood spectrum ....... 7
2.2.4 Thermische beeldvorming
...............................................................................................
9
2.2.5 Fluorescentie beeldvorming
..........................................................................................
10
2.2.6 Multispectrale en hyperspectrale beeldvorming
.......................................................... 12
2.3 Beeldvormingsplatformen
.....................................................................................................
13
2.3.1 PathoViewer
..................................................................................................................
13
2.3.2 Beeldvormingsplatformen in Europa en internationaal
................................................ 16
3 Beeldanalyse voor plantfenotypering
...........................................................................................
19
3.1 Digitale beeldverwerking
.......................................................................................................
19
3.2 Belangrijke stappen in het beeldanalyseproces
....................................................................
19
3.2.1 Setup en
beeldcaptatie..................................................................................................
20
3.2.2 Preprocessing
................................................................................................................
20
3.2.3
Segmentatie...................................................................................................................
24
3.2.4 Beeldfenotyperingsanalyse
...........................................................................................
27
4 Materiaal en methoden
................................................................................................................
29
4.1 Inleiding
.................................................................................................................................
29
4.2 Materiaal
...............................................................................................................................
29
4.2.1 Beeldverwerking met behulp van ImageJ
.....................................................................
29
4.2.2 Beeldverwerking met behulp van software
..................................................................
30
4.3 Methoden
..............................................................................................................................
31
4.3.1 Setup en
beeldcaptatie..................................................................................................
31
4.3.2 Preprocessing
................................................................................................................
31
-
iv
4.3.3
Segmentatie...................................................................................................................
33
4.3.4 Samenvoegen van de individuele segmenten in een welletje
tot één segment .......... 37
4.3.5 Parameters bepalen
......................................................................................................
37
4.3.6 Output
...........................................................................................................................
37
5
Resultaten......................................................................................................................................
38
5.1 Inleiding
.................................................................................................................................
38
5.2 De zelfgemaakte software toepassing
..................................................................................
38
5.3 Beeldfenotyperingsanalyse
...................................................................................................
39
5.3.1 Beeldverwerking met behulp van software
..................................................................
40
5.3.2 Vergelijking resultaten beeldverwerking met behulp van
ImageJ en met behulp van
software 41
6 Conclusie en discussie
...................................................................................................................
54
7
Bibliografie.....................................................................................................................................
56
-
1
1 Inleiding Sinds het begin van de jaren zestig is de populatie
in deze wereld verdubbeld tot ongeveer 7,5
miljard mensen. Niettegenstaande de groeipercentages dalen, is
de stijging nog steeds merkbaar.
Omwille van dit stijgend bevolkingsaantal, zal de voedselvraag
blijven toenemen. Meer nog, in 2050
verwacht men dat de productie zou moeten verdubbelen om aan deze
voedselvraag te kunnen
beantwoorden. Nu stijgt deze jaarlijkse opbrengst slechts met
1,3 % per jaar, terwijl dit verhoogd zou
moeten worden tot 2,4 % (FAO, 2018). Eén van de technologieën
die een oplossing zou kunnen
bieden voor dit probleem, is biotechnologie. Dit is de
technologie die gebruik maakt van de
biologische processen van organismen, voor commerciële
doeleinden. Plant fenotypering is vaak een
onderdeel van de biotechnologische pipeline (Sai, Siva Kishore,
Dattatreya, Anand, & Sridhari, 2011).
Plant fenotypering is een zeer nuttig hulpmiddel in de
biotechnologie, waarbij op een kwantitatieve
manier een beschrijving wordt gegeven van de structurele en
functionele eigenschappen van een
plant. High-throughput plant fenotypering is de laatste jaren
een zeer belangrijk onderdeel geworden
in de plantenbiologie en landbouw; niet alleen als inbreng in de
geavanceerde gewasveredeling maar
ook in de manier van beheren van verschillende planten. De
laatste jaren is deze technologie een
ware evolutie ondergaan omwille van de snelle ontwikkelingen van
niet-destructieve, beeldanalyses
bedoeld voor fenotypering. Met als gevolg dat via
“high-throughput”, planten op een snelle en
efficiënte manier gekarakteriseerd kunnen worden.
Niettegenstaande dat deze techniek al een grote
stap in de goede richting heeft gezet, blijft het een
technologie die, in tegenstelling tot bijvoorbeeld
plantengenomica, nog niet op het punt staat waar het zou moeten
staan. Vaak zijn de technieken
nog gelimiteerd om grote aantallen te behandelen of worden de
analyses beperkt tot het bepalen
van de opbrengsten, metingen van planthoogtes of bovengrondse en
ondergrondse biomassa (Li,
Zhang, & Huang, 2014).
Het hoofddoel van deze thesis is de ontwikkeling en
implementatie van een pipeline om
beeldmateriaal op een robuuste manier te analyseren. Hier zal de
focus gelegd worden op
beeldmateriaal van multititerplaten in de PathoViewer. Dit is
een gerobotiseerde
multispectraalcamera die deel uitmaakt van het laboratorium voor
toegepaste mycologie en
phenomics (LAMP) van de UGent.
Eerst zal er in de literatuurstudie nagegaan worden waarom
beeldvorming een ideaal hulpmiddel kan
zijn voor plantfenotypering en welke onderzoeken gebruik maken
van beeldanalyses om planten te
fenotyperen. Daarna wordt er een overzicht gegeven van de
belangrijkste hedendaagse
beeldvormingstechnieken. Hierbij zal de nadruk opnieuw gelegd
worden op
beeldvormingstechnieken op multiwell-schaal. Vervolgens worden
enkele beeldvormingsplatformen
besproken, waaronder de Pathoviewer. Ten slotte wordt in de
literatuurstudie ook onderzocht welke
beeldverwerkingstechnieken er beschikbaar zijn en welke
belangrijk zijn in het beeldanalyseproces.
Voor het PathoViewer platform zal in het praktisch gedeelte
software worden ontwikkeld, om de
beeldanalyse op een efficiënte en robuuste manier te laten
verlopen.
Om uit ruw beeldmateriaal een kwantitatieve beschrijving van het
fenotype van een plant te kunnen
extraheren, dienen een aantal stappen doorlopen te worden (de
beeldverwerkingspipeline). Deze
stappen zullen samen met de software die hierbij gebruikt wordt,
in de literatuurstudie nog verder
besproken worden. Ten slotte zal er nog onderzocht worden wat de
nieuwe trends zijn en wat er nog
te verwachten valt de komende jaren in het onderdeel plant
fenotypering.
-
2
2 Beeldvorming voor plantfenotypering
2.1 Plantfenotypering door middel van beeldanalyse in
hedendaags
onderzoek
2.1.1 Genoom, omgeving, fenotype en (high-throughput)
fenotypering Eén van de eerste personen die de term fenotype en
genotype gebruikte was een Deense
wetenschapper Wilhelm Johannsen. Hij toonde aan dat er een
aanzienlijke variatie in kwantitatieve
eigenschappen kan optreden bij genetisch identieke organismen.
Deze eigenschappen benoemde hij
‘fenotypische eigenschappen’. Tijdens zijn onderzoek definieerde
hij fenotypering als: “Fenotypering
is de beschrijving van alle soorten organismen, die
onderscheiden kunnen worden door direct
onderzoek of met behulp van fijne meetmethoden.” (Johannsen,
1911).
In zijn studie verklaarde Johannsen dat fenotypering zowel voor
planten, dieren, schimmels als
bacteriën gekenmerkt wordt door tal van processen, functies en
structuren. Fenotypering is in dit
geval niet zo lineair als het bepalen van een genotype, maar is
vaak een interactie tussen het
genotype, de omgeving en de behandelingen van de plant (Figuur
1).
Een belangrijke tak in het onderdeel van de biotechnologie is de
‘phenomics’. Vaak wordt deze term
verward met fenotypering. Beide begrippen duiden op
observeerbare of meetbare eigenschappen
van een plant, maar hiernaast omvat men bij phenomics ook nog
een evaluatie van de patronen en
relaties tussen genotype en fenotype en tussen individuen met
een gelijkaardig fenotypen (Perez-
Sanz, Navarro, & Egea-Cortines, 2017). Anders gezegd, omvat
dit het verzamelen van bepaalde
fenotypische gegevens op allerlei vlakken. Deze gegevens dragen
bij tot een completere benadering
van een concrete fenotypische ruimte die bekomen wordt door een
bepaald genoom of een set van
genomen. Niet alleen wil dit dus zeggen dat plant fenotypering
afhankelijk is van allerlei
verschillende dimensies en resoluties, maar ook onder
verschillende werkomgevingen moet het
effectief zijn. Zowel voor kleinschalige als grootschalige
projecten (Lobos, et al., 2017).
Omwille van de snelle evolutie in de ontwikkeling van
beeldanalysetechnieken, focust de plant
fenotypering zich steeds meer op high-throughput plant
fenotypering. Plant fenotypering kan
gedefinieerd worden als de totale beschrijving van tal van
cascades die plaatsvinden na de
transcriptie van DNA naar RNA voor de vorming van eiwitten. Deze
eiwitten zorgen voor de
fenotypische kenmerken zoals morfologische en architecturale
structuren, maar ook voor de
ontwikkeling van metabolieten en ionen (Walter, Liebisch, &
Hund, 2015). Oorspronkelijk werden
deze kenmerken manueel opgemeten, maar met de ontwikkeling van
professionele
beeldvormingstechnieken, kan dit nu op een veel snellere,
goedkopere en meer effectieve wijze
bereikt worden.
De term high-throughput fenotypering bij planten wordt gebruikt
voor technologieën die
gebruikmaken van geautomatiseerde, niet-destructieve, online
gestuurde machines die meerdere
morfofysiologische planteigenschappen screent. Vaak kunnen deze
metingen continu gemeten
worden over een bepaalde tijdslengte, wat gebruikt wordt voor
het volgen van de voortgang van de
groei van een plant. Bovendien kan er ook gemeten worden hoe ze
reageren op bepaalde
-
3
stresssituaties en wat de gegeven opbrengst is van een plant
(Rouphael, Spíchal, Panzarová, Casa, &
Colla, Augustus).
Figuur 1: Invloed van genoom en de verschillende
omgevingstoestanden op het fenotype. Ondanks een gelijkaardig
genotype, beïnvloedt de omgeving het fenotype van de plant. Zo
lijkt hier op figuur 1 de plant bij omgeving A minder toegang
verkregen te hebben tot licht, water en/of nutriënten waardoor deze
een kleinere structuur lijkt te bezitten
(Walter, Liebisch, & Hund, 2015).
2.1.2 Gebruik van beeldvorming en –analyse voor fenotypering
Verschillende beeldvormingstechnieken beschikken sensoren, die
gebruikt kunnen worden om
planten te fenotyperen. Tal van morfologisch kenmerken kunnen
via twee- of driedimensionale
beeldvormingssystemen gemeten worden. Enkele voorbeelden zijn:
kleur en grootte van zaden
(Dumont, et al., 2015), bladeren (Gao, Van der Heijden, Vos,
Eveleens, & Marcelis, 2012), boomlaag
(Omasa, Hosoi, & Konishi, 2007), wortels (Zhu, Ingram,
Benfey, & Elich, 2011), vruchten (Kumar,
Pratap, & Kumar, 2015) enzoverder.
Naast morfologische kenmerken kan het gebruik van beeldvorming
en beeldvormingsanalyses een
nuttig hulpmiddel zijn om fysiologische kenmerken waar te nemen.
Deze kenmerken kunnen
gerelateerd zijn aan plantorgaan functies of pathologische
eigenschappen waarbij men bepaalde
ziektes snel en eenvoudig kan detecteren. Elke
beeldvormingstechniek gebruikt hiervoor specifieke
sensoren, die verder in de literatuurstudie worden
besproken.
2.2 Beeldvormingstechnieken Een groot verschil vergeleken met de
eerste jaren waarin men fenotypische analyses maakte, is de
grote capaciteit en verscheidenheid aan technologieën waar men
nu op kan terugvallen. In plaats van
parameters zoals gewicht, lengte en biomassa manueel op te
meten, wordt steeds vaker gebruik
gemaakt van beeldanalyse om deze parameters te kwantificeren.
Veel technieken en
methodologieën die worden gebruikt bij deze beeldanalyse, zijn
afkomstig uit het domein van de
Computer Vision (PhenomUK, 2018). Computer Vision is een
computerwetenschap die zich bezig
houdt met het ontwikkelen en toepassen van technologieën (vaak
algoritmisch van aard) en op een
sterk geautomatiseerde manier informatie kunnen extraheren uit
(sequenties van) beelden. Dit
houdt onder meer in dat een toestel, op basis van een afbeelding
of een segment van een
afbeelding, een bepaalde visuele analyse kan maken, specifieke
elementen kan detecteren en
-
4
onderscheiden van andere delen (BMVA, 2018). In de fenotypering
zijn dit vaak onderdelen van een
plant (zoals bladeren of zaden). Het onderscheiden van deze
onderdelen is vaak een eerste stap in
een groter fenotyperingsproces. Wanneer men deze analyses
systematisch uitvoert op tijdsreeksen
van beelden, kan men bijvoorbeeld de groei van planten monitoren
op een gedetailleerde en deels
geautomatiseerde manier. Een ander, meer geavanceerde
toepassing, bestaat uit de opbouw van
3D-modellen en analyses van plantengroei.
In fenotyperingsplatformen die gebruik maken van
beeldverwerking, worden vaak twee
componenten onderscheiden. Enerzijds is er de
beeldcaptatiecomponent. Dit is de technologie die
de beelden genereert. Anderzijds is er de beeldanalysecomponent.
Dit is de beeldanalysesoftware,
die uit de ruwe beelden het fenotype extraheert en
kwantificeert. In de volgende sectie zal een
overzicht gegeven worden van de hedendaagse gebruikte
beeldvormings- of captatietechnieken. De
fysische (en fysiologische) principes waarop de technieken
berusten, worden besproken alsook de
voor- en nadelen van deze technieken. Veel van deze technieken
maken gebruik van het
absorptiespectra van (groene) planten. Bij diverse golflengtes
kunnen zeer uiteenlopende
eigenschappen opgemeten en geanalyseerd worden.
2.2.1 Absorptiespectra van (groene) planten Het
absorptiespectrum van groene planten bestaat uit golflengtes die
ontstaan door
elektromagnetische radiatie. Deze golflengtes worden
geabsorbeerd door verschillende onderdelen
van groene planten wanneer het licht hierdoor passeert. Het
absorptiespectrum toont aan in welke
mate het inkomend licht geabsorbeerd wordt door bepaalde
moleculen in een plant. De twee grote
klassen van fotosynthetische pigmenten zijn chlorofyl en
carotenoïden, die elk zelf enkele
verschillende types pigmentmoleculen bevatten. Elk van deze
pigmenten zullen enkel golflengten
absorberen in een specifieke regio. Zoals weergegeven op Figuur
2, zijn de meest voorkomende
moleculen in planten die licht absorberen chlorofyl a, chlorofyl
b, carotenoïden en anthocyanen.
Zowel chlorofyl a als b bevatten een hoog absorptiespectrum in
de rode (430-460 nm) en blauwe
regio’s (640-660 nm). Toch zal ook een deel van het licht bij
andere golflengtes geabsorbeerd
worden. Carotenoïden en anthocyanen zijn hierbij de meest
voorkomende fotoreceptoren en dragen
tevens bij tot de fotosynthese bij planten (Hashimoto, Uragami,
& Cogdell, 2016).
Figuur 2: Absorptie spectrum van enkele belangrijke plant
pigmenten (Taiz, Zeiger, Møller, & Murphy, 2014)
-
5
De pigmenten zullen na het absorberen van het licht geëxciteerd
worden, wat wil zeggen dat ze naar
een hogere energietoestand worden gebracht (Figuur 3). De
energie kan dan doorgegeven worden
naar een molecule die instaat voor de start van de
fotofosforylatie. Tijdens dit proces zal het licht
omgezet worden in chemische energie, ATP en NADPH (Easlon,
2015). Fotosynthese zelf is het
integreren van deze lichtreacties die zorgen voor de omzetting
van CO2 tot suikers.
Vervolgens zal ook een deel van de geëxciteerde elektronen van
chlorofyl terugvallen naar zijn
grondtoestand via vibrerende relaxatie. Het terugvallen naar
zijn grondtoestand via fotonemissie
wordt ook wel fluorescentie-emissie genoemd. Dit
fluorescentielicht kan met fluorescentiecamera’s
waargenomen worden. Tijdens het terugvallen van het elektron
naar zijn grondtoestand zal
bovendien een deel van de energie als warmte-energie uitgezonden
worden. Deze energie is met
thermische camera’s te detecteren (Misra, Misra, & Singh,
2012).
De drie processen die met andere woorden plaatsnemen wanneer
licht energie geabsorbeerd wordt
door chlorofyl in een fotosynthetisch systeem zijn: a) gebruik
van energie voor fotosynthese, b)
energie uitgezonden als warmte-energie en c) energie dat
uitgestraald wordt als fluorescentie-
energie. Zo bekomt men drie processen die alle drie met elkaar
in competitie treden, waarbij de ene
in efficiëntie zal afnemen wanneer de andere in efficiëntie zal
toenemen (Misra, Misra, & Singh,
2012).
Figuur 3: Energie diagram van wat er gebeurt wanneer een
pigmentmolecule een foton van het licht absorbeert (Easlon,
2015)
2.2.2 Beeldvorming in het zichtbare spectrum
2.2.2.1 Algemene beschrijving
Beelden die in het bereik van het zichtbaar spectrum genomen
worden, worden gebruikt om een
weergave te creëren van planten die nauw aansluit bij de manier
waarop ook de mens een plant
waarneemt. Met deze informatie kan men een plant fenotyperen op
basis van zichtbare kenmerken
(Li, Zhang, & Huang, 2014). De meest gebruikte standaard
camera’s hebben een bereik in het
zichtbaar spectrum (400-700 nm) en zorgen voor een twee
dimensionaal beeld. De sensoren, die
deze camera gebruikt, maken gebruik van drie kleuren sensoren
(rood, groen en blauw). Op die
-
6
manier kan elke pixel met elk zijn eigen kleur als een array van
drie waarden worden opgeslagen.
Voor kleine planten wordt via een bovenaanzicht een foto
genomen, zoals bijvoorbeeld bij
Arabidopsis thaliana. Terwijl voor grotere planten verschillende
afbeeldingen genomen worden om
zo (door gebruik te maken van image-stitching) tot één complete
afbeelding met hoge resolutie te
komen (Figuur 4) (Fahlgren, Gehan, & Baxter, 2015).
Figuur 4: Voorbeeld van een RGB camera met digitale fenotypering
op basisch van het visueel spectrum (Jansen, 2016).
2.2.2.2 Belangrijke toepassingen en limitaties
Omwille van de vrij goedkope en makkelijk bruikbare camera’s,
zijn high-throughput
fenotyperingsystemen de voorbije jaren zeer populair geworden
(Fahlgren, Gehan, & Baxter, 2015).
Bovendien zijn verschillende van deze camera’s draagbaar en
omwille van de grote kennis die
ondertussen ontwikkeld is rond de analyse van RGB-beelden, is er
al talrijke vrije software
beschikbaar (Tabel 1) (Perez-Sanz, Navarro, & Egea-Cortines,
2017). Enkele van deze veel gebruikte
software toepassingen zijn Rosette Tracker (De Vylder,
Vandenbussche, Hu, Philips, & Van Der
Straeten, 2012), Phenophyte (Green, et al., 2012), SmartRoot
(Lobet, Pagès, & Draye, 2011) en
RootNav (Pound, et al., 2013).
Tabel 1: overzicht van vrije softwaretoepassingen die
beschikbaar zijn voor de analyse van RGB-beelden
Rosette Tracker Een opensourcesoftware beeldanalyse hulpmiddel
voor automatische kwantificatie van genotypen (De Vylder,
Vandenbussche, Hu, Philips, & Van Der Straeten, 2012).
Phenophyte Een goedkope webapplicatie gebruikt voor
semi-geautomatiseerde kwantificatie van eigenschappen die via
tweedimensionale beelden zichtbaar zijn (Green, et al., 2012).
SmartRoot Een software toepassing die semi-geautomatiseerd
beeldanalyses uitvoert voor kwantitatieve analyses van complexe
wortelsystemen (Lobet, Pagès, & Draye, 2011).
RootNav Een beeldverwerkingssysteem met semi-geautomatiseerd
kwantificatie van de architectuur van wortelsystemen (Pound, et
al., 2013).
In een gecontroleerde omgeving zoals een groeikamer of serre
heeft beeldanalyse met behulp van
zichtbaar licht tal van toepassingen. Vaak zijn deze
toepassingen gerelateerd aan morfologische
-
7
eigenschappen zoals vorm, structuur, geometrische eigenschappen
zoals lengte en oppervlak en
kleuren. De voornaamste zijn: meten van biomassa (Golzarian, et
al., 2011), opbrengst (Duan, Yang,
Huang, & Liu, 2011), wortel structuren (Clark, et al.,
2011), morfologie van zaden (Joosen, et al.,
2012), bladstructuur (Jansen, et al., 2009).
Het grootste voordeel aan beeldanalyse in het spectrum van het
zichtbaar licht, is de eenvoud van de
technologie en de prijsvoordeligheid. Ondertussen zijn er al
heel wat sensoren en camera’s
ontwikkeld die ervoor zorgen dat de kwaliteit van de beelden
uitstekend zijn, voor een relatief lage
prijs. Het grote nadeel echter aan deze manier van beeldvorming,
is dat deze afbeeldingen slechts
weinig informatie bevatten over de fysiologische toestand van de
plant (Humplík, Lazár, Husičková, &
Spíchal, 2015). Bovendien zorgt het overlappen van bladeren vaak
voor moeilijkheden in het exact
berekenen van de biomassa van een plant. Zowel de bepaling van
het aantal bladeren als het
oppervlakte van de bladeren kunnen een probleem vormen. Dit is
echter enkel wanneer er op grote
schaal gewerkt wordt. Op multiwell-schaal is dit probleem
beperkt vanwege de geringe grootte van
de planten, zaden of wortels en de ontwikkeling van
3D-beeldverwerkingstechnieken (Li, Zhang, &
Huang, 2014).
2.2.3 Beeldvorming in het nabije infrarood spectrum en korte
golf
infrarood spectrum
2.2.3.1 Algemene beschrijving
Zoals eerder werd weergegeven op onderstaande figuur (Figuur 2),
is er een sterk
absorptievermogen van chlorofylmoleculen in de buurt van rood
(430-460 nm) en blauw (640-660
nm) licht. Beide in het zichtbaar spectrum terug te vinden.
Omwille van de grote hoeveelheid
absorptie is er maar een klein deel (vooral het groene gedeelte)
van de plant dat gereflecteerd wordt
in het zichtbaar spectrum. Daarentegen is er in het
nabij-infrarood spectrum een hoge reflectie
(Knipling, 1970).
Figuur 5: Grafiek met de reflectie in functie van de golflengte
van een tabaksblad (Knipling, 1970)
Het infrarood spectrum kan onderverdeeld worden in drie groepen:
het nabij infrarood spectrum
(700 nm - 1000 nm), het korte golf infrarood spectrum (900 nm –
2500 nm) en het lange golf
infrarood spectrum (2,5 µm – 13 µm). Het bereik van de sensoren
van het korte golf infrarood
-
8
spectrum is echter van 900 nm - 1700 nm en dit van het lange
golf infrarood spectrum van 7,5 µm –
13 µm (Fahlgren, Gehan, & Baxter, 2015). Het lange golf
infrarood spectrum wordt ook wel het
thermisch infrarood spectrum genoemd en wordt specifiek verder
in een apart deel besproken.
Wanneer een lichtstraal invalt op een blad, kan deze op drie
verschillende wijzen zich doorheen het
blad bewegen. Een deel van de lichtstralen zal worden
gereflecteerd, een ander deel wordt
geabsorbeerd en nog een ander deel zal via transmissie zich
doorheen het blad begeven. In het
zichtbaar spectrum is er vooral een grote absorptie door
chlorofylmoleculen, vanaf 1,3 µm is dit
vooral door de absorptie van water (Knipling, 1970). Zoals
weergegeven op onderstaande figuur
(Figuur 5) zorgt dit voor een dal in de grafiek die de reflectie
van het licht weergeeft van een
tabaksplant. In het gedeelte tussen 0,7 µm en 1,3 µm is de
reflectie afkomstig van interne cellulaire
structuren. De buitenwand is zowel voor het infrarood als
zichtbaar licht transparant zodat slechts
een klein deel van het zonlicht gereflecteerd wordt (Knipling,
1970). Het licht wordt echter wel
verstrooid wanneer het door de cuticula en epidermis gaat en
verder tot in de mesofylcellen (Figuur
6). In deze regio zal er reflectie optreden met een index tussen
deze van lucht (1,0) en deze van
water (1,4).
Een belangrijke factor is dus water, die ervoor zorgt dat een
groot deel van het licht geabsorbeerd
wordt. Wanneer een plant veel water bevat zullen de kleine
luchtkamertjes, aanwezig in de
plantencellen, gevuld worden met water. Dit zorgt ervoor dat het
licht niet meer kan passeren en
geabsorbeerd zal worden (Knipling, 1970).
Figuur 6: Reflectie bij het invallen van licht op een plantencel
zal vooral groen licht gereflecteerd worden in het zichtbaar
spectrum en een sterke reflectie van IR-licht in het nabij
infrarood spectrum (Carns, 2016)
.
2.2.3.2 Belangrijke toepassingen en limitaties
Door de toename van reflectie in het nabij infrarood spectrum
van het mesofyl in de bladeren, wordt
deze beeldvorming vaak gebruikt voor de dikte van de bladeren te
meten of bij grootschalige
onderzoeken om de structuur van de boomlaag te meten. Vanaf 1300
nm zal echter de reflectie
afnemen, dit komt omdat rond dit spectrum water de stralen
absorbeert. Deze molecule heeft
-
9
namelijk drie verschillende absorptiebanden liggen tussen 1300
nm en 2500 nm (bij 1450 nm, 1930
nm en 2500 nm). Studies die onderzoek doen naar de water stress
bij planten, gebruiken daarom
vaak nabij infrarood spectroscopie.
De grootste limitatie voor nabij infrarood beeldvorming is dat
deze technologie afhankelijk is van
kalibratie modellen. Men moet op voorhand een kalibratie sample
hebben, dat gebruikt kan worden
om een grote groep planten of plantendelen te kunnen
fenotyperen. Aan de hand van
mathematische modellen en berekeningen kan het gemeten
(infrarood) signaal vertaald worden in
een fysiologisch relevante eigenschap. Technieken die daarvoor
gebruikt worden ,zijn ondermeer 2D
correlatie schetsen, principale componenten analyses,
kleinste-kwadratenmethodes, support vector
machines en andere ‘machine learning’ methodes. Deze kalibratie
modellen zorgen voor een hoge
kostprijs en bovendien in combinatie met high-throughput
fenotypering zorgt dit voor een grote
kwantiteit aan afbeeldingen. De verwerking van deze beelden zijn
dan vaak ook niet economisch
rendabel (Li, Zhang, & Huang, 2014).
Een limitatie die zich enkel voordoet bij grootschalige
onderzoeken op grote velden, is de verstoring
van de reflectie van zonlicht door atmosferische waterdamp.
Vandaar dat de waterstress van planten
vaak op golflengtes gemeten wordt tussen 970 nm en 1200 nm.
Volgens verschillende studies
(Penuelas et al., 1993, 1997b; Babar et al., 2006; Seelig et
al., 2008 ) wordt op deze golflengte echter
niet de absorptie van water gemeten, maar is dit eerder een
reflectie van de algehele verandering in
de architectuur van een plant (Berger, Parent, & Tester,
2010).
2.2.4 Thermische beeldvorming
2.2.4.1 Algemene beschrijving
Thermische infrarood camera’s, ook wel warmtebeeldcamera’s
genoemd, zijn camera’s die beelden
waarnemen in een bereik van 3 tot 14 µm in het elektromagnetisch
spectrum. IR thermografie geeft
de temperatuurverdeling weer van een oppervlakte van een bepaald
object (zoals de oppervlakte
van een blad). Verschillende andere functionele
karakteristieken, zoals bladoriëntatie,
warmtecapaciteit, oppervlakte-eigenschappen, infraroodabsorptie
en transpiratiesnelheden kunnen
gelinkt worden aan de temperatuur van een plant (Fiorani,
Rascher, Jahnke, & Schurr, 2012).
De belangrijkste parameter die automatisch gecorreleerd wordt
aan thermische beeldvorming, is de
stomatale geleiding (𝑔𝑠 =𝑚𝑚𝑜𝑙 𝐻2𝑂
𝑚² 𝑠) (Sirault , James , & Furbank , 2009). Dit is de
passage snelheid
van waterdamp door de huidmondjes of kleine poriën van de plant.
Dit verloopt evenredig met de
CO2-opname van een plant. Tijdens de transpiratie zal er
namelijk CO2 opgenomen worden dat
gebruikt zal worden tijdens de fotosynthese in de chloroplasten.
Op hetzelfde moment zal de plant
via de stomata water verliezen dat voor de afkoeling van de
plant zorgt. Dit wil dus zeggen dat de
bladtemperatuur in relatie staat met de transpiratie snelheid
als de geleiding van de stomata
(Damour, Simonneau, Cochard, & Urban, 2010).
De prestatie van de thermische camera’s zijn afhankelijk van
drie componenten: de snelheid van
scannen, de resolutie en de gevoeligheid (Mahlein, Oerke,
Steiner, & Dehne, 2012). Een groot
voordeel ten opzichte van de oorspronkelijke methodes, waarbij
men apparatuur nodig had om de
stomatale geleiding te meten, is de niet-invasieve vorm van de
analyse. Bovendien is deze
-
10
oorspronkelijke methode zeer tijdrovend en enkel bruikbaar voor
kleinschalige onderzoeken, terwijl
thermische beeldvorming een snelle en attractieve manier is om
planten te fenotyperen (Humplík,
Lazár, Husičková, & Spíchal, 2015).
2.2.4.2 Belangrijke toepassingen en limitaties
Thermische beeldvorming wordt gebruikt om de temperatuur van het
oppervlak van bladeren op te
meten. Deze metingen kunnen in verband gebracht worden met de
waterstresstoestand van de
plant, aangezien planten afkoelen wanneer ze transpireren. Meer
bepaald is dit afhankelijk van de
geleiding van de stomata. Wanneer deze gesloten zijn zal de
temperatuur van de plant stijgen
aangezien er geen transpiratie meer mogelijk is. Verschillende
onderzoeken omtrent de water
stressbestendigheid van planten wordt daarom uitgevoerd met
thermische beeldvorming (Humplík,
Lazár, Husičková, & Spíchal, 2015).
Het opmeten van abiotische en biotische stress kan tevens
gebeuren met behulp van thermische
beeldvorming. Deze kunnen namelijk gelinkt worden aan de afname
van fotosynthese en
transpiratie. Op grote schaal zijn al succesvolle experimenten
uitgevoerd, zoals metingen van de
temperatuur van de boomlaag; alsook op multiwellschaal, waarbij
men thermische beeldvorming
gebruikte tijdens de screening naar interessante mutanten (Zia,
et al., 2012).
Een tweede veelgebruikte toepassing van thermische beeldvorming
is het detecteren van lokale
ziektes. Omwille van een infectie van pathogenen of als respons
van het immuunsysteem zal de plant
lokale temperatuursveranderingen ondergaan die gedetecteerd
kunnen worden met deze
thermische beeldvorming (Mahlein, 2016).
Ondanks de snelle en gebruiksvriendelijke methode zijn er ook
enkele limitaties. Zo is het van
cruciaal belang dat onderzoekers rekening moeten houden met de
omgevingstoestand waarin een
experiment plaats vindt. Vele factoren kunnen namelijk een
invloed hebben op de metingen zoals
lichtintensiteit, luchtvochtigheid, windsnelheden. Deze zijn
echter voornamelijk van toepassing bij
fenotypering op grote schaal waardoor deze nadelen gelimiteerd
zijn op laboniveau (Humplík, Lazár,
Husičková, & Spíchal, 2015).
2.2.5 Fluorescentie beeldvorming
2.2.5.1 Algemene beschrijving
Fluorescentie is de emissie van licht met een langere
golflengte, nadat dit licht met een kortere
golflengte geabsorbeerd werd door dat object. In planten zijn
fotosystemen de belangrijkste
fluorescentie complexen van een plant. Met als gevolg dat de
metabolische status van een plant kan
onderzocht worden met behulp van artificiële excitatie van de
fotosystemen van een plant en de
verschillende reacties hierop (Baker N. R., 2008). Beeldvorming
met behulp van fluorescentie, is één
van de meeste relevante technieken die gebruikt wordt voor de
beschrijving van deze processen (Li,
Zhang, & Huang, 2014). De moleculen die fluorescentie
uitstralen, hebben de capaciteit om licht te
absorberen bij een bepaalde specifieke golflengte. De energie
die deze moleculen hierbij ontvangen,
wordt gebruikt om valentie-elektronen naar een hogere
energetische toestand te brengen; om dan
stelselmatig terug te vallen naar hun oorspronkelijke
grondtoestand. De energie die hierbij vrijkomt
wordt geëmitteerd onder de vorm van fluorescerend licht
(Haustein & Schwille, 2007).
-
11
Een vaak onderzocht deel van de plant dat fluorescentie bevat,
is het chlorofyl complex. Een groene
plant wordt bestraald met hoog energetisch licht afkomstig van
een lamp of laser. Een deel van het
terug gestraalde licht wordt opgevangen met een fluorescentie
detectie camera (Figuur 7a). De
eigenschappen van het bestraalde licht en het terug gestraalde
licht, zijn variabel en bovendien
afhankelijk van de capaciteit van de plant om licht te
metaboliseren (Figuur 7b).
Volgens een studie van Buschmann en Lichtenthaler (Buschmann
& Lichtenthaler, 1998) stralen
groene planten zowel blauwe, groene als rode en ver-rode
elektromagnetische stralingen uit na een
UV-bestraling (Figuur 7b). De maxima zijn respectievelijk te
vinden bij 440 nm (blauw), 520 nm
(groen), 690 nm (rood) en 740 nm (ver-rood). In de rode en
ver-rode regio wordt dit veroorzaakt
door chlorofyl a en in de blauwe en groene regio is dit ten
gevolge van ferulazuren die covalent
gebonden zijn met de celwanden (Buschmann, Langsdorf, &
Lichtenthaler, 2000). Deze fenolen zijn
secundaire metabolieten die in het plantmetabolisme een
belangrijke rol spelen, zoals onder andere
bij de synthese van lignine. Vandaar dat deze in de plant
fenotypering vaak als indicator gebruikt
wordt, voor de bepaling van het plant metabolisme.
Figuur 7a: opstelling voor fluorescentie beeldverwerking, Figuur
7b: fluorescentieprincipe die van toepassing is bij fluorescentie
beeldverwerking (Li, Zhang, & Huang, 2014)
2.2.5.2 Belangrijke toepassingen en limitaties
Verschillende studies die gebruik maken van fluorescentie
beeldvorming, gebruiken de
fluorescentietechniek om vroegtijdig stress bij de plant te
kunnen detecteren vooraleer er zichtbare
symptomen zijn (Baker, 2008; Jansen et al., 2009; Konishi et
al., 2009; Munns et al., 2010; De Smet et
al., 2012; Chen et al., 2014b). Deze stress wordt veroorzaakt
door biotische en abiotische
stressfactoren.
Een tweede belangrijk onderwerp waarbij men gebruik maakt van
fluorescentie beeldvorming is bij
het scannen van een groot aantal mutanten en bij mutanten die
elk verschillende pigmenten
bevatten (Rahaman, Chen, Gillani, Klukas, & Chen, 2015;
Niyogi, Grossman, & Björkman, 1998; Lu,
Savage, & Last, 2011).
De grootste voordelen ten opzicht van andere
beeldvormingstechnieken is de hoge selectiviteit en de
goede signaal-ruisverhouding. De reden hiervoor is de hoge
selectiviteit van de transitie van een
molecule naar een hogere elektronische toestand, die enkel
voorkomt bij bepaalde fotonen met een
https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4530591/#B7https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4530591/#B57https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4530591/#B69https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4530591/#B77https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4530591/#B28https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4530591/#B28https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4530591/#B18
-
12
hoge energie. Daarentegen lijkt de FV/FM verhouding bij ernstige
waterbeperkingen, nauwelijks
gevoelig bij de metingen, waardoor de plant niet op waterstress
situaties kan getest worden (Jansen,
et al., 2009).
2.2.6 Multispectrale en hyperspectrale beeldvorming
2.2.6.1 Algemene beschrijving
Multispectrale en hyperspectrale beeldvormingstechnieken maken
gebruik van multispectrale en
hyperspectrale sensoren, die de reflectie signalen opvangen van
complexe foton-vegetatie
interacties; de multispectrale sensoren fixeren zich op de
reflectie van een select aantal banden,
terwijl hyperspectrale sensoren de reflectie meten op een breed
bereik van golflengtes (400-2000
nm) (Mishra, Mishra, Klem, & Govindjee, 2016). Zowel
multispectrale als hyperspectrale
beeldvorming functioneren op een gelijkaardige manier. Er worden
verschillende afbeeldingen
geconstrueerd, die allemaal gevormd worden bij een verschillende
golflengte. Deze sets van
afbeeldingen worden dan via image-stitching samengebracht tot
één geografische mozaïek. Via
wiskundige berekeningen kan men voor deze beelden vervolgens
vegetatieve-indexen berekenen.
Verschillende van deze indexen kunnen gebruikt worden om het
chlorofyl-gehalte te bepalen of om
het bladoppervlak per eenheid grondoppervlak te bepalen. Een
derde belangrijke index is de
Normalized Difference Vegetation Index (NDVI). Deze index
kwantificeert de hoeveelheid vegetatie
van een gebied of de gezondheid van een bepaalde plant (Taipale,
2018). Het berekent het verschil
tussen de intensiteit van dichtbij infrarood en rood licht. Het
infrarood licht wordt sterk gereflecteerd
door de vegetatie en gezonde groene planten, terwijl rood licht
geabsorbeerd zal worden door de
vegetatie en gezonde groene planten (Figuur 8). Dit gebeurt
volgens de vergelijking: 𝑁𝐷𝑉𝐼 =
(𝑁𝐼𝑅−𝑅𝐸𝐷)
(𝑁𝐼𝑅+𝑅𝐸𝐷).
Figuur 8: het verschil in Normalized Difference Vegetation Index
(NDVI) tussen een boom met gezonde bladeren (linkse) en een boom
met bladeren met een slechtere gezondheid. De linkse gezonde
vegetatie zal meer near-infrared (NIR) en
groen licht reflecteren vergeleken met andere golflengtes en
absorbeert zo ook meer blauw en rood licht (GisGeography,
2018).
-
13
Het grote verschil tussen eenvoudige digitale RGB-beeldvorming
en multispectrale/hyperspectrale
beeldvorming, is dat bij RGB-beeldvorming een beeld opgemaakt
wordt met licht verspreid over het
zichtbaar spectrum. Bij multispectrale en hyperspectrale
beeldvorming daarentegen ligt het bereik
zowel in het niet-zichtbaar spectrum als zichtbaar spectrum.
Multispectrale beeldvorming zal enkel
een klein aantal spectrale banden gebruiken, terwijl
hyperspectrale beeldvorming een compleet
spectrum gebruikt per pixel.
Zowel multispectrale als hyperspectrale beeldvorming maken
gebruik van verschillende camera’s die
elk een eigen optische filter bevatten, waarmee men bij een
aantal specifieke golflengtes een
afbeelding kan nemen (MicaSense, 2016). Elk oppervlak, van zowel
plant als blad, reflecteert een
bepaalde hoeveelheid van het licht dat het ontvangt. Omwille van
ieders eigen specifiek oppervlak,
zal de radiatie van het zonlicht op een eigen unieke manier
geabsorbeerd worden. Via de
verschillende sensoren, die zowel bij multispectrale als
hyperspectrale beeldvorming aanwezig is, kan
deze reflectie gemeten en verwerkt worden tot verschillende
afbeeldingen (Corrigan, 2018).
2.3 Beeldvormingsplatformen
2.3.1 PathoViewer
Figuur 9: Voorstelling van de PathoViewer
2.3.1.1 Algemene beschrijving
De PathoViewer (Figuur 9) is een beeldvormingsplatform dat met
behulp van hoge resolutiebeelden
planten kan fenotyperen onder gecontroleerde omstandigheden. Het
bevat een 6 MP – 16 bit
camera uitgerust met verschillende optische filters die
toegepast kunnen worden voor talloze
toepassingen zoals het meten van chlorofyl fluorescentie, Red
Fluorescent Protein (RFP), Green
Fluorescent Protein (GFP), auto-fluorescentie, RGB,
gemodificeerde anthocyaanreflectie-index en
chlorofylindex. Het is een geautomatiseerd systeem, dat ingezet
wordt om biotische als abiotisch
stress na te gaan van planten of plantendelen (Phenovation Life
Science, 2016).
2.3.1.2 Specificaties van de Pathoviewer
De Pathoviewer maakt gebruik van een combinatie van RGB,
chlorofylfluorescentie, anthocyaan, NIR
en GFP/RFP beeldverwerking om de impact van abiotische en
biotische stress te visualiseren. Met
behulp van deze camera’s kunnen onderzoekers bovendien
wetenschappelijke relevante informatie
-
14
verzamelen van planten, naast de visualisatie van de
fenotypische kenmerken. In de volgende sectie
worden de belangrijkste parameters die gemeten worden
besproken.
FV/FM
Een eerste belangrijke parameter die gemeten kan worden met de
Pathoviewer is de Fv/FM-waarde.
Deze parameter bekomt men door gebruik te maken van chlorofyl
fluorescentie, die een maatstaf is
voor het bepalen van de fotosynthetische prestaties van een
plant. Met behulp van fluorescentie
kunnen verschillende parameters berekend worden zoals lineaire
elektronenstroom, CO2-assimilatie
en veranderingen in fotosysteem II (PSII) fotochemie (Baker N.
R., 2008).
Figuur 10: Fluorescentie-quenching-analyse bepaald door
gemoduleerde fluorescentie. FO = minimaal fluorescentielevel, FM =
maximaal fluorescentielevel en Fv = variabel fluorescentielevel
(Baker N. R., 2008)
De Fv/FM -waarde bepaalt de maximum kwantumefficiëntie van de
fotochemie van PSII. Eerst zal het
minimaal fluorescentielevel F0 bepaald worden (Figuur 10). Door
een kleine hoeveelheid (0,1 µmol
fotonen m-1 s-1) niet-actinisch licht vrij te stellen aan het
blad van een plant. Actinisch licht, is licht dat
geabsorbeerd wordt door fotosynthetische apparaten, dat
fotochemische effecten veroorzaakt en
zorgt voor een elektronentransport (Baker N. R.,
2008).Vervolgens wordt een korte actinische puls
met hoge foton flux densiteit (685 µmol fotonen m-1 s-1) aan het
blad vrijgeste,ld zodat er een
maximaal fluorescentielevel bereikt wordt (FM). Dit zorgt ervoor
dat de reactiecentra met primaire
chinonenacceptoren van het PSII (QA) zich in een gesloten status
zullen bevinden. Het verschil tussen
FM en F0 wordt de variabele fluorescentie Fv genoemd. Het
quotiënt van Fv/FM, is een maat voor de
stresssituatie van een plant. Hoe lager deze waarde, hoe lager
het aantal bruikbare open reactie
centra en dus hoe hoger de stresssituatie van de plant (Baker
& Rosenqvist, 2004).
-
15
Figuur 11: Voorbeeld van een Fv/FM - meting toegepast op tarwe
geïnfecteerd met Zymoseptoria tritici
Anthocyanine
Een tweede belangrijke parameter die gemeten kan worden met de
Pathoviewer, is de Ant-index.
Deze index correleert met de hoeveelheid anthocyanine die zich
in een blad bevindt. Athocyanen zijn
pigmenten die verantwoordelijk zijn voor de vermiljoen
verkleuring. Deze pigmenten zouden een
invloed hebben op de manier van reageren op bepaalde
stresssituaties zoals: droogte, UV-B, zware
metalen, bepaalde herbivoren en pathogenen. Dit doen ze door
hoogenergetische kwantumdeeltjes
te absorberen en zo chloroplasten te beschermen van
foto-inhiberende en foto-oxidatieve effecten
als van het metaboliseren van fotolabiele
verdedigingscomponenten (Gould, 2004).
Groen Fluorescentie proteïne (GFP) en rood fluorescentie
proteïne (RFP) beeldvorming:
De laatste beeldvormingen die vaak toegepast wordt bij metingen
van de Pathoviewer, zijn de
visualisatie van groen en rode fluorescentie proteïnen (GFP en
RFP). Deze proteïnen zijn in staat om
proteïnen in vivo te detecteren en zo nieuwe inzichten te
verschaffen over welbepaalde
celstructuren. Bovendien kunnen deze beeldvormingsprincipes
ingezet worden voor het identificeren
van genfuncties en regulatorische netwerken.
Figuur 12: een voorbeeld van spectrale karakteristieken van GFP.
Hierbij stelt de stippenlijn het exitatiespectrum voor en de volle
lijn het emissiespectrum. De emissiefilter wordt met een dikke
zwarte streep weergegeven.
-
16
Fluorescentie proteïnen werken op dezelfde werkwijze als andere
fluorescentie labels (Figuur 12).
Ten eerste is er een bron noodzakelijk, die zorgt voor de
excitatie. LED-lampen zorgen voor deze bron
bij de Pathoviewer. Hiernaast bevat de Pathoviewer een
dichroïde, die ervoor zorgt dat de
excitatiewegen en emissiewegen van elkaar gescheiden blijven.
Als derde element bevat het een
filter, die nodig is om het emissiegolflengtebereik te verzenden
terwijl het excitatiegolflengtebereik
geblokkeerd wordt. Enkele voorbeeld waarbij GFP proteïnen
toegepast worden, zijn hieronder
weergegeven (Figuur 13,Figuur 14).
Figuur 13: Voorbeeld van een plant dat een GFP-proteïne bevat,
weergegeven links met en RGB camera en rechts met de multispectrale
camera's van de Pathoviewer.
Figuur 14: Voorbeeld van een GFP geïnjecteerde tarwe plant
weergegeven links met een RGB-camera en rechts met een
multispectrale camera van de Pathoviewer
2.3.2 Beeldvormingsplatformen in Europa en internationaal Binnen
Europa bestaan verschillende initiatieven, met als doel de mensen
te ondersteunen in het
onderzoek naar plantfenotypering. Deze organisaties doen dit
door het bezorgen van faciliteiten die
gebruikt kunnen worden over de gehele fenotyperingspijplijn
zoals onder andere sensoren,
verschillende beeldvormingstechnieken, specifieke data-analyses
in relatie met
omgevingsomstandigheden, opslagplaatsen… (Coppens, Wuyts, Inzé,
& Dhondt, 2017).
2.3.2.1 EMPHASIS en IPPN
De European Infrastructure for Multi-scale Plant Phenomics and
Simulation (EMPHASIS) is een
organisatie die zich inzet voor de ontwikkeling van
grootschalige projecten voor fenotypering van
planten. Ze voorziet en ontwikkelt faciliteiten en diensten om
in verschillende agrarische
omstandigheden factoren te kwantificeren zoals: plantenstructuur
en -architectuur, fysiologische
functies en output, opbrengsten en de kwaliteit van planten.
EMPHASIS heeft als doel om de
limitaties zowel op technologisch als organisatorisch vlak in
Europa aan te pakken om tot
gewasverbeteringen te komen die nodig zijn om gewassen aan te
passen aan de veranderende
klimaatomstandigheden (EMPHASIS, 2019).
-
17
Het International Plant Phenotyping Network (IPPN) is een tweede
grote organisatie die zich inzet
voor de verbetering van fenotyperingbeeldvormingplatforms in de
wereld. Het representeert het
grootste plant fenotyperingcentra in de wereld. Het heeft als
doel een wereldwijd netwerk op te
richten van instellingen om de synergie tussen verschillende
platforms te maximaliseren; en hierbij
de knelpunten zo goed mogelijk in kaart te brengen, om deze zo
minimaal mogelijk te houden.
Vervolgens zorgt het ook voor een goede communicatie tussen
zowel de academische wereld,
industriële wereld als de globale populatie zowel in als uit hun
eigen onderzoeksgemeenschap. Ten
slotte zorgt deze associatie voor opleidingen en trainingen die
nodig zijn om planten correct en op
een effectieve manier te fenotyperen.
Om te voldoen aan deze doelen organiseert de organisatie:
workshops, summer schools, en symposia
met als doel de kennis die aanwezig is bij verschillende
onderzoeksgroepen te verspreiden en
samenwerking tussen groepen te stimuleren. Daarnaast werden
werkgroepen samengesteld, die zich
focussen op verschillende onderwerpen om nieuwe ideeën te
ontwikkelen en tekortkomingen weg te
werken. Het zorgt voor de opstart van verschillende nieuwe
research projecten vooral in gebieden
waar men nog niet aan plant fenotypering doet. Tot slot zorgt de
organisatie ook voor geavanceerde
trainingsactiviteiten (IPPN, 2019).
2.3.2.2 Beeldvormingsplatformen in de wereld
Volgens de database van EMPHASIS zijn er momenteel 116 plant
fenotyperingsinstallaties aanwezig
in Europa, waaronder de Pathoviewer. De meeste installaties zijn
te vinden in Duitsland (22), België
(20), Frankrijk en het Verenigd Koninkrijk (beide 14).
Grafiek 1: Aantal plantfenotyperingplatformen in Europa
(EMPHASIS & EPPN, 2018)
De fenotyperinginstallaties worden volgens EMPHASIS
onderverdeeld in vijf verschillende
categorieën: de gecontroleerde velden, deep phenotyping,
e-infrastructure, highly equiped fields en
network of lean fields. De meeste installaties (68 %) zijn
installaties die functioneren in (semi-)
gecontroleerde omstandigheden voor hoge-resolutie en
high-throughput fenotypering. Net zoals de
Pathoviewer, worden deze fenotyperinginstallaties gebruikt voor
onderzoek naar de kenmerken van
0
5
10
15
20
25
Aan
tal
Landen in Europa met plant fenotyperingsplatforms
Fenotyperingsplatforms
-
18
planten in gecontroleerde omstandigheden, zoals in een
abiotische of biotische toestand. De
capaciteit om het aantal planten tegelijk te fenotyperen is
beperkt tot een 100-1000 tal (EMPHASIS,
2019). Sommige van deze platforms specialiseren zich in deep
phenotyping; deze vorm van
fenotypering gebeurt ook onder gecontroleerde omstandigheden,
maar er is een lagere high-
throughput. Bovendien zal er een uitgebreidere en preciezere
analyse uitgevoerd worden van een
afzonderlijke fenotypische component (Robinson, 2012).
De tweede grootste categorie waarvoor fenotyperingplatforms
gebruikt worden zijn highly equiped
fields of ook wel intensive fields genaamd. Intensive fields
zijn installaties die in detail een veld onder
natuurlijke condities onderzoekt, voor verschillende kenmerken.
Deze installaties bevatten
verschillende camera’s en toestellen om zowel de planten te
fenotyperen als de omgeving te
controleren. Er wordt constant data verzameld, die de
verschillende toestellen gebruiken om de
omgeving aan te passen naar de voorkeuren van de plant. Deze
vorm van fenotypering laat de studie
toe om de interacties tussen verschillende genotypische
variaties en de omgeving op te meten
(EMPHASIS, 2018).
Grafiek 2: Onderverdeling van de verschillende plant
fenotyperingplatforms volgens de database van EMPHASIS
De derde grootste categorie zijn netwerken van velden, met een
minimum maar efficiënt
plantfenotypering. Er worden in deze categorie niet-invasieve
sensoren gebruikt om onder
veldomstandigheden via minimale inspanning, analyses af te nemen
en plantkenmerken op te meten
(IPPN, 2019).
Ten slotte zijn er nog de kleinere categorieën deep phenotyping
en e-infrastructure. Deep
phenotyping is een vorm van gecontroleerde conditie, waarbij
zeer nauwkeurige precisie platforms
gebruikt worden om zeer gedetailleerde analyses uit te voeren op
planten. De e-infrastructure
categorie omvat alle plantfenotyperingplatforms die in bezit
zijn van informatiesystemen die
methoden en interfaces voor verschillende datasets aanbieden. Ze
kunnen gebruikt worden door
verschillende platformen. Dit zowel voor het beheren, delen,
hergebruiken als visualiseren van high-
throughput fenotyperinggegevens (EMPHASIS, 2019).
68% 3%
3%
14%
12%
Gecontroleerde condities
Deep phenotyping
e-infrastructure
highly equipped fields
(network of) lean field(s)
-
19
3 Beeldanalyse voor plantfenotypering
3.1 Digitale beeldverwerking Om het genoom van een plant te
kunnen linken aan de omgevingstoestanden en fenotypische
kenmerken, moeten er vaak drie cruciale stappen ondernomen
worden vooraleer er een exacte
analyse opgemaakt kan worden. Eerst moet er een experiment
opgesteld worden. Daaropvolgend
moeten er kwantitatieve metingen uitgevoerd worden om dan
tenslotte de resultaten op een
correcte wijze te interpreteren. Digitale beeldverwerking is een
nuttig hulpmiddel, dat gebruikt kan
worden om op een vlotte efficiënte manier metingen uit te
voeren. Vele kenmerken (zoals
planthoogte, bladoppervlak of stikstofinhoud) werden
oorspronkelijk manueel of op een destructieve
manier opgemeten. Onder invloed van technologische vooruitgangen
in de digitale beeldvorming en
-analyse, wordt steeds vaker gebruikgemaakt van beeldmateriaal
om het fenotyperen te
automatiseren (Li, Zhang, & Huang, 2014).
Er moeten enkele cruciale stappen doorlopen worden om met behulp
van beelden bepaalde
fenotypische eigenschappen van een plant te bepalen. Deze
stappen vormen samen een
beeldanalysepipeline, die een beeld als input vraagt en als
output een meting teruggeeft. Hoe
complex deze pipeline is, hangt af van het beeldmateriaal dat
verkregen wordt, maar ook van de
eigenschap van de plant die men wenst op te meten. In deze
thesis wordt de nadruk gelegd op top-
view beelden van kleine (dicotyle) planten. Wanneer men als
voorbeeld het geprojecteerde
bladoppervlak van de plant wenst te meten, dan herleidt de
beeldanalyse zich tot het detecteren en
tellen van de pixels die tot de plant behoren. Eventueel gevolgd
door een herschaling met een vooraf
bepaalde schaalfactor. Wenst men daarentegen vormeigenschappen
van de bladeren van deze plant,
zoals de circulariteit te meten, dan dient de pipeline ook
technieken te bevatten die bladeren kunnen
herkennen en onderscheiden (Lee, Chang, Putra, Kim, & Kim,
2018).
3.2 Belangrijke stappen in het beeldanalyseproces
Niettegenstaande de grote variatie aan technieken om beelden te
analyseren, starten de meeste
pipelines met een segmentatiestap. Het belangrijkste doel
hierbij is de plant in een beeld te
onderscheiden van de achtergrond. Voor eenvoudige planten op een
homogene achtergrond
volstaat soms een eenvoudig kleurcriterium om pixels die tot de
plant behoren te onderscheiden van
achtergrondpixels. Voor meer complexe achtergronden, waarbij
veel componenten op één beeld
aanwezig zijn, zijn vaak bijkomende filterstappen of meer
complexere segmentatietechnieken nodig.
Andere voorbeelden waarbij extra stappen noodzakelijk zijn, is
bij planten die bijvoorbeeld
geelverkleuring vertonen waardoor de kleur binnen de plant
varieert, of beelden die veel
onzuiverheden bevatten. In de volgende secties wordt er een
overzicht gegeven van de belangrijkste
stappen die zich in een image processing pipeline bevinden en
wordt er nagegaan welke technieken
frequent gebruikt worden tijdens dit proces. Een schematisch
overzicht wordt weergegeven op de
onderstaande figuur (Figuur 15) en is gebaseerd op een studie
van Lee, Chang, Putra, Kim & Kim in
2018 (Lee, Chang, Putra, Kim, & Kim, 2018).
-
20
Figuur 15: Stappenplan in het ondernemen van een
beeldanalyseproces gelijkaardig aan studie van Lee, Chang, Putra,
Kim & Kim in 2018
3.2.1 Setup en beeldcaptatie Voor elk onderzoek wordt er eerst
een setup gemaakt van alle beeldcaptatie instrumenten,
omgevingssensoren en andere systemen die paramaters controleren
zoals irrigatie en licht. Al deze
instrumenten zijn afhankelijk van de omgeving waar het
beeldanalyseproces verloopt (Lee, Chang,
Putra, Kim, & Kim, 2018). Beeldcaptatie is het proces waarin
een digitale representatie van een
bepaalde scene wordt vastgelegd. Deze representatie wordt
opgeslagen onder de vorm van een
afbeelding, die pixels bevat. De instrumenten die zorgen voor
deze captatie, worden
beeldverwerkingssensoren genoemd. Met behulp van allerlei
optische filters worden vervolgens
verschillende beelden vastgelegd van planten (Perez-Sanz,
Navarro, & Egea-Cortines, 2017).
3.2.2 Preprocessing Een eerste stap die noodzakelijk is, na de
opzet en vastlegging van deze foto’s, is het preprocessing
proces van een afbeelding. Bij preprocessing worden er
algoritmen gebruikt om ruis en allerhande
perspectiefvervormingen uit een afbeelding te verwijderen. Deze
onregelmatigheden zijn vaak te
linken aan de geometrie van de afbeelding of de helderheid van
pixels en kunnen worden
gecorrigeerd via mathematische modellen. Deze fouten in de
afbeelding zijn te wijten aan het feit dat
enerzijds het beeldvlak van de camera niet parallel staat met de
tafel waarop de planten zich
bevinden of in het bijzonder geval van multiterplaten een
inclinatie t.o.v. de platen (Chitradevi &
Srimathi, 2014; Klukas, Chen, & Pape, 2014; Lee, Chang,
Putra, Kim, & Kim, 2018).
3.2.2.1 Distortie
Elke afbeelding van een plant moet voor een accurate analyse op
een gelijkaardige manier
vastgelegd worden. Een eerste belangrijke stap om dit te
bewerkstellen, is het corrigeren van de
vervormingen die mogelijk hebben plaatsgenomen bij het nemen van
de foto. Een vaak gebruikte
methode om alle planten op een gelijkaardige manier te
fotograferen is, door gebruik te maken van
vier verschillende gekleurde markeerpunten op de well-platen of
het rooster waarin de planten zich
bevinden. Met behulp van de coördinaten van deze markeerpunten,
kan men voor alle afbeeldingen
een gelijke weergave terugvinden (Lee, Chang, Putra, Kim, &
Kim, 2018). Een groot voordeel dat de
-
21
Pathoviewer heeft ten opzichte van andere systemen is dat dit
platform onder gecontroleerde
lichtomstandigheden te werk gaat en lenzen bevat die minimale
distortie bevatten. Met andere
woorden het werkt altijd onder dezelfde gecontroleerde
(licht)omstandigheden.
3.2.2.2 Kleurconversie
Het begrip kleur is een ingewikkeld concept, aangezien het een
reactie van het brein is op een
specifieke visuele prikkel. Ondanks dat kleur beschreven kan
worden met bepaalde golflengtes zoals
Figuur 2 weergaf, wordt het signaal voor iedereen toch op een
eigen manier opgenomen. Het signaal
dat wordt opgevangen, is immers afhankelijk van bepaalde
componenten van kleur zoals: de
helderheid, de tint, de volheid, licht, chroma en verzadiging
(Ford & Roberts, 1998). Bij
beeldverwerking van planten kan kleur aanzien worden als de
manier waarop detectoren zoals een
camera, computer of het menselijk brein, licht waarnemen dat
gereflecteerd wordt door bepaalde
objecten. In dit geval zullen deze objecten de planten zijn met
de bijhorende achtergrond (Hill, Roger,
& Vorhagen, 1997).
Er bestaan verschillende manieren om kleuren te beschrijven.
Kleuren worden vaak voorgesteld in
een kleurruimte. Een kleurruimte is een methode waarbij kleur
gespecifieerd, gecreëerd en
gevisualiseerd worden (Ford & Roberts, 1998). De keuze van
een kleurruimte is belangrijk in het
beeldanalyseproces omdat ze bepaalt welke kleuren eenvoudig van
elkaar te onderscheiden zijn (Hill,
Roger, & Vorhagen, 1997).
Grayscale:
De meest eenvoudige beelden zijn grijswaardebeelden. Deze
beelden bevatten geen kleurinformatie,
maar geven de totale intensiteit weer van het deel van het
spectrum, waarvoor de camera gevoelig
is. Hoe hoger de waarde van een pixel, hoe hoger de intensiteit
zal zijn. Vaak worden deze
intensiteiten bewaard als 8-bit unsigned integers, zodat de
intensiteiten variëren van 0 tot 255. Een
afbeelding kan in dit geval voorgesteld worden door een
afbeelding als een twee-dimensionele array
(Sinha U. , 2011).
Rood, Groen, Blauw (RGB):
De meest gebruikte kleurenruimte, die toegepast wordt voor de
analyse van beelden voor plant
fenotypering, is de RGB-ruimte. De RGB (rood, groen blauw)
kleurruimte zal een kleur voorstellen
door ze te ontbinden in de intensiteiten van rood, groen en
blauw die men additief moet mengen om
de oorspronkelijke kleur te benaderen (Pascale, 2003). Zoals de
naam van de ruimte ook zegt, zullen
deze afbeeldingen opgeslagen worden als een array van drie
verschillende waarden. Waarbij de
eerste waarde voor de hoeveelheid rood van een pixel staat, de
tweede voor de hoeveelheid groen
en de derde voor de hoeveelheid blauw in een pixel.
Hue, Saturation, Value (HSV):
Een derde frequent gebruikte kleurenruimte is de HSV
kleurenruimte die, zoals op de volgende figuur
(Figuur 16) weergegeven is, bepaald wordt door drie componenten
van de afbeelding: de tint, de
waarde en verzadigingsfactor. Bij dit systeem worden de RGB
waarden geprojecteerd op een kegel of
cilinder (Erdogan & Yilmaz, 2014).
-
22
Figuur 16: Hue, Saturation, Value kleurenruimte (Erdogan &
Yilmaz, 2014)
Deze vorm zorgt ervoor dat je in plaats van bij de
oorspronkelijke RGB kleurenruimte op een
willekeurige manier een kleur kan aanduiden. Aangezien je voor
één tint nog heel wat verschillende
verzadigingswaarden kan terugvinden en bovendien ook nog een
bepaalde helderheidswaarde kan
toewijzen (Erdogan & Yilmaz, 2014). De HSV kleurenruimte is
een veelgebruikte ruimte voor
plantfenotypering omwille van het eenvoudig concept en de
toepassing op afbeeldingen van digitale
camera’s (Pan, Li, & Sun, 2007).
3.2.2.3 Filtreren
Het filtreren van een afbeelding is het veranderen van een
afbeelding door de waarde van de pixels
aan te passen. De pixels worden vaak onderverdeeld in de cijfers
één en nul, waarbij één de
voorgrond van de afbeelding voorstelt en nul de achtergrond. Met
voorgrond bedoelt men dan de
pixels van de afbeelding die voor de gebruiker interessant zijn.
In ons voorbeeld zullen dit de pixels
zijn die de bladeren van een plant voorstellen en de achtergrond
zal dan de multiwellplaat
voorstellen.
In de meeste gevallen zal het filtreren zich focussen op alle
naburige pixels om zo tot een bepaalde
waarde te komen. Meestal zal er een gewogen gemiddelde genomen
worden van de naburige pixels
om onzuiverheden weg te werken of om bepaalde effecten te
creëren. Er zijn tal van filters
beschikbaar, maar veel voorkomende filters bij
beeldverwerkingssystemen zijn: Gaussian blur,
Mediaan filter, dilatatie en erosie (Kapur, 2017).
Gaussian blur
De Gaussian blur is een klassiek en veel gebruikte methode voor
de convolutie van afbeeldingen. De
methode is vernoemd naar de Duitse wiskundige en wetenschapper
Carl Friedrich Gauss (van Almsick
& ter Haar Romeny, 2008). De grijswaarden van een afbeelding
worden hierbij geconvolueerd met
een Gauss-kernel, om op die manier een vervaagde gewijzigde
versie van het beeld te bekomen
waarin intensiteiten lokaal worden uitgemiddeld. Een voorbeeld
van deze filter is weergegeven op de
linkerzijde van (Figuur 17).
Mediaan filter
De mediaan filter is waarschijnlijk de meest gekende en meest
gebruikte filter in het
beeldverwerkingsproces. Het vervangt een pixel door de mediaan
van de grijswaarden van de
-
23
aangrenzende pixels. Bovendien wordt de oorspronkelijke waarde
van de pixel ook opgenomen in de
berekening van deze mediaan. Deze filter leent zich uitstekend
om ‘defectieve pixels’ uit een beeld te
elimineren (Gupta, 2011). Op onderstaande figuur (Figuur 17,) is
aan de rechterzijde een voorbeeld
weergegeven van een toepassing van een mediaan filter.
Figuur 17: twee filteringsmethodes met aan de linkerzijde
Gaussian blur en aan de rechterzijde een voorbeeld van een mediaan
filter (Kapur, 2017; Pantech Solutions, 2003)
Dilatatie en erosie
Dilatatie en erosie zijn twee voorbeelden van morfologische
filters, die beide op een gelijkaardige
maar tegengestelde manier opereren. Beide filters zijn
toepassingen die gebruikt worden bij binaire
afbeeldingen. Bij dilatatie (Figuur 19a) zullen kleine regio’s
van een afbeelding opgevuld worden met
de achtergrondkleur van de aanliggende pixel, zodat er vaak een
meer egaal beeld gevormd wordt. In
binaire afbeelding zullen alle pixels grenzend aan een pixel met
waarde één eveneens een waarde
van één toegewezen worden (Kapur, 2017).
Om precies te bepalen welke pixel een meetwaarde nul of één moet
krijgen, wordt er gebruik
gemaakt van een structuurelement (Figuur 18). Dit is een
belangrijk element in het ontwerp van een
morfologisch beeldverwerkingsproces. De kenmerken van een
afbeelding worden namelijk vaak
betwist door deze factor. Voor dilatatie zal het
structuurelement doorheen de afbeelding scannen
(van links naar rechts) en zoeken naar pixels met waarde één.
Wanneer er zo’n pixel gevonden
wordt, zullen alle pixels rondom deze centrale pixel een waarde
één toegewezen worden in de vorm
van het structuurelement. Zo zal voor dilatatie de voorgrond
groter worden, terwijl voor erosie de
voorgrond van de afbeelding zal verminderen (Said, Jambek, &
Sulaiman, 2016).
Figuur 18: voorbeeld van een structuurelement met een straal van
acht pixels (Said, Jambek, & Sulaiman, 2016)
Erosie filters zullen bijgevolg net het tegengestelde doen als
dilatatie filters; de kleine deeltjes tussen
verschillende regio’s in zullen vergroten en de kleine details
in de afbeelding zullen verwijderd
worden. Opnieuw zal dit op zijn eigen manier voor een beter
contrast en voor een duidelijker beeld
-
24
zorgen. In dit geval zullen enkel de pixels met waarde één, die
in alle richtingen omringd zijn met een
gelijkaardige pixel, hun pixelwaarde behouden (Figuur 19b)
(Kapur, 2017).
Figuur 19: a) voorbeeld van dilatatie filter, b) voorbeeld van
een erosie filter (Bhuvaneswari & Keerthana, 2016)
3.2.3 Segmentatie De voorgaande filterstappen, opschalingen en
bepaalde keuzes voor kleurenconversies, staan vaak in
het teken van de daarna volgende segmentatiestappen. Segmentatie
heeft als doel het definiëren
van regio’s met interne gelijkenissen op vlak van zowel textuur
als statistisch vlak. Elk van deze
segmenten kan dan verder geanalyseerd worden, om uiteindelijk
een totale beeldanalyse te vormen
van een afbeelding. De segmentatiemethodes kunnen onderverdeeld
worden in vier verschillende
categorieën, die zich baseren op ofwel: een bepaalde threshold,
een watershed transformatie,
randherkenning of een clustering methode (Perez-Sanz, Navarro,
& Egea-Cortines, 2017).
De eerste methode is gebaseerd op threshold waarbij een
onderscheid tussen segmenten zal
gemaakt worden met de technieken die aangehaald worden bij
threshold methodes. De regio’s
zullen gesplitst worden op basis van hun intensiteit.
De watershed transformatie is een veelgebruikt algoritme, dat
gebruikt wordt voor segmentatie. De
afbeelding wordt als het ware voorgesteld als een geografisch
landschap dat overspoeld wordt, maar
dan op basis van pixelintensiteit. Dit zorgt ervoor dat de
afbeelding heel wat hoogtes en laagtes
bevat. De toppen komen overeen met grenzen en zorgen ervoor dat
de segmentatie op deze plaats
stopt. Alle delen (pixels) binnen deze grenzen worden dan als
één geheel gezien (Vincent & Soille,
1991).
Regio-gebaseerde methoden leggen de nadruk op de eigenschappen
van de pixels in relatie tot hun
buren. Wanneer verschillende pixels gelijkaardige eigenschappen
hebben, zullen deze in dezelfde
regio ondergebracht worden. Deze techniek wordt vaak gebruikt
bij wazige afbeeldingen. De meeste
methodes die hiervoor gebruikt worden zijn gebaseerd op edge
detection, die bepalen waar de
randen van gelijkaardige regio’s gesitueerd worden (Shrivakshan
& Chandrasekar, 2012).
Canny edge detection is een populaire vorm van edge detection en
wordt vaak als eerste stap in
regio-gebaseerde methodes als segmentatie methode gebruikt. John
F. Canny heeft een multistage
algoritme ontwikkeld, dat ervoor zorgt dat bepaalde randen
nauwkeurig opgespoord kunnen
worden. Bij canny edge detection moeten verschillende stappen
ondergaan worden vooraleer men
tot een correcte segmentatie komt.
Clusteringmethoden vormen de vierde en laatste methode. Deze
methodes zijn processen waarbij
objecten met gelijkaardige eigenschappen gegroepeerd worden in
clusters. Bijgevolg zullen deze
a b
-
25
objecten gescheiden worden van objecten met verscheidene
eigenschappen van verschillende
clusters. Eén van de meest gebruikte methodes hierbij is K-means
Clustering (Kuruvilla, Sukumaran,
Sankar, & Joy, 2016).
3.2.3.1 Thresholding
Thresholding is dikwijls een onvermijdelijke stap in het
beeldverwerkingsproces; het is het aanpassen
van een kleurwaarde van een pixel naar ofwel een wit- of
zwartwaarde. Wanneer een pixel een
bepaalde grens (threshold) overschrijdt, zal deze omgezet worden
naar een witte of zwarte pixel; of
net omgekeerd zoals bij inverse thresholding. De onderverdeling
van lichte en donkere regio’s zorgt
ervoor dat verschillende delen van een afbeelding vrij eenvoudig
van elkaar gescheiden kunnen
worden. Het resultaat is een binair beeld waarbij een duidelijk
onderscheid gemaakt wordt tussen
verschillende pixels.
Er zijn heel wat verschillende vormen van thresholding, er kan
een onderscheid gemaakt worden in
vier groepen: gemiddelde thresholding, Otsu’s threshold,
histogram gebaseerde thresholding en
locale thresholding (Morse, 2000).
Gemiddelde thresholding:
De eenvoudigste vorm van thresholding is deze met behulp van een
gemiddelde threshold waarde.
Bij deze methode wordt er een gemiddelde intensiteit berekend
voor zowel de voorgrond als de
achtergrond. Vervolgens berekent men het gemiddelde van deze
twee waarden en deze waarde
wordt dan als threshold ingesteld om het verschil vast te leggen
tussen voor- en achtergrond (Srisha
& Khan, 2017).
Otsu’s threshold:
De Otsu’s threshold methode is vernoemd naar zijn uitvinder
Nobuyuki Otsu. In 1979 publiceerde hij
een thresholdmethode, die gebaseerd is op een
clusteringsmethode. De clusters, bestaande uit
pixels die tot de voor- of achtergrond behoren, worden zo klein
mogelijk gemaakt om de overlap
tussen beide te minimaliseren. Meer bepaald zal er een
tresholdwaarde gezocht worden die de intra-
class variantie, de variantie in de klasse zelf, zo minimaal
mogelijk houdt. Dit wordt ook wel
gedefinieerd als een gewogen som van varianties van twee
klassen. De Otsu methode zal de
thresholdwaarde iteratief aanpassen om deze varianties zo klein
mogelijk te maken (Otsu , 1979).
Wanneer de thresholdwaarde aangepast wordt, zal voor de ene
cluster de spreiding groter worden
terwijl dit bij de andere zal verkleinen; de Otsu threshold
methode zorgt ervoor dat de som van deze
twee spreidingen zo laag mogelijk is (Otsu , 1979). Bij
afbeeldingen waar het verschil tussen voor- en
achtergrond nauwelijks zichtbaar is, levert dit extra voordelen
op. Omwille van het feit dat er een
optimale waarde gezocht wordt om het contrast tussen voor- en
achtergrond duidelijk te maken
(Morse, 2000).
Lokale thresholding
Een groot probleem bij het gebruik van een globale threshold
(zoals bv. bepaald door Otsu’s
methode) is dat de belichting in een afbeelding kan variëren,
waardoor bij sommige delen van de
afbeelding de helderheid hoger of net lager is, zonder dat het
afhankelijk is van het object. Hierdoor
-
26
dreigen objecten niet altijd correct onderverdeeld te worden.
Bij lokale thresholding worden kleine
onderverdelingen gemaakt van de afbeelding en als deelafbeelding
behandeld. Zo zullen er telkens
voor een klein deel van het totale aantal pixels een lokale
waarde gezocht worden, die als threshold
wordt gebruikt om het onderscheid te maken tussen voor- en
achtergrond. Dusdanig zal de
thresholdwaarde variabele veranderen voor elk deel van de
afbeelding (dilip & Sahu, 2017).
3.2.3.2 Watershed
Watershed transformaties, zijn transformaties die hun oorsprong
hebben in de topografische sector.
In dit vakgebied worden er twee delen van elkaar gescheiden door
een grens die bepaalt of
bijvoorbeeld een waterstroom naar links of naar rechts zal
stromen. Beeldverwerkingsmethoden
maken gebruik van hetzelfde principe. Foto’s met grijswaarden
kunnen voorgesteld worden als
landschappen. De numerieke schaal van de intensiteit van een
grijswaarde stelt de hellinghoogte
voor op dat bepaald punt. Een segment wordt bepaald door
gebieden op hun minimum te laten
vollopen (inkleuren) tot deze gebieden met elkaar in contact
komen. De contactlijn vormt vervolgens
een grens tussen twee gebieden (Vincent & Soille, 1991).
3.2.3.3 Edge detection
Het doel bij edge detection is het produceren van lijnen op een
afbeelding die een lokale verandering
van een intensiteit aanduiden. Deze intensiteitsveranderingen
merken typisch een lokale regio en
zorgen voor een scheiding van bepaalde compartimenten in een
afbeelding. Op die manier kunnen
bepaalde vormen, hoeken of randen herkend worden (Kapur,
2017).
Er zijn zeer verschillende vormen van edge detection (Sponton
& Cardelino, 2015), maar drie meest
voorkomende werkwijzen die gebruikt worden bij edge detection
zijn gradiënt gebaseerde edge
detection, Laplaciaan gebaseerde edge detection en canny edge
detection (Mutneja & Mutneja,
2015). De eerste methode zal zich focussen op het punt waar de
eerste afgeleide van de intensiteit
groter is dan een bepaalde grootte. Terwijl de tweede methode
zal zoeken naar het punt waar de
tweede afgeleide van de functie van de intensiteit gelijk is aan
nul (Figuur 20a).
Gradiënt gebaseerde edge detection:
Deze detectie zal randen construeren op de locatie van de pixels
waar er abrupt een groot verschil is
in grijswaarden. Een moeilijkheid stelt zich voor bij continue
afbeeldingen (waarbij de waarden
continue overlopen); daarom wordt er bij een gradiënt gebaseerde
edge detection de eerste
afgeleide berekend van de intensiteit van de afbeelding. Zodat
deze afgeleiden lokale maxima
voorstellen die de richting van een rand voorstellen (Figuur
20b) (Savant, 2014).
Laplaciaan gebaseerde edge detection:
Gradiënt gebaseerde edge detection wordt vooral gebruikt bij
afbeeldingen die grote contrasten in
hun grijswaarden bezitten. Voor afbeeldingen waar de overgangen
minder duidelijk zijn, is het aan te
raden om een Laplaciaan gebaseerde edge detection methode te
gebruiken. Deze methode is
afhankelijk van de tweede afgeleide van de intensiteitscurve van
de afbeelding. Wanneer deze
functie een nulpunt bereikt, zal dit corresponderen met een
lokaal maximum in de afbeelding. Dit
maximum is de pixellocatie, die als rand aanzien wordt (Figuur
20c) (Savant, 2014).
-
27
Figuur 20: a) een voorbeeld van een intensiteitscurve, b) de
eerste afgeleide van de intensiteitscurve (gradiënt gebaseerde edge
detection), c) tweede afgeleide van de intensiteitscurve
(Laplaciaan gebaseerde edge detectie) (Sinha U.
, 2010)
3.2.3.4 Canny edge detection
De canny edge detection, vernoemd naar John F. Canny, is een
algoritme dat ontworpen is om
scherpe randen te detecteren (Canny, 1986). Het is een
ingewikkeld algoritme, maar één van de
meest gebruikte algoritmes voor het herkennen van randen in een
afbeelding. Het maakt gebruik van
drie hoofddoelen namelijk: een zo laag mogelijk foutenmarge
creëren, de randen moeten zo duidelijk
mogelijk weergegeven worden en als derde mag er maar één punt
per randdetectiepunt aanwezig
zijn.
Het principe van deze methode is onderverdeeld in zes
belangrijke stappen. Het proces zal starten
met het filtreren van de afbeelding; waarin alle ruis en
onregelmatigheden geëlimineerd worden.
Vervolgens zal er een gradiënt operator gebruikt worden, die de
richting van de rand zal aangeven.
Daaropvolgend zullen de rand verdund worden met een functie ‘Non
Maxima’ genoemd. Hierna
volgt er een thresholding die onnauwkeurigheden in de verfijning
verwijdert. Uiteindelijk volgt er een
scheiding tussen hoge en lage intensiteit, die zorgt voor een
duidelijke randdetectie (Ilkin, Hangisi,
Tafralı, & Sahin, 2017).
3.2.3.5 K-means clustering
K-means clustering is een algoritme, die een afbeelding in
meestal twee of meerdere groepen pixels
onderverdeeld. Een cluster bevat punten met gelijkaardige
intensiteiten. Hoe gelijkaardig de
intensiteiten binnen een cluster zijn, wordt bepaald door het
bepalen van de afstand tot het centrum
van deze clusters en vervolgens deze afstanden te sommeren. Het
K-means algoritme zal de centra
iteratief gaan wijzigen en de som van deze afstanden zo klein
mogelijk maken. De segmentatie
bekomt men door tenslotte elke pixel toe te kennen aan het
dichtst bijliggende clustercentrum.
(Morse, 2000).
3.2.4 Beeldfenotyperingsanalyse Na het hele fenotyperingsproces
ontstaat er een grote hoeveelheid aan data, die vlot verwerkt
en
geanalyseerd moet worden. In vele gevallen zullen de
gesegmenteerde afbeeldingen nog objecten of
onregelmatigheden bevatten die niet bij het gesegmenteerde
gedeelte horen. Dit kan bijvoorbeeld
mos zijn op de achtergrond dat als blad wordt beschouwd, of een
deel van een blad van een andere
plant die overlapt met het gesegmenteerde blad. Wanneer deze
laatste problemen opgelost worden,
door vaak opnieuw gebruik te maken van erosie technieken die bij
de filteringtechnieken
voorkwamen, kan men de uiteindelijke analyses uitvoeren. Tijdens
deze analyses kunnen parameters
a b c
-
28
zoals bladoppervlakte, hoeveelheid laesie, NDVI-index, FV/FM
ratio... bepaald worden. Een handig
hulpmiddel bij deze analyses voor high-throughput
plantfenotypering is Machine learning (Lee,
Chang, Putra, Kim, & Kim, 2018; Perez-Sanz, Navarro, &
Egea-Cortines, 2017).
-
29
4 Materiaal en methoden
4.1 Inleiding Het doel van de thesis is het ontwikkelen van een
software applicatie om afbeeldingen gemaakt door
de Pathoviewer op een efficiënte en vlotte manier te analyseren.
De nadruk wordt gelegd op het
herkennen van leasis in bladschijfjes die in een multi-wellplaat
liggen. Laesie is schade of een
afwijkende structuur aan het weefsel van een organisme. Deze
aantasting kan het gevolg zijn van
fysiologische stress, verwonding of ziekte (Walbot, Hoisington,
& Neuffer, 1983). In het eerste deel
van de proef, worden enkele fenotypische kenmerken handmatig
gemeten. Nadien zal dit proces
geautomatiseerd worden door analysescripts te schrijven in
Python en deze scripts te koppelen aan
een ‘graphical user interface’ (GUI).
4.2 Materiaal
4.2.1 Beeldverwerking met behulp van ImageJ Voor de handmatige
bepaling werd er gebruik gemaakt van ImageJ, een Java-gebaseerd
beeldprocessing programma dat toelaat om wetenschappelijke
multidimensionale afbeeldingen te
verwerken (LOCI, 2018). Met dit programma kan er handmatig een
schatting gemaakt worden van
totale bladoppervlakte, het aantal laesies en de percentuele
oppervlakte van de laesies (Figuur 21).
De afbeeldingen die afkomstig zijn van de Pathoviewer worden
opgeslagen als PNG-file, zodat deze
bewerkt kunnen worden in ImageJ. Dit beeldverwerkingsprogramma
geeft de mogelijkheid om een
bepaalde regio aan te duiden en hiervan de oppervlakte te
bereken. Deze oppervlakte wordt
uitgedrukt in aantal pixels. Met behulp van deze tool kan men zo
op een eenvoudige manier de
totale oppervlakte van een blad bepalen.
De oppervlakte van de laesie worden op analoge manier berekend.
Het verschil tussen de totale
oppervlakte en de oppervlakte laesie is gelijk aan de totale
gezonde oppervlakte van een gezond
blad. Het percentage laesie is bijgevolg de hoeveelheid
oppervlakte laesie gedeeld door het totale
blad oppervlak.