Semi-supervised information extraction in semantical vector space - Jelena Milovanovic

Ugradjivanje reči i fraza u vektorske prostore i polu-nadgledano otkrivanje

semantičkih sličnosti

Jelena Milovanović , asistent u istraživanju

Istraživačko razvojni institut NIRI

cat

dog

PregledPregled

● Uvod● Detekcija fraza● Ugradjivanje reči i fraza u vektorske prostore● Obrada podataka● Zaključak

● Osvežavanje ontologije poslovnih veština

Uvod: Uvod: PrimenaPrimena


● presentional_skills● comunication_skills



● presentional_skills● comunication_skills● inter_personal_skills● influencing_skills● organisational_skills● problem_solving_skills● analitical_skills


Uvod: Metod polu-nadgledanog Uvod: Metod polu-nadgledanog dobijanja informacijadobijanja informacija

Pedloženi metod sastoji se iz dva osnovna koraka i koristi:

● Grupu modela poznatu pod skraćenicom Word2Vec za ugrađivanje reči i fraza u vektorske prostore

● Hijerarhijsko aglomerativno klasterovanje za dobijanje informacija

● Jedan-od reprezentacija reči (One-hot)

House [0 0 0...0 1 0...0 0 0 0 0 0 0 0 0 ]

Cottage [0 1 0...0 0 0...0 0 0 0 0 0 0 0 0 ]

Moon [0 0 0...0 0 0...0 0 0 0 0 0 0 0 1 ]

Vektorska reprezentacija reči Vektorska reprezentacija reči

● Jedan-od reprezentacija reči (One-hot)

House [0 0 0...0 1 0...0 0 0 0 0 0 0 0 0 ]

Cottage [0 1 0...0 0 0...0 0 0 0 0 0 0 0 0 ]

Moon [0 0 0...0 0 0...0 0 0 0 0 0 0 0 1 ]


I live in the house I live in the ?



Word2Vec modeli Word2Vec modeli Distribuirana reprezentacija rečiDistribuirana reprezentacija reči

Cottage [0,34 1,43 -6,8...0.5 ]

House [0,38 1,52 -6,8...0.5 ]

Music[7,45 4,78... -8,7 4,5 ]

Cottage

DOG

Moon

Sun

House

Distributivna hipoteza:

Reči i fraze koje se javljaju u istim kontekstima teže da imaju isto značenje

Fert, 1957

Word2Vec modeliWord2Vec modeli: : Distributivna hipotezaDistributivna hipoteza

Word2Vec modeliWord2Vec modeli: : Distributivna hipotezaDistributivna hipoteza

I have built a house for my family.

I have built a cottage for my family.

It takes the Moon 28 days to make a complete orbit of the Earth

Word2Vec modeliWord2Vec modeli: : Relacije izmedju vektoraRelacije izmedju vektora




2D projekcija 1000-dimenzionih vektora dobijena metodom glavnih komponenti (eng.

Principal Component analysis)


vec(''king'') - vec(''man'') + vec(''woman'') = vec(''queen'')


vec(''king'') - vec(''man'') = vec(''queen'') - vec(''woman'')

athens : greece

= baghdad :

?

bulgaria : lev

= sweden : ?

boy : girl

= brother : ?

amazing : amazingly

= apparent : ?

acceptable

: unacceptable

= aware : ?

bad : worse

= big : ?


Word2Vec modeliWord2Vec modeli: : Relacije izmedju prostoraRelacije izmedju prostora

Word2Vec modeliWord2Vec modeli: : Relacije izmedju prostoraRelacije izmedju prostora

Word2Vec modeliWord2Vec modeli: : KorpusKorpus

● Nenadgledano učenje

● Za treniranje se koriste tekstualni dokumenti koji se sastoji od reči i fraza

● Radi sa velikim korpusima

● Vektori semantički sličnih reči nalaze se u blizini

● Dobijeni vektorski prostor sadrži sintaksne i semantičke relacije koje su uslovljene relativnim položajem vektora

Word2Vec modeliWord2Vec modeli: : KarakteristikeKarakteristike

Uvod: Uvod: Obrada podataka Obrada podataka

● Polu-nadgledano dobijanje informacija

● Upit se sastoji od poznatih termina koje nazivamo semenima

● Cilj: Izdvajanje termina koji imaju slično semantičko značenje kao i semena

Uvod: Uvod: Obrada podataka Obrada podataka

● Korišćen algoritam hijerarhijskog aglomerativnog klasterovanja

● Reči i fraze predstavljene listovima

● Odsecanje stabla u u čvoru koji je semenima najbliži zajednički predak

● Dobijeni klasteri pored semena sadrže reči i fraze semantički slične semenima

OOdsecanje stabla u čvoru koji je najbliži dsecanje stabla u čvoru koji je najbliži zajednički predak semenimazajednički predak semenimaOOdsecanje stabla u čvoru koji je najbliži dsecanje stabla u čvoru koji je najbliži zajednički predak semenimazajednički predak semenima

OOdsecanje stabla u čvoru koji je najbliži dsecanje stabla u čvoru koji je najbliži zajednički predak semenimazajednički predak semenima


● Luxemburg● Estonia● Sloavakia● Croatia● Latvia● Lithuania● Slovenia● Belgium● Denmark● Netherlands● Switzerland


Proces dobijanja Proces dobijanja informacijainformacija

1. Prikupljanje dokumentata2. Procesiranje korpusa (izbacivanje znakova interpunkcije)

3. Detekcija fraza4. Treniranje Word2Vec modela5. Aglomerativno hijerarhijsko klasterovanje dobijenih vektora

6. Odsecanje stabla pomoću semena i dobijanje podataka

Detekcija frazaDetekcija fraza

● Kao mera povezanosti reči koristi se uzajamno pojavljivanje tačaka (eng. Pointwise Mutual Pointwise Mutual InformationInformation)

● PMI je jedinica povezanosti dva događaja i dobija se







● Dužina fraza uslovljena je brojem iteracija


● working_class● french_revolution● should_be● google_maps● adobe_photoshop● classical_guitar● kennedy_space_center● artificial_intelligence_laboratory● american_central_intelligence_agency● british_prime_minister_winston_churchill

Word2Vec modeliWord2Vec modeli

● Model Kontinualne grupe reči (eng. Continuous bag of words - CBOW)

● Model preskakanja reči (eng. Skip-gram)

Word2Vec modeliWord2Vec modeli

Word2Vec modeli : CBOW modelWord2Vec modeli : CBOW model

● Model kontinualne grupe (vreće) reči● Opisuje kako neuronska mreža uči vektorske reprezentacije reči

Word2Vec modeli : CBOW modelWord2Vec modeli : CBOW modelKontekst dužine 1Kontekst dužine 1




● Linearna aktivaciona funkcija skrivenog sloja

● Softmax sloj izlaznih neurona





Word2Vec modeli : CBOW modelWord2Vec modeli : CBOW modelKriterijumska funkcijaKriterijumska funkcija

Word2Vec modeli : Word2Vec modeli : Stohastički gradijentni spustStohastički gradijentni spust


Tehnika propagiranja greške Tehnika propagiranja greške u nazadu nazad

wki w'ki

Tehnika propagiranja greške Tehnika propagiranja greške unazadunazad





v

v'V

Word2Vec modeli : CBOW modelWord2Vec modeli : CBOW model

Word2Vec modeli : Skip-gramWord2Vec modeli : Skip-gram



Word2Vec modeli : OptimizacijaWord2Vec modeli : Optimizacija

● Hijerarhijski sloj izlaznih neurona (eng. Hierarchical softmax)

● Uzimanje negativnih uzoraka (eng. Negative Sampling)

● Koristi se hijerarhijski sloj umesto softmax sloja

● Reči se predstavljaju binarnim stablom gde je broj listova jednak dužini rečnika

● Svaka reč predstavljna je jednim listom

● Verovatnoća pojavljivanja reči u datom kontekstu računa se na osnovu puta od korena do lista kojim je predstavljena

Word2Vec modeli: Word2Vec modeli: Hierarchical softmaxHierarchical softmax


p (chair | contekst) =


p (chair | contekst) = p ( skretanje levo u čvoru 1)


p (chair | contekst) = p ( skretanje levo u čvoru 1) * p ( skretanje levo u čvoru 2)


p (chair | contekst) = p ( skretanje levo u čvoru 1) * p (skretanja levo u čvoru 2) * * p (skretanja desno u čvoru 4)


● Izlazni sloj je sloj sigmoidalnih neurona koji odgovaraju unutrašnjim čvorovima stabla


● Izlazni sloj je sloj sigmoidalnih neurona koji odgovaraju unutrašnjim čvorovima stabla


● Izlaz iz j-tog neurona je verovatnoća grananja u levo u tom čvoru


● P(w) skup čvorova na putu od korena do lista

● Verovatnoća grananja u pravcu reči u čvoru j

● Ako se put grana u levo jednaka (izlaz iz j-tog

nerona) u suprotnom


●

●


● P(w) skup čvorova na putu od korena do lista

● Verovatnoća grananja u pravcu reči u čvoru j

● Ako se put grana u levo jednaka (izlaz iz j-tog

nerona) u suprotnom


●

●

Word2Vec modeli: Word2Vec modeli: Hierarchical softmaxHierarchical softmaxWord2Vec modeli: Word2Vec modeli: Hierarchical softmaxHierarchical softmax

Word2Vec modeli: Word2Vec modeli: Hierarchical softmaxHierarchical softmaxWord2Vec modeli: Word2Vec modeli: Hierarchical softmaxHierarchical softmax

● Najbolji rezultati se postižu kada se reči predstavljaju Huffman-ovim stablom

Word2Vec modeli: Word2Vec modeli: Negative samplingNegative sampling

● Ne moraju da se koriste neuronske mreže

● Problem estimacije verovatnoća posmatra se kao klasifikacioni i rešava uz pomoć Logističke regresije

Word2Vec modeli: Word2Vec modeli: Negative samplingNegative sampling

● D – skup pozitivnih primera(svih parova (reč,kontekst) koji su se javili u korpusu)

● D' – skup negativnih primera(svih parova (reč,kontekst) koji se nisu javili u korpusu)

● Cilj da dobijemo klasifikator koji dodeljuje labelu Z = 1 (par pripada skupu D) ili Z = 0 (ne pripada skupu D)

●

●

Word2Vec modeli: Word2Vec modeli: Negative sampling Negative sampling & CBOW& CBOW

●

● ( , ) - trening primer

● - skup negativnih primera generisanih na ●

osnovu raspodele P(w) =

| | | = k ( 2 < k < 5 V 15 < k < 20)

Word2Vec modeli: Word2Vec modeli: Negative sampling Negative sampling & CBOW& CBOW

Testovi analogijskog povezivanja

germany

: berlin

= france : paris

Word2Vec modeli: Word2Vec modeli: Merenje kvalitetaMerenje kvalitetavektoravektora


germany

: berlin

= france : paris

germany

: berlin

= france : ?



vec(paris) - vec (france) ≈ vec (germany) – vec (berlin)

germany

: berlin

= france : paris

germany

: berlin

= france : ?



germany

: berlin

= france : paris

germany

: berlin

= france : x

vec(paris) - vec (france) ≈ vec (germany) – vec (berlin) vec(x) ≈ vec (germany) – vec (berlin) + vec (france)



germany

: berlin

= france : paris

germany

: berlin

= france : x

vec(paris) - vec (france) ≈ vec (germany) – vec (berlin) vec(x) ≈ vec (germany) – vec (berlin) + vec (france)

x = paris ✔


Word2Vec modeli: TestiranjeWord2Vec modeli: Testiranje

● 5 tipova semantičkih relacija● 9 tipova sintaksičkih relacija● 8869 semantičkih pitanja● 10 675 sintaksičkih pitanja

Word2Vec modeli: TestiranjeWord2Vec modeli: Testiranje

Word2Vec modeli: Word2Vec modeli: Mere sličnostiMere sličnosti

a : b

= a* : b*

vec(b*) ≈ vec(a) – vec(b) + vec(a*)


a : b

= a* : b*

vec(b*) ≈ vec(a) – vec(b) + vec(a*)


log log log


log log log

london : england

= baghdad :

?

cos similarity : mosulcos mul : iraq

Word2Vec modeli: Word2Vec modeli: NedostaciNedostaci

● Dvosmislenost

● Korpus je niz tokena

Obrada podatakaObrada podataka

● Hijerarhijsko aglomerativno klasterovanje



● Problem:



● Problem: Složenost izračunavanja i memorijskih zahteva



● Problem:Složenost izračunavanja i memorijskih zahteva

● Ne može se koristiti standardni algoritam za klasterovanje rečnika koji sadrže više od 30 000 reči

Obrada podataka: Obrada podataka: Hibridni algoritamHibridni algoritam

● Hibridni algoritam


● Hibridni algoritam

Kombinuje:

A) Metod sredjih vrednosti (eng. K-means)

B) Hijerarhijsko aglomerativno klasterovanje








Dobijanje informacijaDobijanje informacija

● Iz stabla se podaci dobijaju polu-nadgledano● Sečenje stabla u najbližem zajedničkom pretku● Dobijaju se klasteri koji sadrže semena i njima semantički

slične termine

ZaključakZaključak

● Metod se može koristiti za izdvajanje sličnih termina● Za izdvajanje isith termina neophodna je kontrola od

strane korisnika


● C++● Java● Perl● Cobol● Assembler● Pascal● Visual Basic


● C++● Java● Perl● Cobol● Assembler● Pascal● Visual Basic● Visual c++● Eclipse● Programming language

Zaključak: Zaključak: Vektorski prostori Vektorski prostori

● Korišćenjem različitih mera za upoređivanje vektora otkrivaju se različite sličnosti između reči

● Za otkrivanje semantičkih sličnosti potrebno je detaljno istražitivanje prostora pa čak i unapređenje prostora i prilagođavanje konkretnom zahtevu korisnika

HVALA NA PAŽNJI!

Semi-supervised information extraction in semantical vector space - Jelena Milovanovic

Data & Analytics