This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Παρατήρηση•Στο Σχήμα παρατηρούμε ότι οι ιδιοτιμές του ένός block diagonal κινήθηκαν προς τα κάτω και σαν εξισορρόπηση στην αντίδραση αυτήν,οι ιδιοτιμές του άλλου κινήθηκαν σε υψηλότερες τιμές..Αυτό μας κάνει να δείχνει ότι το σφάλμα ευστάθειας δεν έχει να κάνει με το κάθε block ξεχωριστά αλλά κατανέμεται εξίσου μεταξύ τους.Έτσι,μπορεί να υπολογίζεται τοπικά,αλλά το Δίκτυο βλέπει τη συνάρτηση Pp ενιαία.
Παραδείγματα Προσομοίωσης
•Ελεύθερη Μορφή και Γενική Ευστάθεια
Παράμετροι ΕκπαίδευσηςlrBDRNN=0.032
lrSFNN=0.00001
Αριθμός Block Diagonals=2
Epochsize=48
Epochs to Converge=7000
Παραδείγματα Προσομοίωσης
•Ελεύθερη Μορφή και Γενική Ευστάθεια
Παραδείγματα Προσομοίωσης
•Ελεύθερη Μορφή και Γενική Ευστάθεια
Παραδείγματα Προσομοίωσης
•Ελεύθερη Μορφή και Τοπική Ευστάθεια
Παράμετροι ΕκπαίδευσηςlrBDRNN=0.032
lrSFNN=0.00001
Αριθμός Block Diagonals=2
Epochsize=48
Epochs to Converge=7000
Παραδείγματα Προσομοίωσης
•Ελεύθερη Μορφή και Τοπική Ευστάθεια
Παραδείγματα Προσομοίωσης
•Ελεύθερη Μορφή και Τοπική Ευστάθεια
Παραδείγματα Προσομοίωσης
•Σύγκριση των Stabilizers
η απόδοσή τους είναι περίπου ίδια όσον αφορά τη σύγκλιση του αλγόρίθμου,αλλά είναι πολύ διαφορετική όσον αφορά τη σύγκλιση στην ευσταθή περιοχή.
•Καλύτερη ευστάθεια προσφέρει ο Ορθογώνιος,και μετά οι Ελεύθερης Μορφής τοπικός και γενικός αντίστοιχα..
Παραδείγματα Προσομοίωσης
•Ορθογώνιος Stabilizer
Παράμετροι ΕκπαίδευσηςlrBDRNN=0.032
lrSFNN=0.00001
Αριθμός Block Diagonals=2
Epochsize=48
Epochs to Converge=7000
Παραδείγματα Προσομοίωσης
•Ορθογώνιος Stabilizer
Παραδείγματα Προσομοίωσης
•Ορθογώνιος Stabilizer
Ποσοστό Αποθήκευσης 50% 20% 10% 3,30% 2%
Αριθμός Ασταθειών 11,17 15,36 19,67 22,12 24,68
Παραδείγματα Προσομοίωσης
•Ελεύθερη Μορφή και Γενική Ευστάθεια
Παράμετροι ΕκπαίδευσηςlrBDRNN=0.032
lrSFNN=0.00001
Αριθμός Block Diagonals=2
Epochsize=48
Epochs to Converge=7000
Παραδείγματα Προσομοίωσης
•Ελεύθερη Μορφή και Γενική Ευστάθεια
Παραδείγματα Προσομοίωσης
•Ελεύθερη Μορφή και Γενική Ευστάθεια
Παραδείγματα Προσομοίωσης
•Ελεύθερη Μορφή και Τοπική Ευστάθεια
Παράμετροι ΕκπαίδευσηςlrBDRNN=0.032
lrSFNN=0.00001
Αριθμός Block Diagonals=2
Epochsize=48
Epochs to Converge=7000
Παραδείγματα Προσομοίωσης
•Ελεύθερη Μορφή και Τοπική Ευστάθεια
Παραδείγματα Προσομοίωσης
•Ελεύθερη Μορφή και Τοπική Ευστάθεια
Παράδειγμα 3 : Διαφορική Εξίσωση MacKey - Glass
Παραδείγματα Προσομοίωσης
τ=30
Είσοδος :
Έξοδος :
Είσοδος στο FeedForward Δίκτυο :
8.0)( tx p
)30( tx p
)6( tx p
5,...,0),6( qqtx p
)(1.0)(1)(2.0)( 10 tx
txtxtx p
p
pp
Παραδείγματα Προσομοίωσης
•Ορθογώνιος Stabilizer , χωρίς παράλληλο FF
Παράμετροι ΕκπαίδευσηςlrBDRNN=0.128
lrSFNN=0.00005
Αριθμός Block Diagonals=2
Epochsize=100
Epochs to Converge=20000
Παραδείγματα Προσομοίωσης
•Ορθογώνιος Stabilizer , με παράλληλο FF
Παράμετροι ΕκπαίδευσηςlrBDRNN=0.128
lrSFNN=0.00005
Αριθμός Block Diagonals=2
Epochsize=100
Epochs to Converge=20000
Παραδείγματα Προσομοίωσης
•Ορθογώνιος Stabilizer με παράλληλο FF
Παραδείγματα Προσομοίωσης
•Ορθογώνιος Stabilizer με παράλληλο FF
•τα learning rates κρατήθηκαν αρκετά χαμηλά
•το BDRNN συνέκλινε πολύ γρήγορα και έτσι δεν επηρέασε την έπειτα προσπάθεια σταθεροποίησης των βαρών
Ποσοστό Αποθήκευσης 50% 20% 10% 3,30% 2%
Αριθμός Ασταθειών 8,32 9,06 12,11 14,7 16,16
Παραδείγματα Προσομοίωσης
•Ευστάθεια Ελεύθερης Μορφής , με Global Stabilizer
Παράμετροι ΕκπαίδευσηςlrBDRNN=0.128
lrSFNN=0.00005
Αριθμός Block Diagonals=2
Epochsize=100
Epochs to Converge=20000
Παραδείγματα Προσομοίωσης
•Ευστάθεια Ελεύθερης Μορφής , με Global Stabilizer
Παραδείγματα Προσομοίωσης
•Ευστάθεια Ελεύθερης Μορφής , με Global Stabilizer
Παραδείγματα Προσομοίωσης
•Ευστάθεια Ελεύθερης Μορφής , με Local Stabilizer
Παράμετροι ΕκπαίδευσηςlrBDRNN=0.128
lrSFNN=0.00005
Αριθμός Block Diagonals=2
Epochsize=100
Epochs to Converge=20000
Παραδείγματα Προσομοίωσης
•Ευστάθεια Ελεύθερης Μορφής , με Local Stabilizer
Παραδείγματα Προσομοίωσης
•Ευστάθεια Ελεύθερης Μορφής , με Local Stabilizer
Επίλογος - Συμπεράσματα
Ιδιαίτερα ο ορθογώνιος stabilizer και ο Free Form local stabilizer παρείχαν ικανοποιητική ευστάθεια στο δίκτυό μας.
Ο Free Form global stabilizer,λόγω της μεγαλύτερης ελευθερίας που παρέχει λειτούργησε λιγότερο αποτελεσματικά από τους άλλους δυο.
Επίλογος - Συμπεράσματα
Στα δίκτυα που εξομοιώσαμε χρησιμοποιήσαμε μικρό αριθμό νευρώνων,συνήθως δύο η τέσσερα blocks . Αντίθετα για την ευσταθή σύγκλιση των αντίστοιχων δομών με πλήρης πίνακα βαρών απαιτούνται πολλοί περισσότεροι νευρώνες.
Ο BPTT αλγόριθμος που παρουσιάστηκε στην παρούσα εργασία στηρίχθηκε στον υπολογισμό των gradients τοπικά,σε κάθε block diagonal.