1. Αποθετήριο Παραδοτέων Υποτρόφων Δράσεων ΕΣΠΑ Τριτοβάθμιας Εκπαίδευσης 2017-2023
2. Όλο το Αποθετήριο
3. Μεταδιδακτορικοί ερευνητές

Τύπος:	Κείμενο εργασίας
Τίτλος:	Combinatory semi-supervised deep learning models for decision making
Εναλλακτικός τίτλος:	Συνδυαστικά μοντέλα βαθιάς μάθησης με μερική επίβλεψη για λήψη αποφάσεων
Συγγραφέας:	[EL] Πρωτοπαπαδάκης, Ευτύχιος
Επιβλέπων διατριβής:	[EL] Δουλάμης, Αναστάσιος[EN] Doulamis, Anastasios
Συμβουλευτική επιτροπή:	[EL] Γεωργόπουλος, Ανδρέας[EN] Georgopoulos, Andreas [EL] Καράντζαλος, Κωνσταντίνος[EN] Karantzalos, Konstantinos
Ημερομηνία:	2019
Περίληψη:	Η παρούσα έρευνα αναζητά τρόπους ανάπτυξης μοντέλων λήψης αποφάσεων, που αξιοποιούν τα πλεονεκτήματα δύο περιοχών του ευρύτερου ερευνητικού τομέα της μηχανικής μάθησης: α) την βαθιά μάθηση (deep learning) και β) την μάθηση με μερική επίβλεψη (semi-supervised learning). Οι υφιστάμενες υλοποιήσεις αξιολογούν το κατά πόσο είναι δυνατό να μετριάσουμε τα όποια μειονεκτήματα των τεχνικών βαθιάς μάθησης, με την μικρότερη δυνατή προσπάθεια από την πλευρά του χρήστη, αξιοποιώντας μη τιτλοφορημένα δεδομένα (unlabeled data). Η βαθιά μάθηση στηρίζεται στην δημιουργία σύνθετων μοντέλων (πολλαπλά διατεταγμένα επίπεδα υπολογιστικών μονάδων) τα οποία εξάγουν αυτόματα περιγραφικά χαρακτηριστικά (feature values). Στην διεθνή βιβλιογραφία υπάρχει σημαντικός όγκος ερευνητικών εργασιών που επιβεβαιώνουν, πειραματικά, την καταλληλότητα των τεχνικών σε σύνθετα προβλήματα. Εντούτοις, εντοπίζονται δυο βασικά μειονεκτήματα αποτελούν. Αφενός, απαιτείται μεγάλος όγκος δεδομένων εκπαίδευσης και, αφετέρου, ο καθορισμός της τοπολογίας του δικτύου (layers’ structure) απαιτεί πολύ χρόνο και υπολογιστικούς πόρους και εξαρτάται από την εμπειρία των ερευνητών πάνω στον τομέα έρευνας. Η μάθηση με μερική επίβλεψη αξιοποιεί διαθέσιμη πληροφορία, που συναντάται σε μη τιτλοφορημένα δεδομένα (unlabeled data), και την ενσωματώνει ως επιπλέον ρυθμιστικούς όρους (regularizers) στις υφιστάμενες τεχνικές μάθησης (π.χ. SVMs). Οι ρυθμιστικοί όροι βελτιώνουν την απόδοση του μοντέλου, χωρίς να απαιτείται επιπλέον προσπάθεια από τον χρήστη για την δημιουργία μεγάλου όγκου δεδομένων εκπαίδευσης. Το βασικό μειονέκτημα έγκειται στο ότι κάθε τεχνική προϋποθέτει να ικανοποιούνται συγκεκριμένα κριτήρια/ υποθέσεις, σχετικές με τον χώρο των δεδομένων. Οι υλοποιήσεις που παρουσιάζονται στην έρευνα αφορούν: α) στην επιλογή περιορισμένου αριθμού αντιπροσωπευτικών δεδομένων εκπαίδευσης, β) στην τυπολογική βελτιστοποίηση νευρωνικών δικτύων με χρήση γενετικών αλγορίθμων με συναρτήσεις καταλληλότητας από το πεδίο της μάθησης με μερική επίβλεψη, και γ) στην ενημέρωση των συναπτικών βαρών του δικτύου χρησιμοποιώντας και τα μη τιτλοφορημένα δεδομένα. Οι περιπτώσεις α και γ αντιμετωπίζουν το πρόβλημα του περιορισμένου όγκου δεδομένων εκπαίδευσης ενώ η περίπτωση β αφορά στον καθορισμό της τοπολογίας. Η τελευταία ενότητα αναλύει πως οι συγκεκριμένες τεχνικές μπορούν να αξιοποιηθούν στο πεδίο ενασχόλησης των αγρονόμων και τοπογράφων μηχανικών. Το συγκεκριμένο παράδειγμα επικεντρώνεται στον εντοπισμό κτισμάτων από αεροφωτογραφίες. Η ιδέα έγκειται στην εκπαίδευση ενός συνθέτου μοντέλου (deep neural network) αξιοποιώντας ένα εξαιρετικά περιορισμένο σύνολο δεδομένων, τα οποία συγκεντρωθήκαν μέσω πληθοπορισμού (crowdsourcing). Τα πειραματικά αποτελέσματα καταδεικνύουν την καταλληλότητα των προτεινόμενων τεχνικών. This postdoctoral research emphasized on the creation of decision support systems, in a way that both the advantages of deep and semi supervised learning are used. All the employed techniques evaluate the possibilities of using deep learning approaches, in a way that the effort from user’s side is minimal; this is achieved by utilizing unlabeled data instances, through SSL approaches. On the one hand, deep learning (DL) core is the creation of complex models, e.g. multiple hierarchical computational layers, capable to extract high level (descriptive) features, depending on the application scenario. Multiple research papers provide experimental results, suggesting the DL techniques superiority over traditional approaches. Nevertheless, two major drawbacks are reported: a) the requirement of many labeled data, which will be used for training and b) hyperparameter setup, e.g. network’s topology. On the other hand, SSL models build on the information provided by unlabeled data entries, which is encoded in the form of regularizes, i.e. additional terms in the loss function of the existing approach, e.g. SVM. That way any effort on labeling the data (i.e. creating data set) is kept low. The main drawback is the assumptions required, for the creation of the regularizing terms. Taking under consideration all the above, the combination of DL with SSL appears to be an intuitive next-step approach. We could establish models capable to handle complex patterns and at the same time reducing any efforts on the preparation of training sets and enhancing outcomes robustness. In the following chapters you may find research implementations involving: a) representative sample selection, for the creation of the training data set, b)setting up the topology of neural networks through multi-objective optimization algorithms and semi-supervised fitness functions, and c) fine-tuning of the synaptic weights using SSL inspired performance functions. The last chapter demonstrates how such combinatory approaches can improve the accuracy and reduce required effort, while developing models for building detection. The case study focuses on the combination of data, e.g. aerial images combined with the corresponding Dense Image Matching point clouds. Data are feed to a semi-supervised trained network scheme. The main contribution lies in the incorporation of all available data, during all steps of the training process, regardless their initial status (i.e. labeled or unlabeled). Annotations became available using crowdsourcing, on a limited amount of data.
Γλώσσα:	Ελληνικά; Αγγλικά
Τόπος δημοσίευσης:	Αθήνα, Ελλάδα
Σελίδες:	56
Θεματική κατηγορία:	[EL] Άλλες Επιστήμες Μηχανικού και Τεχνολογίες[EN] Other Engineering and Technologies
Λέξεις-κλειδιά:	semi-supervised learning; deep learning; remote sensing
Κάτοχος πνευματικών δικαιωμάτων:	Eftychios Protopapadakis
Σημειώσεις:	This research is co-financed by Greece and the European Union (European Social Fund- ESF) through the Operational Programme «Human Resources Development, Education and Lifelong Learning» in the context of the project “Reinforcement of Postdoctoral Researchers” (MIS5001552), implemented by the State Scholarships Foundation (ΙΚΥ).
Εμφανίζεται στις συλλογές:	Μεταδιδακτορικοί ερευνητές