Παρακαλώ χρησιμοποιήστε αυτό το αναγνωριστικό για να παραπέμψετε ή να δημιουργήσετε σύνδεσμο προς αυτό το τεκμήριο:
https://hdl.handle.net/123456789/1719| Τύπος: | Ανακοίνωση σε συνέδριο; Πρακτικά συνεδρίου |
| Τίτλος: | Efficient online subclass knowledge distillation for image classification |
| Συγγραφέας: | [EL] Τζελέπη, Μαρία[EN] Tzelepi, Maria [EL] Πασσαλής, Νικόλαος[EN] Passalis, Nikolaos [EL] Τέφας, Αναστάσιος[EN] Tefas, Anastasios |
| Ημερομηνία: | 05/05/2021 |
| Περίληψη: | Deploying state-of-the-art deep learning models on embedded systems dictates certain storage and computation limitations. During the recent few years Knowledge Distillation (KD) has been recognized as a prominent approach to address this issue. That is, KD has been effectively proposed for training fast and compact deep learning models by transferring knowledge from more complex and powerful models. However, knowledge distillation, in its conventional form, involves multiple stages of training, rendering it a computationally and memory demanding procedure. In this paper, a novel single-stage self knowledge distillation method is proposed, namely Online Subclass Knowledge Distillation (OSKD), that aims at revealing the similarities inside classes, so as to improve the performance of any deep neural model in an online manner. Hence, as opposed to existing online distillation methods, we are able to acquire further knowledge from the model itself, without building multiple identical models or using multiple models to teach each other, rendering the proposed OSKD approach more efficient. The experimental evaluation on two datasets validates that the proposed method improves the classification performance. |
| Γλώσσα: | Αγγλικά |
| Τόπος δημοσίευσης: | Milan, Italy |
| Σελίδες: | 8 |
| DOI: | 10.1109/ICPR48806.2021.9411995 |
| ISBN: | 978-1-7281-8808-9 |
| ISSN: | 1051-4651 |
| Θεματική κατηγορία: | [EL] Τεχνητή νοημοσύνη[EN] Artificial Intelligence |
| Λέξεις-κλειδιά: | Lighweight Deep Learning; Knowledge Distillation |
| Κάτοχος πνευματικών δικαιωμάτων: | ©2020 IEEE |
| Διατίθεται ανοιχτά στην τοποθεσία: | https://cidl.csd.auth.gr/resources/conference_pdfs//Efficient%20Online%20Subclass%20Knowledge%20Distillation%20for%20Image%20Classification.pdf |
| Ηλεκτρονική διεύθυνση του τεκμηρίου στον εκδότη: | https://ieeexplore.ieee.org/document/9411995 |
| Ηλεκτρονική διεύθυνση περιοδικού: | https://ieeexplore.ieee.org/xpl/conhome/9411940/proceeding |
| Τίτλος πηγής δημοσίευσης: | 2020 25th International Conference on Pattern Recognition (ICPR) Proceedings |
| Τεύχος: | - |
| Σελίδες τεκμηρίου (στην πηγή): | 1007-1014 |
| Όνομα εκδήλωσης: | 2020 25th International Conference on Pattern Recognition (ICPR) |
| Τοποθεσία εκδήλωσης: | Milan, Italy |
| Ημ/νία έναρξης εκδήλωσης: | 10/01/2021 |
| Ημ/νία λήξης εκδήλωσης: | 15/01/2021 |
| Σημειώσεις: | This research is co-financed by Greece and the European Union (European Social Fund - ESF) through the Operational Programme “Human Resources Development, Education and Lifelong Learning 2014-2020” in the context of the project “Lighweight Deep Learning Models for Signal and Information Analysis” (MIS 5047925). |
| Εμφανίζεται στις συλλογές: | Ερευνητικές ομάδες |
Αρχεία σε αυτό το τεκμήριο:
| Αρχείο | Περιγραφή | Σελίδες | Μέγεθος | Μορφότυπος | Έκδοση | Άδεια | |
|---|---|---|---|---|---|---|---|
| Efficient Online Subclass Knowledge Distillation for Image Classification.pdf | Authors version | 8 σελίδες | 2.36 MB | Adobe PDF | Του συγγραφέα (post-refereeing) |  | Δείτε/ανοίξτε |