DenseNet και Dense Connectivity

This dense connectivity sharpens gradient flow, encourages feature reuse, and reaches strong accuracy with far fewer parameters than comparable deep networks.

Το DenseNet, που εισήχθη από τους Huang, Liu, van der Maaten και Weinberger το 2017, συνδέει κάθε στρώμα με κάθε άλλο στρώμα με τρόπο feed-forward. Ένα επίπεδο με L συνολικά επίπεδα έχει L(L+1)/2 άμεσες συνδέσεις αντί για το συνηθισμένο L. Το DenseNet συνενώνει τους εισερχόμενους χάρτες χαρακτηριστικών αντί να τους αθροίζει όπως κάνει το ResNet, επομένως κάθε επίπεδο βλέπει τη συλλογική γνώση όλων των προηγούμενων επιπέδων και συνεισφέρει μόνο έναν μικρό αριθμό νέων χαρτών (ο ρυθμός ανάπτυξής του, συχνά k=12 ή 32). Το δίκτυο χωρίζεται σε πυκνά μπλοκ που χωρίζονται από στρώματα μετάβασης που κάνουν κάτω από τη δειγματοληψία. Αυτός ο σχεδιασμός διευκολύνει το πρόβλημα της διαβάθμισης εξαφάνισης, ενισχύει τη διάδοση των χαρακτηριστικών και είναι εξαιρετικά αποδοτικός ως προς τις παραμέτρους: Το DenseNet-BC αντιστοίχισε την ακρίβεια ResNet στο ImageNet με περίπου το ένα τρίτο των παραμέτρων.