Πληροφορίες

Τι είναι ένα παράδειγμα μηχανής εκμάθησης που επιτυγχάνει μηδενική διακύμανση;

Τι είναι ένα παράδειγμα μηχανής εκμάθησης που επιτυγχάνει μηδενική διακύμανση;

Προσπαθώ να βρω ένα παράδειγμα μηχανής μάθησης/νευρωνικού δικτύου που επιτυγχάνει μηδενική διακύμανση, αλλά δυσκολεύομαι να βρω ένα παράδειγμα οπουδήποτε.

Διαφορά ορίζεται ως το σφάλμα γενίκευσης για ένα νευρωνικό δίκτυο ή με άλλα λόγια η διαφορά μεταξύ της μαθησιακής λειτουργίας που προέρχεται από ένα συγκεκριμένο δείγμα και της συνάρτησης που προέρχεται από όλα τα δείγματα εκπαίδευσης.

Γνωρίζει κανείς ένα παράδειγμα που μπορεί να μοιραστεί; Οποιαδήποτε βοήθεια θα εκτιμηθεί ιδιαίτερα.


Πρώτον, ένας ορισμός, ο οποίος είναι βασικά αυτό που είπατε, αλλά αναφέρεται σε στοιχεία στον τομέα της συνάρτησης: "Ένας αλγόριθμος εκμάθησης έχει μεγάλη διακύμανση για μια συγκεκριμένη είσοδο x εάν προβλέπει διαφορετικές τιμές εξόδου όταν εκπαιδεύεται σε διαφορετικά σύνολα εκπαίδευσης." Έτσι, για να έχει μηδενική διακύμανση, το μηχάνημα/NN πρέπει να εξάγει την ίδια ακριβώς τιμή για το x στα σύνολα προπόνησης. Ο μόνος τρόπος για να επιτύχετε μηδενική διακύμανση σε σχέση με όλα τα πιθανά x είναι εάν έχετε μια σταθερή (μη εκμάθηση) μηχανή/NN (γιατί τότε θα διατηρήσει ασήμαντα την απόδοση/τη λειτουργία της) ή εάν έχετε δείγματα εκπαίδευσης τέλεια δειγματοληψία από το ίδια (υπολογίσιμη στο μηχάνημά σας/NN!) λειτουργία χωρίς θόρυβο. Ένα παράδειγμα τέτοιων δεδομένων εκπαίδευσης θα ήταν δείγματα που αποτελούνται από στοιχεία (x, y) όλα δείγματα από την ίδια γραμμική συνάρτηση. Ωστόσο, στις περισσότερες εφαρμογές του πραγματικού κόσμου αυτό δεν θα ισχύει. Επιπλέον, δεν είναι απαραίτητα σκόπιμο να ελαχιστοποιήσετε τη διακύμανση επειδή θα γενικεύσετε υπερβολικά (αναλάβετε μια συνάρτηση για την υποκείμενη κατανομή που είναι πολύ απλή).

Πηγή:

S. Geman, E. Bienenstock, and R. Doursat (1992). Νευρωνικά δίκτυα και το δίλημμα μεροληψίας/διακύμανσης. Νευρωνικός Υπολογισμός 4, 1-58.