Ομόσπονδη μάθηση: πώς το τηλέφωνό σας εκπαιδεύει την ΤΝ χωρίς να συλλέγει προσωπικά δεδομένα

Μεταφορά του έξυπνου προγράμματος στη συσκευή σας αντί για αποστολή των αρχείων σε απομακρυσμένους διακομιστές (υπολογιστικό νέφος ή cloud)

Κατά την πρώτη δεκαετία της τεχνητής νοημοσύνης για το ευρύ κοινό, η βελτίωση ενός αλγορίθμου απαιτούσε μαζική, συγκεντρωτική συγκομιδή δεδομένων. Εάν μια τεχνολογική εταιρεία ήθελε το πληκτρολόγιο ενός κινητού να προβλέπει την επόμενη λέξη που σκοπεύατε να πληκτρολογήσετε, ή εάν ένας οργανισμός υγείας χρειαζόταν λογισμικό για τον εντοπισμό σπάνιων όγκων σε ιατρικές εξετάσεις, εκατομμύρια ιδιωτικά αρχεία χρηστών έπρεπε να μεταφορτωθούν σε γιγάντια εταιρικά κέντρα δεδομένων. Μόλις συγκεντρώνονταν σε αυτούς τους κεντρικούς διακομιστές, οι μηχανικοί συνένωναν τα προσωπικά μηνύματα, τις αναζητήσεις και τις φωτογραφίες για να εκπαιδεύσουν τα ψηφιακά υπολογιστικά τους συστήματα (γνωστά ως νευρωνικά δίκτυα) μέσω εκτεταμένης επεξεργασίας.

Παρότι η συγκεντρωτική εκπαίδευση παρήγαγε εξαιρετικά ικανό λογισμικό, δημιούργησε σοβαρές συστημικές ευπάθειες. Η συγκέντρωση προσωπικών μηνυμάτων, οικονομικών συνηθειών και διαγνωστικών φακέλων σε μονολιθικές βάσεις δεδομένων τα μετέτρεψε σε ελκυστικούς στόχους για υποκλοπές, εσωτερικές διαρροές και μαζική επιτήρηση. Επιπλέον, αυστηροί κανονισμοί προστασίας προσωπικών δεδομένων, όπως ο Γενικός Κανονισμός για την Προστασία Δεδομένων (GDPR) στην Ευρώπη και οι διατάξεις ιατρικού απορρήτου, κατέστησαν νομικά και ηθικά επισφαλή τη μεταφορά ευαίσθητων αρχείων πολιτών εκτός συνόρων.

Η ομόσπονδη μάθηση, που παρουσιάστηκε από ερευνητές μηχανικούς το 2016, ανατρέπει πλήρως αυτή την αρχιτεκτονική. Αντί να μεταφέρει όλα τα ακατέργαστα ιδιωτικά δεδομένα του κόσμου σε έναν κεντρικό υπολογιστή, στέλνει τον υπολογιστικό κώδικα εκεί όπου τα δεδομένα ήδη κατοικούν. Το προσωπικό σας κινητό τηλέφωνο, ένας φορητός υπολογιστής γραφείου ή ένας ασφαλής σταθμός εργασίας νοσοκομείου εκπαιδεύει το μοντέλο τοπικά, χρησιμοποιώντας αρχεία που δεν εγκαταλείπουν ποτέ τη συσκευή.

Πώς η συλλογική βελτίωση (ομόσπονδη συνάθροιση) συντονίζει τη γνώση σε εκατομμύρια συσκευές

Ο τεχνικός μηχανισμός της ομόσπονδης μάθησης ακολουθεί έναν προσεκτικά οργανωμένο κύκλο τοπικής βελτιστοποίησης και μαθηματικής συγκέντρωσης:

• Διανομή του γενικού μοντέλου: Ένας κεντρικός διακομιστής συντονισμού μεταδίδει ένα αντίγραφο των εσωτερικών ρυθμίσεων και συνδέσεων του συστήματος (τεχνικά γνωστών ως βάρη του νευρωνικού δικτύου) σε μια επιλέξιμη ομάδα συμμετεχουσών συσκευών, οι οποίες βρίσκονται συνδεδεμένες στον φορτιστή, σε κατάσταση αδράνειας και συνδεδεμένες σε ασύρματο δίκτυο Wi-Fi.
• Τοπική εκπαίδευση στη συσκευή: Το έξυπνο τηλέφωνο ή ο τοπικός διακομιστής εκτελεί μερικούς κύκλους εκπαίδευσης χρησιμοποιώντας τα δικά του δεδομένα, όπως πρόσφατες διορθώσεις πληκτρολόγησης, υπολογίζοντας μικρές μαθηματικές διορθώσεις για τη βελτίωση της ακρίβειας (που ονομάζονται κλίσεις παραμέτρων ή gradients).
• Προστασία με μαθηματικό θόρυβο (διαφορική ιδιωτικότητα): Προτού μεταδώσει οποιοδήποτε στοιχείο, η συσκευή προσθέτει ελεγχόμενο μαθηματικό θόρυβο στις ενημερώσεις των παραμέτρων (τεχνική γνωστή ως διαφορική ιδιωτικότητα ή differential privacy), διασφαλίζοντας ότι μεμονωμένες φράσεις ή ευαίσθητα δεδομένα δεν μπορούν να ανακτηθούν μέσω αντίστροφης ανάλυσης (αντίστροφη μηχανική).
• Κρυπτογραφημένη συγκέντρωση: Ο κεντρικός συντονιστής συλλέγει τις μαθηματικές κλίσεις από δεκάδες χιλιάδες συσκευές ταυτόχρονα, εκτελώντας έναν αλγόριθμο συλλογικού υπολογισμού μέσου όρου (που ονομάζεται Federated Averaging ή ομόσπονδη συνάθροιση) για να συγχωνεύσει τις προσαρμογές σε ένα νέο κεντρικό μοντέλο.

Αναλογιστείτε την απτή αντίθεση ανάμεσα στην παραδοσιακή συγκεντρωτική πρόβλεψη πληκτρολογίου και στη σύγχρονη ομόσπονδη μάθηση. Σε μια παλαιότερη εγκατάσταση στο υπολογιστικό νέφος (cloud), κάθε μήνυμα που γράφατε σε έναν γιατρό, στον σύντροφό σας ή στον λογιστή σας ταξίδευε μέσω διαδικτύου στους εταιρικούς διακομιστές καταγραφής, δημιουργώντας μόνιμο κίνδυνο υποκλοπής. Με την ομόσπονδη μάθηση, το τηλέφωνό σας παρατηρεί ότι πληκτρολογείτε συχνά μια τοπική έκφραση ή ένα οικογενειακό χαϊδευτικό, αναβαθμίζει τις τοπικές ρυθμίσεις πρόβλεψης και στέλνει μόνο μια κρυπτογραφημένη λίστα δεκαδικών αριθμών (τεχνικά γνωστή ως διάνυσμα) που ουσιαστικά δηλώνει: 'προσάρμοσε τις ρυθμίσεις πρόβλεψης για αυτή τη γενική γραμματική σύνδεση κατά 0,003%'. Ο διαχειριστής του κεντρικού συστήματος δεν βλέπει ποτέ αν γράψατε ένα ερωτικό γράμμα ή μια λίστα για το σούπερ μάρκετ.

Τεχνικοί περιορισμοί, κατανάλωση εύρους ζώνης και όρια ιδιωτικότητας

Η ομόσπονδη μάθηση αποτελεί μεγάλο άλμα για την ιδιωτικότητα, αλλά δεν αποτελεί απόλυτη πανάκεια. Οι ειδικοί της τεχνητής νοημοσύνης (μηχανικοί μηχανικής μάθησης) αντιμετωπίζουν συγκεκριμένους τεχνικούς συμβιβασμούς και προκλήσεις ασφαλείας:

• Υπολογιστικό και θερμικό φορτίο: Η εκπαίδευση μοντέλων απαιτεί σημαντική επεξεργαστική ισχύ και παράγει θερμότητα, γι' αυτό τα εμπορικά συστήματα περιορίζουν τους κύκλους εκπαίδευσης κατά τη διάρκεια της νυχτερινής φόρτισης.
• Κίνδυνοι διαρροής μέσω κλίσεων: Ερευνητές ασφαλείας έχουν δείξει ότι, χωρίς ισχυρή προστασία με μαθηματικό θόρυβο (διαφορική ιδιωτικότητα) και ασφαλή υπολογισμό πολλαπλών μερών (multi-party computation), εξειδικευμένοι επιτιθέμενοι θα μπορούσαν θεωρητικά να επιχειρήσουν επιθέσεις ανακατασκευής δεδομένων από τις ακατέργαστες μαθηματικές διορθώσεις (κλίσεις).
• Ανομοιομορφία στην κατανομή δεδομένων: Επειδή οι άνθρωποι γράφουν και επικοινωνούν με πολύ διαφορετικό τρόπο σε κάθε περιοχή, τα τοπικά σύνολα δεδομένων δεν είναι ομοιόμορφα κατανεμημένα, απαιτώντας σύνθετη μαθηματική εξισορρόπηση ώστε να μην υποβαθμίζεται το γενικό μοντέλο.
• Χρήση εύρους ζώνης δικτύου: Η ανταλλαγή των εσωτερικών ρυθμίσεων του συστήματος (βάρη νευρωνικού δικτύου) καταναλώνει πολύ μεγαλύτερο όγκο δεδομένων δικτύου από την απλή αποστολή κειμένου, καθιστώντας απαραίτητες τις τεχνικές συμπίεσης των μοντέλων.

Η κατανόηση της ομόσπονδης μάθησης βοηθά τους χρήστες και τους επαγγελματίες να αντιληφθούν ότι η τεχνητή νοημοσύνη δεν προϋποθέτει αναγκαστικά την παραχώρηση της προσωπικής μας ελευθερίας. Όταν επιλέγετε ψηφιακές υπηρεσίες, αξίζει να προτιμάτε εφαρμογές που δίνουν προτεραιότητα στην επεξεργασία απευθείας στη συσκευή και στις αποκεντρωμένες ενημερώσεις, αποδεικνύοντας ότι η σύγχρονη ψηφιακή άνεση και η ισχυρή προστασία των προσωπικών δεδομένων μπορούν να συνυπάρξουν αρμονικά.