Muse Realtime Avatar: πώς η Meta φτιάχνει πρόσωπα ΤΝ που μιλούν και αντιδρούν ζωντανά σε βιντεοκλήσεις

Έχετε βρεθεί ποτέ σε μια βιντεοκλήση όπου δεν θέλατε να δείξετε το πρόσωπό σας; Ίσως επειδή ήσασταν κουρασμένοι, ίσως επειδή το δωμάτιο ήταν ακατάστατο. Μέχρι πρόσφατα, οι επιλογές ήταν δύο: είτε ανάβατε την κάμερα, είτε κλείνατε την και μιλούσατε σαν φωνή χωρίς σώμα. Η Meta προτείνει τώρα μια τρίτη επιλογή: ένα ψηφιακό πρόσωπο που μιλάει με τη φωνή σας και αντιδρά σαν να είστε εσείς.

Το Muse Realtime Avatar δεν είναι ένα απλό φίλτρο που κολλάει ένα χαμογελαστό αυτοκόλλητο πάνω από το κεφάλι σας. Είναι ένα σύστημα που παράγει ολόκληρη την εικόνα του προσώπου από την αρχή, καρέ προς καρέ, την ώρα που μιλάτε. Και το κάνει σε πραγματικό χρόνο, χωρίς να περιμένετε να φορτώσει.

Τι ακριβώς βλέπει ο συνομιλητής σας

Φανταστείτε ότι καλείτε έναν φίλο σας μέσω WhatsApp. Αντί για την κάμερα του κινητού σας, ενεργοποιείτε τον ψηφιακό σας avatar. Ο φίλος σας βλέπει ένα πρόσωπο που μοιάζει αληθινό: δέρμα με υφή, μαλλιά που πέφτουν φυσικά, μάτια που κοιτούν. Όταν αρχίζετε να μιλάτε, τα χείλη του avatar κινούνται με τον ήχο της φωνής σας. Όταν κάνετε μια παύση, το πρόσωπο περιμένει. Όταν χαμογελάτε, το avatar χαμογελάει κι εκείνο.

Η τεχνολογία παράγει έως και 60 καρέ το δευτερόλεπτο. Αυτό σημαίνει ότι η κίνηση είναι ομαλή, σαν να βλέπετε τηλεόραση υψηλής ευκρίνειας. Δεν υπάρχει το τρεμόπαιγμα που συναντάμε σε παλιότερα ψηφιακά πρόσωπα. Η ροή είναι συνεχής και φυσική.

Πώς καταφέρνει να συγχρονίσει τα χείλη με τη φωνή

Το μυστικό βρίσκεται σε έναν αλγόριθμο που ονομάζεται νευρωνικό δίκτυο (neural network). Σκεφτείτε το σαν έναν πολύ γρήγορο ζωγράφο που έχει μάθει να ζωγραφίζει πρόσωπα αφού έχει δει εκατομμύρια παραδείγματα. Κάθε φορά που λέτε μια λέξη, ο αλγόριθμος αναλύει τον ήχο και αποφασίζει ποιο σχήμα πρέπει να πάρουν τα χείλη, πόσο ανοιχτό είναι το στόμα, πού κοιτούν τα μάτια.

Η διαδικασία γίνεται σε τρία βήματα. Πρώτα, το σύστημα ακούει τη φωνή σας και αναγνωρίζει τους ήχους που προφέρετε. Δεύτερο, μεταφράζει αυτούς τους ήχους σε κινήσεις του προσώπου: το «α» ανοίγει το στόμα, το «μ» κλείνει τα χείλη. Τρίτο, ζωγραφίζει το πρόσωπο με αυτές τις κινήσεις, προσθέτοντας λεπτομέρειες όπως το φως και τη σκιά.

• Ανάλυση ήχου: το σύστημα ακούει τη φωνή σας και εντοπίζει τους βασικούς ήχους της ομιλίας.
• Μετάφραση σε κίνηση: κάθε ήχος αντιστοιχίζεται με ένα σχήμα του στόματος και μια έκφραση του προσώπου.
• Σύνθεση εικόνας: το νευρωνικό δίκτυο ζωγραφίζει το πρόσωπο καρέ προς καρέ, με φυσικό φωτισμό και υφή.

Οι εκφράσεις που αλλάζουν με τον τόνο της φωνής

Δεν αρκεί να κινούνται μόνο τα χείλη. Ένα πρόσωπο που μιλάει χωρίς να αλλάζει έκφραση μοιάζει με μάσκα. Το Muse Realtime Avatar προσαρμόζει και τις εκφράσεις του προσώπου ανάλογα με το πώς μιλάτε. Αν η φωνή σας είναι ζεστή και φιλική, το avatar χαμογελάει ελαφρώς. Αν ο τόνος είναι σοβαρός, τα φρύδια κατεβαίνουν ελάχιστα.

Αυτό γίνεται με ένα δεύτερο σύστημα που παρακολουθεί τον ρυθμό και την ένταση της φωνής. Δεν διαβάζει τη σκέψη σας ούτε καταλαβαίνει τι λέτε. Απλώς παρατηρεί αν μιλάτε γρήγορα ή αργά, δυνατά ή σιγά, και ρυθμίζει ανάλογα την έκφραση του ψηφιακού προσώπου.

Πού μπορείτε να το χρησιμοποιήσετε

Το Muse Realtime Avatar είναι διαθέσιμο δωρεάν σε όσους χρησιμοποιούν τις εφαρμογές της Meta, όπως το WhatsApp, το Messenger και το Instagram. Μπορείτε να το ενεργοποιήσετε σε μια βιντεοκλήση και να επιλέξετε το πρόσωπο που θέλετε να εμφανίζεται. Μπορείτε επίσης να χρησιμοποιήσετε τη δική σας φωνή ή τη φωνή ενός ψηφιακού βοηθού.

Η δυνατότητα αυτή ανοίγει νέες δυνατότητες για ανθρώπους που θέλουν να προστατεύσουν την ταυτότητά τους σε δημόσιες συζητήσεις, για όσους νιώθουν άβολα με την εμφάνισή τους, ή για επαγγελματίες που θέλουν να διατηρήσουν ένα σταθερό ψηφιακό προφίλ. Φανταστείτε έναν δάσκαλο που κάνει διαδικτυακό μάθημα και δεν θέλει να δείχνει το σπίτι του. Ή έναν πελάτη που συνομιλεί με μια υπηρεσία και προτιμά να μην αποκαλύψει το πρόσωπό του.

Τι μπορεί να πάει στραβά

Όπως κάθε τεχνολογία, έτσι και αυτή έχει όρια. Το σύστημα μπορεί να δυσκολευτεί αν η φωνή σας έχει πολύ θόρυβο στο παρασκήνιο ή αν μιλάτε πολύ γρήγορα. Σε τέτοιες περιπτώσεις, τα χείλη του avatar μπορεί να μην ταιριάζουν απόλυτα με τον ήχο. Επίσης, το ψηφιακό πρόσωπο δεν μπορεί να αναπαράγει αυθόρμητες αντιδράσεις όπως ένα ξαφνικό γέλιο ή ένα δάκρυ, γιατί αυτά δεν προέρχονται μόνο από τη φωνή.

Ένα άλλο ζήτημα είναι η ασφάλεια. Ένα ρεαλιστικό ψηφιακό πρόσωπο θα μπορούσε να χρησιμοποιηθεί για παραπλάνηση. Αν κάποιος αποκτήσει πρόσβαση στον λογαριασμό σας, θα μπορούσε να εμφανιστεί με το avatar σας και να μιλήσει με τη φωνή σας. Γι' αυτό, είναι σημαντικό να προστατεύετε τους κωδικούς σας και να ενεργοποιείτε την επαλήθευση δύο βημάτων στις εφαρμογές σας.

Η τεχνολογία αυτή δεν είναι μαγεία. Είναι ένα εργαλείο που μαθαίνει από παραδείγματα και παράγει εικόνες με βάση αυτά που έχει δει. Καταλαβαίνοντας πώς λειτουργεί, μπορείτε να τη χρησιμοποιήσετε με μεγαλύτερη άνεση και να αναγνωρίζετε πότε ένα πρόσωπο στην οθόνη μπορεί να μην είναι αυτό που φαίνεται.