Χρόνος ανάγνωσης 3 λεπτά

Μετατροπή φωνής με ΤΝ: πώς αλλάζει ο ήχος χωρίς νέο κείμενο;

Δημοσιεύτηκε

Με λίγα λόγια

Η μετατροπή φωνής αλλάζει χαρακτηριστικά μιας υπάρχουσας ομιλίας, με στόχο να κρατήσει το περιεχόμενό της και να την κάνει να μοιάζει με διαφορετική φωνή.

Η ίδια φράση ακούγεται ξανά, αλλά με διαφορετική φωνή. Η μετατροπή φωνής επεξεργάζεται μια υπάρχουσα ομιλία και προσπαθεί να διατηρήσει τις λέξεις, αλλάζοντας τον τρόπο που η φωνή ακούγεται. Μπορεί να αφορά μια εγγραφή ή μια κλήση. Δεν λειτουργεί κάθε μέθοδος ζωντανά ούτε με την ίδια καθυστέρηση.

Η είσοδος είναι ήχος

Η παραγωγή ομιλίας από κείμενο ξεκινά από γραμμένες λέξεις. Η μετατροπή φωνής ξεκινά από τον ήχο κάποιου που μίλησε. Για παράδειγμα, με την άδεια ενός ηθοποιού, μια παραγωγή μπορεί να επεξεργαστεί μια ατάκα για διαφορετικό χαρακτήρα. Είναι υποθετικό παράδειγμα χρήσης, όχι παρουσίαση της φωνής ως πραγματικής δήλωσης άλλου ανθρώπου.

Ορισμένες μέθοδοι εξάγουν πληροφορία που αντιπροσωπεύει το περιεχόμενο της ομιλίας. Έπειτα τη συνδυάζουν με χαρακτηριστικά της επιθυμητής φωνής και δημιουργούν νέο ήχο. Η έρευνα AutoVC περιγράφει μία τέτοια προσέγγιση. Το σύστημα δεν αλλάζει τον λάρυγγα ούτε χρειάζεται να ανακατασκευάσει ανατομικά τον άνθρωπο. Επεξεργάζεται πληροφορία μέσα στο ηχητικό σήμα.

Η προετοιμασία ενός μοντέλου και η μετατροπή μιας νέας εγγραφής είναι διαφορετικά στάδια. Στην προετοιμασία χρησιμοποιούνται παραδείγματα για να μάθει η μέθοδος σχέσεις ανάμεσα στο περιεχόμενο και στα χαρακτηριστικά της φωνής. Στη χρήση, η ήδη προετοιμασμένη μέθοδος επεξεργάζεται την εισερχόμενη ομιλία. Οι απαιτήσεις για δείγματα διαφέρουν ανά σύστημα, γι’ αυτό δεν υπάρχει ένας καθολικός αριθμός δευτερολέπτων που εξασφαλίζει μια πιστή μετατροπή για κάθε άνθρωπο.

Η έρευνα StreamVC παρουσιάζει μια συγκεκριμένη μέθοδο για γρήγορη μετατροπή σε επικοινωνία, με στόχο τη διατήρηση του περιεχομένου και του τρόπου ομιλίας. Αυτό δεν δικαιολογεί έναν γενικό ισχυρισμό ότι κάθε σύστημα αλλάζει οποιαδήποτε φωνή ακαριαία, κρατώντας όλες τις λεπτομέρειες και κάθε συναίσθημα. Τα αποτελέσματα αφορούν τη συγκεκριμένη μέθοδο και τις δοκιμές της.

Μετατροπή και μίμηση δεν είναι ταυτόσημες έννοιες

Η μίμηση μιας αναγνωρίσιμης φωνής μπορεί να γίνει με διαφορετικές τεχνικές: με παραγωγή από κείμενο ή με μετατροπή υπάρχουσας ομιλίας. Η μετατροπή δεν σημαίνει απαραίτητα μίμηση συγκεκριμένου πραγματικού προσώπου. Όμως η παρουσίαση μιας παρόμοιας φωνής χωρίς άδεια ή σαφή εξήγηση μπορεί να παραπλανήσει τον ακροατή για το ποιος είπε κάτι.

Η φυσικότητα, η ορθότητα των λέξεων και η ομοιότητα με τη ζητούμενη φωνή είναι διαφορετικά ζητήματα. Ένας ομαλός ήχος δεν εγγυάται ότι δεν άλλαξε κάποιο μέρος της φράσης. Σε σημαντική εγγραφή συγκρίνετε το περιεχόμενο με το αρχικό και εξηγήστε ότι η φωνή έχει υποστεί επεξεργασία. Μην παρουσιάζετε μια ακουστική εντύπωση ως απόδειξη ταυτότητας.

Η αλλαγή φωνής επίσης δεν εγγυάται ανωνυμία. Το περιεχόμενο, ένα όνομα ή άλλο αναγνωρίσιμο στοιχείο μπορεί να αποκαλύπτει ποιος μιλά. Αν ο στόχος είναι η προστασία ταυτότητας, χρειάζεται να εξετάσετε και αυτά τα στοιχεία, όχι μόνο το ηχόχρωμα.

Όταν μια γνώριμη φωνή ζητά χρήματα

Το FBI προειδοποιεί ότι συνθετικός ήχος χρησιμοποιείται για πλαστοπροσωπία και οικονομική απάτη. Η προειδοποίηση αφορά συνθετική ομιλία γενικά· δεν αποδεικνύει ότι κάθε περιστατικό δημιουργήθηκε με μετατροπή φωνής. Για τον ακροατή το ουσιαστικό ερώτημα παραμένει αν το αίτημα είναι πραγματικό, όχι ποιο πρόγραμμα το δημιούργησε.

Αν ακούσετε συγγενή να ζητά επείγουσα πληρωμή, κλείστε και καλέστε εσείς έναν ήδη γνωστό αριθμό του. Αν δεν τον βρείτε, επικοινωνήστε με άλλον έμπιστο συγγενή. Η FTC προτείνει τη χρήση αριθμού που γνωρίζετε ότι είναι σωστός, αντί να βασιστείτε στη φωνή. Μη χρησιμοποιήσετε νέο αριθμό που σας έδωσε ο ύποπτος καλών.

Παράξενος ήχος μπορεί να προκαλέσει υποψία, αλλά φυσικός ήχος δεν αποδεικνύει γνησιότητα. Για αιτήματα τράπεζας ή εργασίας ακολουθήστε τη συνηθισμένη διαδικασία επιβεβαίωσης. Η μετατροπή αλλάζει ποιος φαίνεται να μιλά. Ξεχωρίζοντας τον ήχο από την ταυτότητα και από τη νομιμότητα του αιτήματος, μπορείτε να αξιολογήσετε πιο καθαρά αυτό που ακούτε.

Πηγές
  1. AutoVC: Zero-Shot Voice Style Transfer with Only Autoencoder LossProceedings of the 36th International Conference on Machine Learning / PMLR
  2. StreamVC: Real-Time Low-Latency Voice ConversionGoogle Research / ICASSP 2024
  3. Criminals Use Generative Artificial Intelligence to Facilitate Financial FraudFBI Internet Crime Complaint Center (IC3)
  4. Scammers Use Fake Emergencies To Steal Your MoneyFederal Trade Commission (FTC)