Χρόνος ανάγνωσης 3 λεπτά
Μείωση θορύβου με ΤΝ: πώς μένει η ομιλία σε μια κλήση;
Με λίγα λόγια
Η μείωση θορύβου με τεχνητή νοημοσύνη επεξεργάζεται ένα μείγμα ομιλίας και άλλων ήχων, ώστε η ομιλία να γίνεται πιο ευδιάκριτη.
Στη βιντεοκλήση ο ανεμιστήρας ακούγεται λιγότερο, αλλά ο συνομιλητής λέει ότι χάνονται οι τελευταίες συλλαβές σας. Αυτή η αντίθεση δείχνει το βασικό όριο: η μείωση θορύβου δεν αφαιρεί πάντα μόνο τους ανεπιθύμητους ήχους. Εκτιμά τι πρέπει να μείνει μέσα σε ένα ήδη ανακατεμένο σήμα.
Το μικρόφωνο δεν χωρίζει τις πηγές
Η φωνή και ο ανεμιστήρας φτάνουν στο μικρόφωνο την ίδια στιγμή. Δεν υπάρχουν δύο ξεχωριστά αρχεία που το πρόγραμμα απλώς διαλέγει. Αν σταματήσει τον ήχο μόνο όταν δεν μιλάτε, ο ανεμιστήρας θα εξακολουθεί να ακούγεται όταν μιλάτε. Η επεξεργασία πρέπει να αντιμετωπίσει και το μείγμα κατά τη διάρκεια της ομιλίας.
Ορισμένες μέθοδοι εξετάζουν σύντομα τμήματα ήχου και διαφορετικές περιοχές τόνων, από τους χαμηλούς έως τους υψηλούς. Ένα εκπαιδευμένο μοντέλο εκτιμά πόσο ήχο θα κρατήσει σε κάθε περιοχή. Οι περιοχές που μοιάζουν περισσότερο με θόρυβο εξασθενούν και ο ήχος συντίθεται ξανά. Η φωνή και ο θόρυβος όμως μπορεί να επικαλύπτονται στην ίδια περιοχή.
Για την προετοιμασία τέτοιων μοντέλων χρησιμοποιούνται παραδείγματα ομιλίας αναμεμειγμένης με θόρυβο. Η σύγκριση με την αρχική καθαρή ομιλία βοηθά να ρυθμιστεί η επεξεργασία. Η έρευνα RNNoise συνδυάζει μια τέτοια εκτίμηση με παραδοσιακή επεξεργασία ήχου. Το DeepFilterNet περιγράφει διαφορετικό συνδυασμό βημάτων. Δεν ακολουθεί κάθε εφαρμογή την ίδια συνταγή.
Λιγότερος θόρυβος δεν σημαίνει πάντα καλύτερη φωνή
Μια ισχυρή ρύθμιση μπορεί να μειώσει ήχους που θέλετε να διατηρήσετε. Αν μέρος της φωνής εξασθενήσει ή κοπεί, η συνομιλία γίνεται δυσκολότερη ακόμη κι αν το φόντο ακούγεται πιο ήσυχο. Το αποτέλεσμα εξαρτάται από το αρχικό σήμα και τη συγκεκριμένη μέθοδο. Δεν υπάρχει λόγος να περιμένετε τέλεια απομόνωση σε κάθε περιβάλλον.
Το τι θεωρείται θόρυβος αλλάζει με τον σκοπό. Σε μια σύσκεψη θέλετε ίσως να μη μεταδίδεται το πληκτρολόγιο. Σε ένα μάθημα μουσικής θέλετε να ακουστεί το όργανο. Μια λειτουργία που δίνει προτεραιότητα στην ομιλία μπορεί να μειώσει το δεύτερο, παρότι για εσάς είναι το σημαντικότερο μέρος της κλήσης.
Η Apple περιγράφει τη λειτουργία Voice Isolation για προτεραιότητα στη φωνή και τη Wide Spectrum για να περιλαμβάνονται οι ήχοι γύρω σας. Η διαθεσιμότητα αλλάζει ανά συσκευή και εφαρμογή. Το παράδειγμα βοηθά να επιλέξετε με βάση τον ήχο που χρειάζεστε, χωρίς να θεωρείτε ότι η εντονότερη καταστολή είναι πάντα η καλύτερη επιλογή.
Σκεφτείτε ένα υποθετικό μάθημα κιθάρας: η φωνή σας ακούγεται, αλλά ο μαθητής δεν ακούει καθαρά τις νότες. Το ζητούμενο δεν είναι απλώς να δυναμώσετε το μικρόφωνο. Ελέγξτε αν η λειτουργία προτεραιότητας ομιλίας μειώνει την κιθάρα, συγκρίνοντας τις διαθέσιμες ρυθμίσεις. Αντίστοιχα, σε μια κοινή συζήτηση μπορεί να θέλετε να ακούγονται και οι άλλοι άνθρωποι του χώρου. Ο στόχος καθορίζει ποιοι ήχοι χρειάζονται.
Μια χρήσιμη σύγκριση πριν την κλήση
Δοκιμάστε μια σύντομη εγγραφή ή κλήση με και χωρίς τη ρύθμιση. Ακούστε όχι μόνο τα διαστήματα σιωπής, αλλά και τις καταλήξεις των λέξεων και τους γύρω ήχους που χρειάζεστε. Αυτή είναι πρόταση ελέγχου, όχι αποτέλεσμα δοκιμής συγκεκριμένου προϊόντος. Ρωτήστε τον άλλο άνθρωπο τι ακούει από τη δική του πλευρά.
Αν η φωνή κόβεται, μειώστε την ένταση της επεξεργασίας ή βελτιώστε, όπου μπορείτε, τον ήχο που φτάνει στο μικρόφωνο. Η μετακίνηση σε πιο ήσυχο χώρο αλλάζει το αρχικό μείγμα. Η επεξεργασία της εφαρμογής αλλάζει αυτό που μεταδίδεται, όχι τον πραγματικό θόρυβο μέσα στο δωμάτιο.
Σε μια σημαντική εγγραφή κρατήστε, αν είναι δυνατόν, και την αρχική εκδοχή. Το ότι ένας ήχος δεν ακούγεται μετά την επεξεργασία δεν αποδεικνύει ότι δεν υπήρχε. Κρίνετε τη μείωση θορύβου από το αν διατηρεί το περιεχόμενο που χρειάζεστε, όχι μόνο από το πόσο ήσυχο κάνει το αποτέλεσμα.
Πηγές
- A Hybrid DSP/Deep Learning Approach to Real-Time Full-Band Speech EnhancementJean-Marc Valin / IEEE Multimedia Signal Processing Workshop
- DeepFilterNet: A Low Complexity Speech Enhancement Framework for Full-Band Audio based on Deep FilteringHendrik Schröter, Alberto N. Escalante-B., Tobias Rosenkranz and Andreas Maier / arXiv
- Use Voice Isolation, Wide Spectrum or Automatic Mic Mode on your iPhone and iPadApple Support