Χρόνος ανάγνωσης 3 λεπτά

Υπερανάλυση με ΤΝ: τι προσθέτει σε μια θολή φωτογραφία;

Δημοσιεύτηκε

Με λίγα λόγια

Η υπερανάλυση με τεχνητή νοημοσύνη είναι η μεγέθυνση μιας εικόνας χαμηλής ανάλυσης με προσθήκη εκτιμώμενων λεπτομερειών από ένα εκπαιδευμένο μοντέλο.

Βρίσκετε στο κινητό μια μικρή οικογενειακή φωτογραφία και θέλετε να την τυπώσετε. Μετά τη μεγέθυνση με τεχνητή νοημοσύνη, τα μαλλιά και το ύφασμα φαίνονται πολύ καθαρότερα. Αν η εικόνα δείχνει πειστική, είναι εύκολο να πιστέψετε ότι αποκαταστάθηκαν οι αρχικές λεπτομέρειες. Στην πραγματικότητα, μέρος της νέας καθαρότητας προέρχεται από εκτιμήσεις του λογισμικού.

Από πού προκύπτουν οι νέες λεπτομέρειες

Μια μικρή ψηφιακή εικόνα έχει περιορισμένο αριθμό σημείων χρώματος. Όταν την ανοίγουμε σε μεγαλύτερο μέγεθος, πρέπει να συμπληρωθούν οι θέσεις ανάμεσα στα καταγεγραμμένα σημεία. Μια συνηθισμένη μέθοδος μεγέθυνσης υπολογίζει ενδιάμεσα χρώματα από τα γειτονικά σημεία. Έτσι οι άκρες μπορεί να φαίνονται ομαλές, αλλά μια λεπτή υφή παραμένει θολή. Ορισμένα μοντέλα τεχνητής νοημοσύνης προσπαθούν επιπλέον να εκτιμήσουν ποια υφή θα ταίριαζε στην εικόνα.

Κατά την εκπαίδευση, το μοντέλο συγκρίνει μικρές εικόνες με καθαρότερες εκδοχές τους και προσαρμόζει τις εσωτερικές του ρυθμίσεις. Μαθαίνει, για παράδειγμα, ποια μικρά μοτίβα συχνά συνοδεύουν μια περιοχή που μοιάζει με μαλλιά ή ύφασμα. Όταν επεξεργάζεται τη δική σας φωτογραφία, χρησιμοποιεί τις γραμμές και τα χρώματα που υπάρχουν ήδη για να συμπληρώσει νέες ψηφίδες. Το αποτέλεσμα συνδέεται με την αρχική εικόνα, αλλά δεν είναι απλή ανάκτηση χαμένων δεδομένων.

Πολλές διαφορετικές καθαρές εικόνες θα μπορούσαν να δώσουν την ίδια μικρή, θολή εκδοχή. Επομένως, μια καινούρια τρίχα που φαίνεται πειστική δεν είναι βέβαιο ότι είχε ακριβώς αυτό το σχήμα. Η μελέτη SRGAN έδειξε πώς μια μέθοδος μπορεί να δίνει πιο φυσικές υφές, ενώ η μεταγενέστερη ESRGAN συζητά και τα ανεπιθύμητα τεχνουργήματα. Δεν λειτουργούν όλα τα εργαλεία με την ίδια μέθοδο ή με τις ίδιες πληροφορίες εισόδου.

Η καθαρή εικόνα δεν αρκεί ως απόδειξη

Φανταστείτε μια πινακίδα καταστήματος που φαίνεται από μακριά σε μια λήψη. Αν τα γράμματα δεν ξεχωρίζουν στο αρχείο, το πρόγραμμα μπορεί να σχεδιάσει σχήματα που μοιάζουν με γράμματα. Η νέα εικόνα ίσως είναι πιο ευανάγνωστη, αλλά το κείμενο χρειάζεται επιβεβαίωση από άλλη φωτογραφία ή ανεξάρτητη πηγή. Το ίδιο όριο έχει σημασία όταν εξετάζονται πρόσωπα, αριθμοί οχημάτων ή σημάδια σε αντικείμενα.

Για ένα άλμπουμ, μια όμορφη εκτίμηση των λεπτομερειών μπορεί να είναι χρήσιμη. Για αναγνώριση προσώπου, επίλυση διαφοράς ή τεκμηρίωση ζημιάς, η εκτίμηση μπορεί να αλλάξει την ερμηνεία. Αυτό δεν σημαίνει ότι κάθε επεξεργασμένη εικόνα είναι άχρηστη. Οι οδηγίες της επιστημονικής ομάδας SWGDE για τη δικανική επεξεργασία ζητούν να διατηρείται το πρωτότυπο, να καταγράφονται οι επεμβάσεις και να παρουσιάζεται το αποτέλεσμα ως επεξεργασμένο.

Πώς να αξιοποιήσετε το αποτέλεσμα

Κρατήστε το αρχικό αρχείο και επεξεργαστείτε ένα αντίγραφο. Αν θέλετε εκτύπωση, κοιτάξτε το αποτέλεσμα στο μέγεθος που θα χρησιμοποιηθεί και συγκρίνετε παράξενες νέες λεπτομέρειες με την πηγή. Αν η εικόνα στηρίζει σημαντικό ισχυρισμό, δείξτε και τις δύο εκδοχές και εξηγήστε ποια επεξεργασία έγινε. Αναζητήστε δεύτερη καταγραφή προτού θεωρήσετε ένα νέο γράμμα ή χαρακτηριστικό ως γεγονός.

Μια πρακτική σύγκριση είναι να βλέπετε την αρχική και τη μεγεθυμένη εικόνα δίπλα δίπλα, στο ίδιο περίπου μέγεθος οθόνης. Έτσι μπορείτε να εντοπίσετε πού εμφανίστηκε νέα υφή και ποια σημεία υπήρχαν ήδη. Η σύγκριση δεν πιστοποιεί ότι η νέα υφή είναι σωστή· σας βοηθά να ξεχωρίσετε τι άλλαξε. Αν το αρχικό αρχείο έχει συμπιεστεί έντονα, ορισμένα τετραγωνάκια ή θόρυβος της συμπίεσης μπορεί επίσης να επηρεάσουν την εκτίμηση του μοντέλου.

Η υπερανάλυση μπορεί να κάνει μια εικόνα πιο ευχάριστη ή πιο εύκολη στην εξέταση. Η πρόσθετη καθαρότητα δείχνει μια πιθανή όψη της σκηνής σε μεγαλύτερη εικόνα· το αρχικό αρχείο και οι ανεξάρτητες πληροφορίες βοηθούν να κριθεί τι είχε πράγματι καταγραφεί.

Πηγές
  1. Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial NetworkProceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR)
  2. ESRGAN: Enhanced Super-Resolution Generative Adversarial NetworksEuropean Conference on Computer Vision Workshops
  3. SWGDE Image Processing GuidelinesScientific Working Group on Digital Evidence