Χρόνος ανάγνωσης 4 λεπτά

Παραγωγικό γέμισμα: τι τοποθετεί η ΤΝ (AI) στη θέση ενός αντικειμένου που σβήστηκε

Δημοσιεύτηκε Ενημερώθηκε

Με λίγα λόγια

Το παραγωγικό γέμισμα (generative inpainting) είναι μια τεχνική σύνθεσης εικόνας με τεχνητή νοημοσύνη που αντικαθιστά επιλεγμένες περιοχές μιας φωτογραφίας ή επεκτείνει τα όριά της, παράγοντας νέα εικονοστοιχεία που εναρμονίζονται φυσικά με την υπάρχουσα σύνθεση.

Τραβάτε μια υπέροχη φωτογραφία στις διακοπές σας σε μια παραλία, αλλά στο βάθος ένας κάδος απορριμμάτων ή ένας άγνωστος περαστικός χαλάει το τέλειο κάδρο. Πριν από λίγα χρόνια, η αφαίρεση αυτού του στοιχείου απαιτούσε ώρες σχολαστικής επεξεργασίας σε εξειδικευμένα προγράμματα. Σήμερα, αρκεί να κυκλώσετε το σημείο με το δάχτυλό σας, να πατήσετε διαγραφή και μέσα σε τρία δευτερόλεπτα το αντικείμενο εξαφανίζεται, δίνοντας τη θέση του σε άμμο, κύματα και φυσικές σκιές που μοιάζουν σαν να υπήρχαν πάντα εκεί.

Αυτή η τεχνολογία ονομάζεται παραγωγικό γέμισμα (τεχνικά γνωστή ως diffusion inpainting). Ενώ μοιάζει με μαγικό κόλπο, βασίζεται σε προηγμένα υπολογιστικά μοντέλα που δεν καλύπτουν απλώς την τρύπα, αλλά ανακατασκευάζουν ολόκληρη τη σκηνή από την αρχή με βάση τους κανόνες της φυσικής και του φωτός.

Από την απλή αντιγραφή στη δημιουργική σύνθεση εικόνας

Για να εκτιμήσουμε την αλλαγή, αξίζει να συγκρίνουμε πώς λειτουργούσαν τα παλαιότερα εργαλεία σε σχέση με τη σύγχρονη τεχνητή νοημοσύνη:

Τα κλασικά εργαλεία επεξεργασίας εφάρμοζαν αντιγραφή κοντινών υφών φόντου (κλωνοποίηση με επίγνωση περιεχομένου ή content-aware fill). Αν σβήνατε μια πινακίδα από έναν πέτρινο τοίχο, το πρόγραμμα αντέγραφε πέτρες από λίγα εκατοστά πιο δίπλα και τις επικολλούσε από πάνω. Αν όμως το φόντο είχε περίπλοκη προοπτική ή μεταβαλλόμενο φωτισμό, το αποτέλεσμα πρόδιδε την επέμβαση με επαναλαμβανόμενα μοτίβα και αφύσικες μουτζούρες.

  • Παραδοσιακή κλωνοποίηση (content-aware fill): Αντιγράφει τυφλά υπάρχοντα κομμάτια της ίδιας φωτογραφίας, με αποτέλεσμα να αποτυγχάνει όταν πρέπει να συνεχιστεί μια σκιά, ένα κάγκελο υπό γωνία ή ένα πρόσωπο που κρύβεται μερικώς.
  • Παραγωγικό γέμισμα τεχνητής νοημοσύνης (diffusion inpainting): Χρησιμοποιεί μοντέλα παραγωγής εικόνων από ψηφιακό θόρυβο (λανθάνοντα μοντέλα διάχυσης ή latent diffusion models), συνθέτοντας εντελώς νέα εικονοστοιχεία που υπακούουν στους κανόνες της σκηνής.

Πώς το λογισμικό κατανοεί το βάθος, το φως και την προοπτική

Όταν επιλέγετε μια περιοχή προς αφαίρεση, το μοντέλο δεν κοιτάζει μόνο την τρύπα, αλλά διαβάζει ολόκληρη τη φωτογραφία σαν ένα συνεκτικό σύνολο:

  • Αναγνώριση φωτισμού και αντανακλάσεων: Το σύστημα εντοπίζει από ποια κατεύθυνση έρχεται ο ήλιος ή η τεχνητή λάμπα, υπολογίζει πού πρέπει να πέφτουν οι σκιές και αναδημιουργεί τις λαμπερές αναλαμπές φωτός σε γυαλιστερές επιφάνειες (κατοπτρικές αντανακλάσεις ή specular highlights).
  • Γεωμετρική συνέχεια και προοπτική: Αν σβήσετε ένα αντικείμενο που κάθεται σε πλακόστρωτο δρόμο, το μοντέλο ακολουθεί τις γραμμές προοπτικής και τους γεωμετρικούς οδηγούς (γραμμές φυγής ή vanishing perspective lines), σχεδιάζοντας τις πλάκες να μικραίνουν φυσικά προς το βάθος.
  • Ταίριασμα φακού και κόκκου: Κάθε φωτογραφία έχει ένα χαρακτηριστικό απαλό θόλωμα φόντου του φωτογραφικού φακού (γνωστό ως bokeh) και έναν λεπτό ηλεκτρονικό κόκκο της κάμερας (θόρυβο αισθητήρα ή sensor noise). Το μοντέλο προσθέτει αυτόν ακριβώς τον κόκκο στο νέο τμήμα, ώστε να μην ξεχωρίζει από το αρχικό αρχείο.

Η σταδιακή αποκάλυψη της καθαρής εικόνας

Στο εσωτερικό του συστήματος, η διαδικασία ξεκινά με την κάλυψη της επιλεγμένης περιοχής με τυχαίο ψηφιακό χιόνι. Μέσα από διαδοχικά βήματα (σταδιακός καθαρισμός ψηφιακού θορύβου βήμα προς βήμα ή iterative denoising), το λογισμικό αφαιρεί το θόλωμα και αποκαλύπτει μια καθαρή επιφάνεια. Η ίδια ακριβώς τεχνολογία χρησιμοποιείται και για την επέκταση εικόνας πέρα από τα αρχικά της όρια (τεχνική γνωστή ως outpainting), επιτρέποντας τη μετατροπή μιας κάθετης λήψης κινητού σε οριζόντια πανοραμική εικόνα.

Τα όρια της σύνθεσης και η ψηφιακή αυθεντικότητα

Παρότι το παραγωγικό γέμισμα προσφέρει εκπληκτικά αποτελέσματα, συχνά δυσκολεύεται σε λεπτομέρειες όπως τα ανθρώπινα δάχτυλα, η συμμετρία προσώπων ή η γραφή λέξεων σε επιγραφές. Παράλληλα, δημιουργεί σοβαρά ερωτήματα σχετικά με την αλήθεια των εικόνων. Για να διασφαλιστεί η διαφάνεια, οι μεγάλες εταιρείες ενσωματώνουν πλέον ψηφιακές ετικέτες γνησιότητας και προέλευσης αρχείου (μεταδεδομένα προέλευσης ή provenance metadata, όπως τα πρότυπα C2PA), τα οποία καταγράφουν αν μια εικόνα τροποποιήθηκε με τεχνητή νοημοσύνη.

Το παραγωγικό γέμισμα μετατρέπει τη φωτογραφία από απλή καταγραφή της πραγματικότητας σε έναν ευέλικτο ψηφιακό καμβά. Γνωρίζοντας πώς κατασκευάζονται αυτά τα νέα οπτικά τμήματα, μπορείτε να εκμεταλλευτείτε τα δημιουργικά εργαλεία διατηρώντας ταυτόχρονα την κριτική σας ματιά απέναντι σε όσα βλέπετε στο διαδίκτυο.

Πηγές
  1. Adobe Firefly Generative AI Architecture and Commercial SafetyAdobe Research
  2. High-Resolution Image Synthesis with Latent Diffusion ModelsComputer Vision and Learning Group (CompVis)