Stiamo diventando sempre più abili nell'addestrare i computer a manipolare immagini e video, mettere in bocca ai cantanti francesi le parole dei consiglieri di Trump E trasformando le scene sulla spiaggia in fantasticherie pornografiche. Quindi era solo una questione di tempo prima che tale tecnologia venisse attivata sul favorito di Internet, il gatto.
Un progetto di Nvidia e Cornell University è il passo successivo per una "traduzione" accurata immagini, ed è stato dimostrato manipolando un video di un cane per trasformare il canino in un gatto. Non solo un gatto, mente, ma quattro diverse razze di gatti, ognuno dei quali muove la testa allo stesso modo dell'huskie originale.
La tecnica è chiamata framework MUNIT (Multimodal Unsupervised Image-to-image Translation) dai suoi creatori ed è proposta come miglioramento rispetto ai metodi precedenti in quanto offre maggiore libertà per una data immagine di essere manipolata in una gamma di differenti uscite. Come mostra un video della struttura in azione, un gatto può essere “tradotto” in un numero di cani diversi, e viceversa.
“La traduzione da immagine a immagine si riferisce alla trasformazione di un'immagine da un dominio a un altro (ad esempio, da gatti a cani, schizzi alle scarpe, dall'estate all'inverno) mantenendo invariata la struttura sottostante", Xun Huang, autore principale di un studio sulla ricerca e uno studente di dottorato alla Cornell, racconta Alphr.
"Il nostro framework non è supervisionato, il che significa che non ha bisogno di vedere esempi di immagini corrispondenti (ad esempio, Questo il gatto dovrebbe essere trasformato in Quello cane), ma può scoprire la relazione da solo. È anche multimodale, il che significa che un gatto potrebbe essere trasformato in più cani, mentre i lavori precedenti supportano solo la mappatura uno a uno».
Vedi correlati
I ricercatori non sono interessati solo a scambiare i corpi degli animali domestici. Hanno anche utilizzato il framework MUNIT per manipolare immagini di paesaggi in diverse stagioni, immagini di scarpe e borse da schizzi disegnati e scene di strada da guida generata al computer scenari.
"Questa tecnica offre maggiore libertà per la manipolazione delle immagini", afferma Huang. “In precedenza il processo di manipolazione era deterministico: ottenevi una singola immagine di output dal tuo input. Con il nostro metodo puoi scegliere quale output desideri da una distribuzione di possibili output. Puoi anche controllare lo stile dell'output fornendo un'immagine di esempio.
"In pratica, questa tecnica può essere utilizzata per aiutare il processo di progettazione, per realizzare giochi/film e per aiutare lo sviluppo di auto a guida autonoma".
L'aspetto inquietante, da Men-in-Black-cattivo dei gatti "tradotti" suggerisce che la struttura potrebbe essere perfezionata. Tuttavia, il progetto mostra fino a che punto sta progredendo la manipolazione delle immagini senza supervisione. Minerà la realtà di ciò che vediamo sui nostri schermi? Forse. Per ora, almeno, puoi vedere che aspetto ha Fido come Ginger Tom.
Il codice per lo studio è disponibile da GitHub Qui. Trovato tramite Conoscenza protesica.
