Wajah Alternatif: Mesin yang memasukkan kata-kata Kellyanne Conway ke mulut penyanyi Prancis

Mario Klingemann Alternatif Wajah v1.1 sekilas terlihat seperti video musik lama penyanyi Prancis Françoise Hardy. Namun, dengarkan kata-kata yang keluar dari mulutnya, dan Anda akan mendengar suara Kellyanne Conway, penasihat Donald Trump, berbicara tentang "fakta alternatif".

Ini adalah karya ventrilokui yang meresahkan. Wajah Hardy berubah di depan mata Anda, membesar dan memudar saat membungkus dirinya di sekitar wawancara Conway. Mengingat pokok bahasannya, eksperimen Klingemann juga menggelisahkan dalam caranya memanipulasi gambar untuk menyamarkan kata-kata seseorang dengan kata-kata orang lain.

“Inti dari klip ini adalah bahwa awal dari era 'fakta alternatif' juga merupakan awal dari era di mana Anda tidak dapat lagi mempercayai apa yang Anda lihat,” kata Klingemann kepada saya. “Diakui klip ini masih sangat mentah, tetapi dilakukan dalam beberapa hari di komputer kecil satu orang. Bayangkan apa yang mungkin sudah dapat dilakukan oleh kekuatan yang bertujuan untuk mengarahkan opini publik dan yang memiliki sumber daya keuangan dan teknis yang diperlukan.

Lihat terkait 

Masa depan augmented reality terletak pada avant-garde tahun 1930-an
Tubuh aneh di tempat virtual: Wawancara dengan artis Elliot Dodd
Bot, Facebook, dan puisi potongan: Wawancara dengan seniman dan pembuat bot, Matthew Plummer-Fernandez

Untuk membuatnya, Klingemann melatih apa yang dikenal sebagai jaringan permusuhan generatif bersyarat, memberinya tujuh klip musik Hardy, mengekstraksi total 68 penanda wajah.

“Ini memberi saya sekitar 20.000 contoh pelatihan,” jelasnya. “Contoh-contoh ini saya masukkan ke dalam model yang disebut pix2pix, yang merupakan kode sumber terbuka dari makalah penelitian tahun 2016 'Penerjemahan Gambar-ke-Gambar Menggunakan Jaringan Adversarial Bersyarat' oleh Phillip Isola, Jun-Yan Zhu, Tinghui Zhou, dan Alexei A Efros.”

Pelatihan berlangsung sekitar tiga hari. Klingemann mencatat bahwa Anda tidak memerlukan superkomputer untuk melakukan ini, hanya "PC gamer yang layak". Setelah sistem dilatih, dia mengekstraksi penanda wajah dari wawancara Conway dan memasukkannya ke dalam model. Hasilnya adalah videonya.

Wajah yang menarik

Klingemann adalah seniman yang tinggal di Google Arts & Culture, meskipun proyek khusus ini adalah bagian dari karya pribadinya. Dia memberi tahu saya bahwa tujuan awalnya adalah untuk membangun "generator wajah kebetulan", yang dapat membuat wajah yang dapat dia gunakan sebagai dasar karya seni. Dia segera menyadari bahwa memberi jaringan terlalu banyak wajah akan menghasilkan wajah yang membosankan dan tampak rata-rata, dengan model "menghilangkan semua keanehan kecil yang membuat wajah manusia menarik".

Sebaliknya, dia memutuskan untuk fokus pada wajah hanya satu orang. “Saya memilih Françoise Hardy karena dia tidak diragukan lagi sangat cantik,” jelasnya. “Saya kira saya adalah orang yang sangat bernostalgia. Saya kesulitan menemukan orang dengan wajah menarik seperti dia saat ini. Ada juga beberapa alasan teknis – pertama-tama, klip musik adalah sumber yang bagus karena menampilkan banyak close-up, gerakan mulut, dan ekspresi wajah. Klip musik lama bahkan lebih baik karena mereka belum menemukan potongan cepat. Hitam dan putih juga menjadi faktor, karena ternyata model tersebut dapat mempelajarinya lebih cepat karena hanya berisi sepertiga informasi.

“Saya harus meminta maaf kepada Françoise Hardy karena telah melecehkan wajahnya dengan cara ini”

“Alasan saya menggunakan generator untuk memetakan Kellyanne Conway di Françoise Hardy adalah karena saya tidak dapat membayangkan kontras yang lebih kasar – baik dalam apa yang kita dengar maupun yang kita lihat. Saya harus meminta maaf kepada Françoise Hardy karena telah melecehkan wajahnya dengan cara ini. Jika pada saat itu saya memiliki model wajah yang berbeda, saya akan memilih yang lain.”

Kebenaran pribadi

Klingemann memberi tahu saya bahwa "tidak diragukan lagi" teknik ini akan menjadi hal biasa di tahun-tahun mendatang. Adapun apa artinya bagi masyarakat, dia mengatakan dia berharap orang-orang akan belajar mengenali citra palsu – seperti Ray Harryhausen film terlihat tidak nyata bagi penonton saat ini – tetapi hal ini dapat dirusak oleh masyarakat yang semakin terkucil dari kebenaran yang tidak selaras.

“Saya percaya bahwa kesukuan yang sudah terjadi akan semakin cepat – pengelompokan orang berdasarkan sistem kepercayaan mereka,” kata Klingemann. “Karena orang harus memutuskan sendiri apa yang harus dipercaya atau tidak, setiap orang akan membawa kebenaran pribadi mereka sendiri. Fakta adalah apa yang Anda dan kelompok sebaya Anda yakini. Yang pada akhirnya akan menimbulkan konflik yang semakin meningkat di antara kelompok-kelompok tersebut. Saat-saat yang mengerikan.”