얼터너티브 페이스: Kellyanne Conway의 가사를 프랑스 가수의 입에 넣어주는 기계

마리오 클링게만 얼터너티브 페이스 v1.1 얼핏 보면 프랑스 가수 프랑수아즈 아르디의 오래된 뮤직비디오 같다. 그러나 그녀의 입에서 나오는 말을 들어보면 "대안적 사실"에 대해 말하는 도널드 트럼프의 보좌관인 Kellyanne Conway의 목소리가 들릴 것입니다.

불안한 복화술 작품입니다. Conway 인터뷰를 둘러싸면서 Hardy의 얼굴이 눈 앞에서 변합니다. 주제를 감안할 때 Klingemann의 실험은 한 사람의 말을 다른 사람의 말로 전달하기 위해 이미지를 조작하는 방법에서도 불안합니다.

"이 클립의 요점은 '대체 사실' 시대의 시작이 보는 것을 더 이상 신뢰할 수 없는 시대의 시작이기도 하다는 것입니다."라고 Klingemann은 말합니다. “분명히 이 클립은 여전히 ​​매우 원시적이지만 한 사람의 작은 컴퓨터에서 며칠 만에 완료되었습니다. 여론을 조종하는 것을 목표로 하고 필요한 재정 및 기술 자원을 보유한 세력이 이미 무엇을 할 수 있을지 상상해 보십시오.”

관련 보기 

증강현실의 미래는 1930년대 아방가르드에 있다
가상 공간의 이상한 몸: 아티스트 Elliot Dodd와의 인터뷰
봇, 페이스북 및 잘라낸 시: 아티스트이자 봇 제작자인 Matthew Plummer-Fernandez와의 인터뷰

그것을 만들기 위해 Klingemann은 Hardy의 7개 음악 클립을 공급하고 총 68개의 얼굴 마커를 추출하여 조건부 생성 적대적 네트워크로 알려진 것을 훈련했습니다.

"이것은 약 20,000개의 학습 예제를 제공합니다."라고 그는 설명합니다. “이러한 예는 픽스투픽스, Phillip Isola, Jun-Yan Zhu, Tinghui Zhou 및 Alexei A Efros의 2016년 연구 논문 'Image-to-Image Translation Using Conditional Adversarial Networks'의 오픈 소스 코드입니다.”

훈련은 3일 정도 걸렸다. Klingemann은 이를 수행하기 위해 슈퍼컴퓨터가 필요하지 않고 "괜찮은 게이머 PC"만 있으면 된다고 말합니다. 시스템이 훈련된 후 그는 Conway 인터뷰에서 얼굴 마커를 추출하여 모델에 입력했습니다. 결과는 비디오입니다.

재미있는 얼굴들

Klingemann은 Google Arts & Culture의 상주 예술가이지만 이 특정 프로젝트는 그의 개인 작업의 일부입니다. 그는 자신의 원래 목표가 예술 작품의 기초로 사용할 수 있는 얼굴을 만들 수 있는 "우연한 얼굴 생성기"를 만드는 것이라고 말했습니다. 그는 네트워크에 너무 많은 얼굴을 제공하면 "인간의 얼굴을 흥미롭게 만드는 모든 작은 단점을 제거하는" 모델을 사용하여 지루하고 평범해 보이는 얼굴이 된다는 것을 금방 깨달았습니다.

대신 한 사람의 얼굴에만 집중하기로 했다. "Françoise Hardy는 의심할 여지 없이 매우 아름답기 때문에 선택했습니다."라고 그는 설명합니다. “저는 아주 향수를 불러일으키는 사람인 것 같아요. 요즘 그녀처럼 재미있는 얼굴을 가진 사람을 찾기가 어렵습니다. 기술적인 이유도 있었습니다. 우선 뮤직클립은 클로즈업, 입모양, 표정이 많이 보여서 좋은 소스입니다. 오래된 뮤직 클립은 아직 빠른 컷을 발명하지 않았기 때문에 훨씬 좋습니다. 모델이 3분의 1의 정보만 포함하고 있기 때문에 모델이 이를 더 빨리 학습할 수 있다는 것이 밝혀졌기 때문에 흑백도 요인이었습니다.

“얼굴을 학대한 프랑수아즈 아르디에게 사과해야 합니다.”

“Françoise Hardy에서 Kellyanne Conway를 매핑하기 위해 생성기를 사용한 이유는 우리가 듣는 것과 보는 것 모두에서 더 심한 대조를 상상할 수 없기 때문입니다. 얼굴을 이런 식으로 학대한 프랑수아즈 아르디에게 사과해야 합니다. 당시에 다른 얼굴 모델이 준비되어 있었다면 다른 모델을 선택했을 것입니다.”

개인적인 진실

Klingemann은 이러한 기술이 앞으로 몇 년 동안 보편화될 것이라는 “의심의 여지가 없다”고 말했습니다. 그것이 사회에 의미하는 바에 대해 그는 사람들이 가짜 이미지를 인식하는 법을 배우기를 바란다고 말했습니다. 레이 해리하우젠 영화는 오늘날의 관객들에게 비현실적으로 보입니다. 그러나 이것은 사회가 부적합한 진실에 점점 더 고립되어 훼손될 수 있습니다.

Klingemann은 “나는 이미 발생하고 있는 부족주의, 즉 신념 체계를 기반으로 한 사람들의 집단화가 가속화될 것이라고 믿습니다.”라고 말합니다. “사람들은 무엇을 믿을지 말지를 스스로 결정해야 하기 때문에 모든 사람이 자신의 개인적인 진실을 가지고 다닐 것입니다. 사실은 귀하와 귀하의 동료 그룹이 믿는 것입니다. 결과적으로 해당 그룹 간의 갈등이 증가할 것입니다. 끔찍한 시간.”