Bostrom과 함께 Reed College의 Mark Bedau 교수는 이를 "살아있는 기술"이라고 불렀습니다. 실제로 살아 있기 때문이 아니라 마치 살아있는 것처럼 행동하기 때문입니다.
“그것은 감지할 수 있고, 자율적으로 움직일 수 있고, 자기 조립할 수 있고, 성장하고, 번식할 수 있는 것과 같은 생명체의 본질적인 특성을 가지고 있습니다. 배우고, 적응하고, 발전할 수 있습니다.”라고 그는 말합니다.
“[그들이 실물과 같다]는 것을 인식하면 특별한 종류의 동물을 이해하는 데 도움이 될 것입니다. 귀하가 가지고 있는 책임, 이를 처리해야 하는 방식 또는 이를 우리 회사에 소개하는 방법 생활; 그것이 살아 있기 때문에 더 큰 의미에 대해 생각해야 합니다. 삶은 매우 강력하고, 삶은 매우 예측할 수 없으며, 다양한 형태의 삶은 다양한 도전과 기회를 만들어냅니다.”
우리가 알고 있는 세상의 종말
뭐라고 부르든, 우리를 죽일 수 있는 것은 바로 이 초지능 기술입니다. 컨퍼런스에서 보스트롬은 우리가 신기술을 두려워해야 하는지 질문을 받았습니다. “그렇습니다. 하지만 옳은 일에 대해서는 겁이 나요. 엄청난 실존적 위협이 있습니다. 이는 기계로부터 지구상 생명체의 생존 자체에 대한 위협입니다. 지능 – 오늘날의 방식은 아니지만 미래에 이런 종류의 초지능을 달성한다면” 보스트롬이 말했다.
“일부 작은 생명체의 공학에는 실존적 위험도 있습니다. 합성생물학에서는 사악한 목적으로 사용될 경우 극도로 파괴적일 수 있는 능력을 창출할 수 있습니다.”
자율주행차와 같이 세상을 변화시키는 일부 기술을 통해 우리는 시행착오를 겪을 기회를 갖게 될 것이라고 Bedau는 말합니다. 도중에 일부 사람들이 사망할 수도 있지만, 시스템을 개선하고 사상자를 최소화하기 위해 기술이 진행됨에 따라 미세 조정이 가능할 것입니다.
더 찾아 봐
무인자동차로 인한 사망
다른 혁신으로는 두 번째 기회를 얻지 못할 것입니다. "우리가 뭔가를 시도하고 실수로부터 배울 수 있는 도전의 종류에는 차이가 있습니다. 지금까지 인간이 직면한 거의 모든 도전은 그런 종류였습니다."라고 Bostrom은 말합니다.
“지구를 오염시키면 청소할 수 있어요. 자동차가 충돌하더라도 더 안전하게 만들 수 있습니다. 실존적 위협은 다릅니다. 그것이 우리 종의 생존에 위협이 된다면, 우리는 단 한 번의 기회만 얻을 수도 있습니다.” 이는 우리가 무슨 일이 일어나는지 기다릴 수 없다는 것을 의미합니다. 그는 “선제적인 예측이 필요하다”고 말했다.
"기본적으로 기계의 초지능은 원하는 결과를 달성하는 데 매우 능숙한 것으로 생각하면 됩니다."라고 그는 말합니다. “너무 좋아서 인간의 반대를 압도할 수 있었습니다. 그러면 모든 것은 선호하는 것이 무엇인지에 따라 달라지므로 선호도를 정확하게 올바른 방식으로 설계할 수 없다면 문제가 발생합니다.”
와의 인터뷰에서 이온 매거진보스트롬의 FHI 동료인 다니엘 듀이(Daniel Dewey) 연구원은 우리가 초지능 기계를 만들고 이를 통해 일련의 컴퓨터를 구축할 수 있다고 제안합니다.
작동할 수도 있지만 그렇게 하려면 “거대한 태양 전지판을 만들기 위해 지구를 부수는 등의 중간 단계가 필요할 수 있습니다. 우리가 건물을 지을 때 뿌리 시스템이나 개미 군집을 고려하지 않는 것처럼 초지능은 그러한 상황에서 우리의 이익을 고려하지 않을 수 있습니다.”
우리를 행복하게 만들기 위해 시스템을 완전히 설계하려고 노력하더라도 우리는 무엇이 무엇인지에 대한 특정 가정을 가져옵니다. 즉, 우리는 모두가 쾌활할 것이라고 기대할 수 있지만 기계는 단순히 우리를 헤로인에 중독시킬 수도 있습니다. 유명한.
AI 저널 Minds and Machines의 논문에서 Bostrom은 작은 작업에서도 이런 일이 발생할 수 있다고 지적했습니다. 초지능 기계에는 종이 클립 32개를 만드는 것과 같은 간단한 목표가 주어질 수 있습니다. 파이를 계산하지만 "대리인에게 관련 비용이 발생하지 않는다면 무제한의 자원 획득을 추구할 수 있습니다." 그렇게 하고 있다”.
