Выступая вместе с Бостромом, профессор Марк Бедо из Рид-колледжа назвал это «живой технологией» — не потому, что она на самом деле живая, а потому, что она ведет себя так, как будто она есть.
«Он обладает важнейшими свойствами живых существ, такими как способность чувствовать, способность двигаться автономно, способность самособираться, расти, воспроизводиться; способность учиться, адаптироваться и развиваться», — говорит он.
«Когда вы осознаете, что [они реалистичны], это поможет вам понять особые виды какие у вас есть обязанности, как вам, возможно, придется с ними обращаться или как представить их в нашей жизни; поскольку он жив, вам нужно подумать об их более широких последствиях. Жизнь очень могущественна, жизнь очень непредсказуема, жизнь в ее различных формах создает разные проблемы и возможности».
Конец света, каким мы его знаем
Как бы вы это ни называли, именно эта сверхумная технология может нас убить. На конференции Бострома спросили, стоит ли нам бояться новых технологий. «Да, — сказал он, — но боюсь правильных вещей. Существуют огромные экзистенциальные угрозы, это угрозы самому выживанию жизни на Земле, исходящие от машин. интеллект – не такой, какой он есть сегодня, но если мы достигнем такого рода сверхразума в будущем». — сказал Бостром.
«Существует также экзистенциальный риск при создании некоторых более мелких форм жизни; в синтетической биологии это может создать возможности, которые, если их использовать в злых целях, могут оказаться чрезвычайно разрушительными».
«С некоторыми технологиями, меняющими мир, такими как беспилотные автомобили, у нас появится возможность для проб и ошибок», — говорит Бедо. Хотя некоторые люди могут погибнуть по пути, мы сможем совершенствовать технологию по мере ее развития, чтобы улучшить системы и минимизировать потери.
Узнать больше
Смерть от беспилотного автомобиля
С другими нововведениями второго шанса у нас не будет. «Существует различие между типами задач, в которых мы можем пробовать что-то и учиться на своих ошибках — до сих пор почти все проблемы, с которыми сталкивались люди, были такого рода», — говорит Бостром.
«Если мы загрязним планету, мы сможем ее очистить. Если мы разобьем машину, мы сможем сделать ее безопаснее. Экзистенциальная угроза другая. Если это угроза самому выживанию нашего вида, у нас может быть только один шанс». Это означает, что мы не можем ждать и смотреть, что произойдет. «Нам необходимо активное предвидение», — говорит он.
«По сути, просто думайте о машинном сверхразуме как о чем-то, что действительно хорошо помогает в достижении желаемых результатов», — говорит он. «Настолько хорошо, что может преодолеть человеческое сопротивление. Тогда все зависит от того, что он предпочитает, поэтому, если вы не сможете правильно сконфигурировать его предпочтения, у вас будут проблемы».
В интервью с журнал ЭонКоллега Бострома из FHI, научный сотрудник Дэниел Дьюи, предполагает, что мы могли бы создать сверхразумную машину и поручить ей создание массива компьютеров.
Это могло бы приступить к работе, но это «может включать промежуточные шаги, такие как разрыв Земли на части для создания огромных солнечных панелей. В таких ситуациях сверхразум может не учитывать наши интересы, точно так же, как мы не принимаем во внимание корневую систему или колонии муравьев, когда строим здание».
Даже если мы пытаемся спроектировать систему, которая бы приносила нам счастье, мы привносим с собой определенные предположения о том, что именно делает нас счастливыми. это значит – мы могли бы ожидать, что все будут веселы, но машина может просто накачать нас героином, Эон отмеченный.
В статье для журнала AI Minds and Machines Бостром отметил, что это может произойти даже с небольшими задачами. Сверхразумной машине можно было бы поставить простую задачу – например, сделать 32 скрепки для бумаг или вычисление числа «пи», но «мог бы добиваться неограниченного приобретения ресурсов, если бы агенту не было соответствующих затрат». делать это".
