Машинный интеллект - это последнее изобретение, которое человечеству когда -либо понадобится.
Когда мы направляемся не в ту сторону, последнее, что нам нужно, - это прогресс.
Первая ультраистолетная машина - это последнее изобретение, которое нужно сделать, при условии, что машина достаточно послушна, чтобы рассказать нам, как держать его под контролем.
Задача, представленная перспективой суперинтеллигентности, и то, как мы могли бы лучше ответить, вполне возможно, является самой важной и самой сложной задачей, с которой когда -либо сталкивались человечество. И ли мы успешным или провалом-это, вероятно, последняя проблема, с которой мы когда-либо сталкиваемся.
Вы живете в компьютерном симуляции?
В следующем столетии мы будем изобретать радикальные новые технологии - машинный интеллект, возможно, нанотехнологии, большие достижения в области синтетической биологии и других вещей, о которых мы даже не думали. И эти новые способности разблокируют замечательные возможности, но они также могут принести с собой определенные риски. И у нас нет послужного списка выживания этих рисков. Так что, если есть большие экзистенциальные риски, я думаю, что они придут из нашей собственной деятельности и в основном из нашей собственной изобретательности и творчества.
Человеческая природа - это работа.
Мы не должны быть уверены в нашей способности держать супер-разветвленный джинн навсегда заблокированным в бутылке.
Если бы Мать Природа была настоящей родителем, она была бы в тюрьме за жестокое обращение с детьми и убийства.
Далеко не из самых умных биологических видов, мы, вероятно, лучше считаем самыми глупыми возможными биологическими видами, способными начать технологическую цивилизацию - нишу, которую мы заполнили, потому что мы попали в первую очередь, а не потому, что мы в любом смысле оптимально адаптированы к ней.
Самые большие экзистенциальные риски в ближайшие десятилетия или век возникают из -за некоторых, ожидаемых технологических прорывов, которые мы могли бы сделать, в частности, Super Intelligence, нанотехнологии и синтетической биологии. Каждый из них обладает огромным потенциалом для улучшения состояния человека, помогая вылечить болезнь, бедность и т. Д., Но можно представить, что их неправильно используют, используются для создания мощных систем оружия или даже какого -то случайного разрушительного сценария, где мы внезапно в Владение какой -то технологией, которая гораздо более мощная, чем мы можем контролировать или использовать мудро.
Есть некоторые проблемы, которые технология не может решить.
Знание об ограничениях вашего процесса сбора данных влияет на то, какие выводы вы можете сделать из данных.
Мы хотели бы решение проблемы безопасности, прежде чем кто -то выяснит решение проблемы ИИ.
Наш подход к экзистенциальным рискам не может быть одним из проб и ошибок. Нет возможности учиться на ошибках. Реактивный подход - посмотрите, что произойдет, ограничивает ущерб и учится на опыте - не работает. Скорее, мы должны принять упреждающий подход. Это требует предвидели предвидеть новые типы угроз и готовность предпринять решающие превентивные действия и нести затраты (моральные и экономические) таких действий.
Маловероятно, что любая из этих природных опасностей примет нас в течение следующих 100 лет, если мы уже пережили 100 000. В отличие от этого, мы вводим человеческую деятельность, совершенно новые типы опасностей, разрабатывая мощные новые технологии. У нас нет записей о выживании.
Для здоровых взрослых людей действительно большая вещь, которую мы можем предвидеть, - это способы вмешательства в процесс старения, либо замедляя, либо отменив его.
Когнитивное функционирование человеческого мозга зависит от деликатной оркестровки многих факторов, особенно на критических этапах развития эмбрионов, и гораздо более вероятно, что эта самоорганизующая структура, которая должна быть усилена, должна быть тщательно сбалансирована, настроена, настроен, настраивалась, настроена и культивируется, а не просто затопленным некоторым посторонним зельем.
Интернет является большим благом для академических исследований. Прошли те дни, проведенные в пыльных библиотечных стеке, копающихся для журнальных статей. Многие статьи доступны бесплатно для публики в журнале с открытым доступом или в качестве препринтов на веб-сайте авторов.
Как мы можем проследить связи между действиями, которые люди предпринимают сегодня, и действительно долгосрочными результатами человечества - результаты, которые протянулись на неопределенный срок в будущем? Я называю это усилием макростратегией - то есть подумать о действительно большой стратегической ситуации, чтобы оказать положительное влияние на долгосрочное будущее. Существует эффект бабочки: небольшое изменение в начальном условии может иметь произвольно большие последствия.
