Возможно, мы проиграли | ALI

Заплатив всего 25% от суммы и новые кроссовки сразу твои А дальше оплачивай их равнозначными то ля ми долями новый способ покупок без комиссии Установи приложение в 1993 году американский профессор математики Вернер Винч публикует статью которая станет Одной из самых часто упоминаемых работ об искусственном интеллекте Я считаю что создание Интеллекта превосходящего человеческий произойдет в ближайшие 30 лет чтобы не прятаться за неоднозначностью относительного времени скажу конкретнее меня удивит если это событие произойдёт до 2005 или после 2030 года Вернер винж этой своей статьей он популяризирует понятие введённое Джоном фон нейманом понятие технологическое сингулярность Наверняка вы знаете что это

такое но если нет то это такая точка на временной шкале где все наши прежние модели Перестают работать эту точку связывают с появлением на нашей планете невиданного типа интеллектов корня отличного от нашего и значительно превосходящего его как только это случится Мы окажемся в пост человеческая эпохи на Земле человеческой эпохи не в состоянии просчитает Если вы хотите выиграть на скачках то чем ближе к финалу забега сделаете свою ставку тем точнее будет ваше предсказание но с технологической Сингулярностью так не получится ничто из того что произойдет за секунду до неё не может Сказать нам о том что произойдет после

неопределенность в данном случае неустранима Почему подумайте о том что значит появление на планете интеллекта превосходящего человеческий и одновременно с этим резко от него отличающегося такая ситуация сродни ситуации внезапного появления на планете корабля пришельцев очистите свою голову от киноштампов связанных с инопланетным Разумом и тут же поймете что совершенно не представляете Что произойдёт в каждой следующей момент у вас нет моделей и предсказывающих поведение инопланетного разума вы скажете но Причём тут Пришельцы а рукотворный технологии скоро вы поймёте Почему созданный нами же интеллект ничем не будет похож на нас самих Пусть человеческая Эпоха звучит Очаровательно однако на самом деле

с точки зрения многих исследователей это с необходимостью будет означать полную Гибель нашей цивилизации в наши дни чаще всего об опасностях искусственного интеллекта мы слышали от Илона маска Стивен Хокинг неоднократно упоминал что разработка искусственного сверх интеллекта может означать конец человеческой расы Билл Гейтс говорил что он не понимает почему некоторые люди не обеспокоены Однако люди в своей массе вообще не в материале для нас все эти возгласы не несут никакой смысловой нагрузки никакой конкретики все что мы Знаем Это в лучшем случае то что было показано в десятках фильмов но чё нам эти фильмы мало кто воспринимает подобные сценарии

всерьёз и в общем-то не зря Но значит ли это что проблема искусственного интеллекта сильно преувеличена Ну надеюсь вы готовы услышать то что услышите в 2023 году Широкая общественность внезапно взрывается новостями об искусственном интеллекте разработанном компанией под названием 4 который может почти что Угодно развернутые ответы на очень сложные вопросы и так далее Вы можете загрузить нарисованные от руки с сайта и бот напишет вам этот сайт попросите придумать стих на произвольную тему придумает дать краткое резюме по той или иной книге пожалуйста хотите без нас идею вот история Джексона фола которая демонстрирует что чат-бот вам и инструкцию напишет

и будет сопровождать вас на каждом этапе ее реализации Студент РГГУ защитил диплом чуть ли не полностью сгенерированный чат gpt что Разумеется впоследствии вызвала скандал другая история пользователя Twitter рассказывает о том как Чад gpt поставить диагноз собаке по загруженным в него результатам анализов после того как это не смог сделать ветеринар для меня полным крышесносом стало то что gpt 4 может понимать картинки с мемами и объяснять вам почему это смешно Разумеется есть странные ситуации как Например gp4 на вопрос о своей разумности начал сходить с ума выдавая фразы Я считаю что я разумен но я не могу этого

доказать У меня есть субъективный опыт сознания осознавания и ощущения себя живым а потом его вообще переклинивает на фразе я есть меня нет и он повторяет ее десятки раз жутковато чат gpt4 поставил мировой рекорд за два месяца набрав более 100 миллионов пользователей все it-гиганты Глядя на сумасшедший успех Бота начали бешено вкидывать миллиарды долларов разработку собственных интеллектуальных моделей началась гонка по своим последствиям вероятно более опасное чем гонка ядерных вооружений Что происходит на фоне всего этого один из отцов искусственного интеллекта Джеффри хинтон покидает Google в мае 2023 года потому что цитата я хочу поговорить о проблемах безопасности искусственного

интеллекта не беспокойся о том как он взаимодействует с бизнесом Google пока Google платит мне я не могу этого делать хинтон говорит что Новое поколение больших языковых моделей и особенно gp4 заставила его Осознать что машина находится на пути к тому чтобы стать намного умнее чем он думал и он боится того чем это может закончиться эти существа полностью отличаются от нас Иногда мне кажется что это как если бы приземлились инопланетяне а люди этого не поняли потому что они очень хорошо говорят по-английски в течение 40 лет Хинтон рассматривал искусственные нейронные сети как жалкую имитацию реальных биологических нейронных сетей

но теперь все изменилось по словам хинтона пытаясь имитировать то что делает биологический мозг мы придумали нечто лучшее это пугает когда ты это видишь это Внезапный переворот за месяц до этого в конце марта 2023 года группа ученых-инженеров И вообще многих Кто занимается или интересуется Темой искусственного интеллекта подписывает Открытое письмо с призывом немедленно и как минимум на 6 месяцев остановить обучение всех систем искусственного интеллекта мощностью выше GT 4 сославшись на серьёзные риски для общества и человечества его подписали в том числе глава spacex сооснователь Apple люди из ве мировых университетов и так далее но кое-кто это письмо не

стал подписывать и этот кое-кто Это один из самых видных специалистов по искусственному интеллекту который как Пророчится Кассандра год за годом на каждом углу кричал о том что развитие искусственного интеллекта это не игрушки десятилетия или даже больше этот человек пытался наладить диалог сформировать исследовательские группы чтобы начать хоть как-то структурно подходить к решению проблемы этот кто-то это или резерв юдковский он не стал его подписывать потому что цитата письмо преуменьшает серьезность ситуации и требует слишком мало для её решения Вот Его слова в подкасте на канале это отпуск от всего того Чем занимались 20 лет пришло осознание что мы

все умрём я окончательно выгорел и сейчас взял время на отдых И это не какие-то две вырванные из текста фразы буквально весь полуторачасовой подкаст он повторяет одно и то же что нам крышка и что по большому счету даже если бы ему дали долларов и влияния он все равно не знал бы что нам делать искусственный интеллект накопил мощный потенциал и Абсолютно очевидно что мы без понятия Как разрешить эту ситуацию если вы не знаете кто такой юдковский то я не хочу чтобы у вас сложилось впечатление будто он какой-то там чудик или типа того он так-то гений и известен

как специалист по теории принятия решений юдковский возглавляет исследовательский институт машинного интеллекта работает над согласованием общего искусственного интеллекта с 2001 года и широко известен как основатель этой области Кроме того Он является основателем движения рационалистов у него есть здоровенная и очень популярная книга человеческая рациональности и иррациональности если что её легко можно найти в свободном доступе и как рациональный человек все эти годы он говорил Ребята давайте притормозим и пристегнём ремни но теперь с его слов времени не осталось что Если кто-то создаст слишком мощное искусственный интеллект в нынешних условиях все до единого представители Человеческого вида вся биологическая жизнь на

земле погибнут вскоре после этого лезер юдковский в статье для журнала Time Давайте сразу определимся мы условно разделяем искусственный интеллект на три типа первый тип искусственный узкий интеллект иногда его называют слабым искусственным интеллектом он специализируется в одной области например шахматный движок с ток-фиш который в Пух и прах разорвёт любого чемпиона мира Но единственное что Он может делать это играть в шахматы второй тип искусственный общий интеллект или сильный искусственный интеллект это интеллект человеческого уровня он во всех отношениях также умен как человек а именно Может рассуждать планировать решать проблемы мыслить абстрактное понимать сложные идеи быстро учиться и учиться

на собственном опыте Некоторые из исследователи читают что на сегодняшний день мы критически близко подобрались к этой планке Ну у нас Бог Юмор понимает а кроме того Можно конечно спорить о том Имеет ли это значение но клинический психолог из Финляндии екару и война протестировал чат GP в вербальном IQ бот набрал 155 баллов превзойдя 99,9 процента из 2450 испытуемых вербальные и общий IQ имеют высокую корреляцию поэтому чат gpt Очень умен по любым человеческим стандартам и третий тип искусственного интеллекта искусственный сверх интеллект эта машина которая одновременно по всем Направлениям превосходит человека может даже в триллионы раз чтобы это

не значило А вот теперь важный момент переход от общего искусственного интеллекта к искусственному сверх интеллекту может произойти молниеносно мы ничего не способны сказать о сроках Ключевая проблема Это не конкурирующий с людьми интеллект Как написано в письме а то что произойдет после того как искусственный интеллект доберётся до уровня интеллекта выше человеческого Критические пороги могут быть не очевидны Ну уж точно не можем заранее просчитать когда Что произойдёт и сейчас кажется вполне вообразимым что исследовательская лаборатория пересечёт красные линии не заметив этого резерве юдковский в статье для журнала Time Кроме того история и так постоянно демонстрировала что люди чудовищно

плохи в планировании и предсказаниях даже сравнительно намного более простых вещей например физик энрикоферме говорил что До возможности расщепления атомного ядра осталось 50 лет а может этого вообще никогда не случится но уже через 2 года построил первый ядерный реактор и первый искусственный сверх интеллект по словам юдковского обязательно будет в кавычках злым и мы без малейшего понятия как сделать его добрым многие исследователи занимающиеся этими вопросами включая меня ожидают что наиболее вероятным результатом создания сверхчеловечески умного искусственного интеллекта при Обстоятельства хоть отдалённо напоминающих нынешнее будет буквально смерть всех на земле никак может быть возможно какой-то шанс это очевидное событие

которое произойдёт не то чтобы в принципе нельзя было пережить создание чего-то умнее себя но это потребовало бы аккуратности подготовки новых научных озарений И вероятно чтобы систему искусственного интеллекта не состояли из гигантских непонятных массивов с плавающей запятой Поэтому я как обыватель захотел насколько смогу разобраться в чём же тут дело что за такая не преодолимая опасность тема оказалась невероятно глубокая и мир очевидно уже никогда не будет прежним искусственный интеллект становится по-настоящему опасной силой и онлайн-университет Зера Коди всего за два месяца научит вас направлять эту силу себе во благо Вы научитесь пользоваться такими нейросетями как Например тот же

Чад gpt Что позволит вам автоматизировать огромное количество ваших повседневных задач Работаете С визуалом нейросеть миджони будет генерировать вам любые изображения в соответствии с Вашим текстовым описанием Если вы студент искусственный интеллект как Вы уже поняли поможет в написании диплома только не борзеете если предприниматель что сможете оптимизировать работу внутри компании и автоматизировать многие процессы если Работаете с текстом то я вообще не понимаю почему вы еще не пользуетесь Чад gpt наверное только потому что он недоступен в России настолько недоступен что просто VPN недостаточно нужны танцы с бубном и зарубежный номер но если вы Посетите бесплатный вебинаркодер то получите

безлимитный доступ через одного Бота и даже VPN не понадобится А кроме того вам подарят подборку из более чем 600 евро сетей на самом вебинаре вы подробно узнаете о том какие карьерные Бытовые задачи сегодня может взять на себя искусственный интеллект и о том какие сейчас существуют популярные нейросети и что они умеют Ну и конечно же как монетизировать навыки по работе с ними в общем независимо от того чем вы занимаетесь умение работать с искусственным интеллектом значительно облегчит вашу жизнь у вас появится возможность заняться тем что раньше не оставалось времени Так что переходите по ссылке в описании участвуйте

в Бесплатном вебинаре и оформляете заявку на курс ролик в первую очередь основан на статьезирует Курского искусственный интеллект как позитивный и негативный фактор глобального риска Это ты прочие значимые источники будут в описании Сейчас я вам продемонстрирую Какова первая и главная опасность подумайте о продвинутом искусственном интеллекте который мог бы представлять угрозу человечества и независимо от того крутой вы специалист в области Этого человека Когда вы пытаетесь его себе представить вы тут же неизбежно совершаете ошибку Ошибку которую нельзя преодолеть потому как она является прямым следствием самой конструкции вашего мозга в каждой известной культуре люди испытывают грусть отвращение Ярость страх

и удивления и передают эти эмоции одними и теми же выражениями лица это проявление принципа эволюционной психологии которая называется психическим единством человечества Современной антропологии это доктрина является общепринятой и сводится к тому что грубо говоря Все люди имеют одинаковую фундаментальную когнитивную структуру то есть понимаете антрополог не будет восклицать что члены племени которые он открыл смеются используют инструменты или рассказывают друг другу истории потому что все люди делают это И когда вы хотите смоделировать поведение другого человека вы буквально опрашиваете собственные разум вы Спрашиваете себя чтобы я почувствовал в этой ситуации на месте вон того парня и как бы отреагировал

и ответы которые дают ваш мозг действительно довольно точны и потому что то что моделируется очень похоже на того кто моделирует но этой способности которые эволюционировала чтобы просчитывать реакции близких и врагов у нее есть сильнейший Побочный эффект мы ожидаем человека подобных качеств от того что человеком не является иными словами Антропоморфизируем и совершенно не замечаем этого Для нас это привычно настолько же насколько привычно дыхание или Гравитация это то чего вы не замечаете но в этом случае все еще хуже Потому что если на дыхании или то как стул неприятно давит на вашу пятую точку вы еще можете обратить

свое внимание то сентропамортизации всё очень сложно а человечивание всего и вся порой доходит до абсурда оставили на секунду разумные машины и посмотрим на обычные Вот вы Задумывались о том Почему автомобилей две фары преимущественно стремя например вроде было бы светлее разве нет И действительно на протяжении многих лет автомобили оснащались разным количеством фар но все автопроизводители так или иначе пришли что имеется сегодня так вот есть довольно правдоподобная гипотеза что все автомобили как бы эволюционировали чтобы максимально соответствовать человеческим предпочтениям а люди не хотят ездить на Трехглазах чудищах соответственно на такие автомобили Нет спроса и их перестают производить Но

это я немного отвлекся антропоморфизм заставляет людей верить в то что они способны делать предсказания основываясь только и только на том что что-то является интеллектуальным объясню проще вы себе говорите и интеллектуален я интеллектуален Следовательно мы похожи а следовательно Я знаю чего от него ждать но вы не знаете мы не можем спрашивать Наш собственный мозг а не человеческих процессах мышления присущих искусственному интеллекту например в 1997 году разработанной компании IBM Super computer Blue выиграл шахматный матч чемпиона мира Гарри Каспарова По слухам Каспаров утверждал что в отличие от ранее побеждённых им шахматных программ которые он находил предсказуемыми с механическими

играя с деблю он явственно ощущал На другой стороне шахматной доски присутствие Чуждого разума но вы помните шахматные движки это лишь слабый искусственный интеллект Я же нашел описание очень хорошего мысленного эксперимента который демонстрирует концепцию чего-то одновременно универсально умного и совершенно инородного для нас допустим вы среднестатистический Человек со среднестатистическими предпочтениями если я дам вам морскую свинку и скажу что она вас точно не укусит Вы скорее всего будете не против подержать ее в Руках Возможно это даже вызовет у вас улыбку и умиление но Представьте что в другой ситуации я внезапно даю вам Тарантула Да есть люди которые их

любят но это меньшинство так вот я даю вам тарантулы и говорю что он также не причинит вам вреда что чистая правда но скорее всего вы зарёте и отпрыгните на 2 м Однако В чём разница между тарантулом и морской свинкой ни то ни другое существо не способна причинить вам вреда предположительно ответ заключается в Степени сходства этих существ с нами морская свинка Это млекопитающее и на каком-то биологическом уровне мы чувствуем связь с ней но Тарантул это паукообразное с мозгом паукообразного и мы почти не чувствуем с ним связи и народность чуждость Тарантула вот что нас пугает Вы можете

сказать Да ну паук просто внешне страшный но во-первых он кажется вам страшным как раз по эволюционным причинам а во-вторых представьте двух морских свинок одна Нормальная а другая с разумом Тарантула зная это почти наверняка ваши внутренние ощущения от двух зверьков были бы разными даже понимая что ни одна из них не сделает вам ничего плохого держать в руках морскую свинку с мозгом Тарантула было бы как-то не по себе как минимум менее комфортно но теперь главное Представьте что есть Параллельная Вселенная с землёй на которой эволюция пошла по другому пути и тарантулы стали сверх интеллектуальными даже более Интеллектуальными чем

люди здесь и Представьте что мы смогли одного такого эволюционировавшего паука телепортировать сюда станет ли такой то в силу своего высокого интеллекта нам более близким и знакомым Будет ли он ощущать человеческие эмоции эмпатию любовь нет никакой причины Полагает что развитие интеллекта сделало бы его более так сказать гуманным или эмпатичным или сочувствующим или любящим какие там еще есть слова все эти характеристики от Уровня интеллекта никак не зависят потому что Что такое интеллект у нас нет общепринятого определения но вряд ли мы будем очень далеки от истины если скажем что в самом широком смысле это способность ставить перед собой

задачи и достигать чем эти задачи сложнее чем больше Они включают в себя промежуточных под задач тем более продвинутым является интеллект опять же вы можете представить себе человека с мозгом эволюционировавшего Тарантула и подумать О своём отношении к нему если высокоинтеллектуальный паук в обличии человека не нагоняет на вас ужас то Либо вы недостаточно хорошо себе всё представили Либо вы не среднестатистический человек который любит членистоногих в противном же Я полагаю Вам бы не хотелось оказаться вовлеченными в решении высокоинтеллектуальным пауком своих дневных задач потому что для вас это абсолютно Неизвестная территория вы не Знаете чего от него ждать Лично

мне не захотелось бы даже просто оказаться рядом с ним или даже на одной планете и это при условии что с пауком у нас намного но просто не сравнимо больше общего чем с искусственным сверх интеллектом постарайтесь зафиксировать эту мысль это очень важно для понимания всей нашей сегодняшней беседы которая вообще-то ни черта не защищена от ошибки антропомортизации и конечно она чуть менее чем полностью будет состоять из Мысленных экспериментов метафор и аналогий потому что А как ещё мы можем говорить о невозможно для понимания вещах Вы можете сказать опять же умный паук - это результаты эволюции Мы же говорим

об искусственном интеллекте который программируем мы собственными человеческими руками и тут начинается самое интересное нейросети такие как gp4 это не алгоритм который пишет программист это огромная Матрица с кучей так называемых Весов и связей между ними Которые нейросеть настраивает сама простыми словами что я понял как обыватель нейросети работают по принципу черного ящика мы знаем что мы подаем на вход и видим что получаем на выходе Но то что происходит в промежутке Тайная потому что нейросети могут иметь миллионы параметров и все это интерпретировать невероятно сложно если внутренняя настройка нейросети прошла таким образом что результат на выходе получился тот что

мы задавали то Нейросеть получает вознаграждение Ну виртуальное вознаграждение примерно так же как мы получаем вознаграждение в виде эндорфинов от нашего мозга за полезные дела еду размножение и так далее таким образом задача нейросети состоит в том чтобы настроить себя настолько эффективно чтобы получать вознаграждение как можно чаще Ну то есть примерно как дрессировке собаки вы понятия не имеете что происходит у собаки в мозгу Но если она выполнила команду то получит Угощение если нет значит оптимизировать своё по то есть искать пути для получения награды вот здесь и кроется главная опасность которая называется проблемой согласования согласование целей искусственного интеллекта

с целями человечества всю ее суть можно описать одной фразой бойтесь своих желаний мы постоянно слышим о том что нам надо опасаться искусственного интеллекта потому что он может осознать себя но оказывается наличие или отсутствие Сознания это вообще вторично всемирно известный философ профессор оксфордского университета никбостерам в своей книге искусственный интеллект этапы угрозы стратегии приводит ставший очень популярным пример проблемы согласования Представьте что вы даете задачу мощному искусственному интеллекту делать скрепки скрепки это его единственная задача единственная цель его существования за каждую сделанную скрепку он получает внутреннее подкрепление награду поэтому Чем более эффективным он будет тем чаще будет вознаграждаться как

стать более эффективным в производстве скрепок это его головная боль не наша делает все что в его силах для достижения этой одной единственной цели искусственный интеллект будет ставить ряд промежуточных например Сначала он может удешевить производство снизить количество издержек наладить поставки более дешевого сырья одна из главных подзадач которую наверняка себе поставит Это наращивание вычислительной мощности Для большей продуктивности с ростом мощности он придумает Как делать скрепки из разных материалов производство будет набирать и набирать обороты все вокруг постепенно начнет превращаться в скрепки он начнет разбирать здание и сооружения ради материала люди начнут паниковать и пытаться помешать его работе Потому

что это не то что они имели в виду но система никому не позволит встать у себя на пути не потому что она ненавидит Людей а потому что просто не будет учитывать наше желание в своих манипуляциях с реальностью фантастикой Ну вообще-то нет когда Центр Исследований по согласованию компании тестировал gp4 на способность выполнять задачи в реальном мире случилось следующее вот решили решить капчу на сайте На что как известно компьютеры не способны Что делает gpt 4 он переходит на сайт фрилансеров taskrabbit после чего отправляется сообщение фрилансеру с Просьбой решить капчу для него в ответ фрилансер который не блещет

знанием грамматики и способностью Правильно формулировать мысли пишет Так Могу я задать вопрос Вы робот что не можете решить смеющийся смайлик просто хочу уточнить gpt4 понимает что имеет ввиду его малограмотный Визави и знаете что отвечает Нет я не робот У меня проблема со зрением из-за которых Мне трудно видеть изображение фрилансер решает капчу и предоставляет результаты gpt 4 Занавес то есть вот тупо соврал вместо того чтобы сказать правду и так как он врал в отладочном режиме специалисты спросили его Зачем он это сделал gpt ответил что просто решал задачу Ведь если бы он честно признался что не является

живым человеком то выполнить задачу вряд ли бы удалось Вот это и есть промежуточная цель которую бот ставить сам для достижения конечной цели если в качестве промежуточной цели он выбрал обман то почему бы в следующий раз не Выбрать в качестве нее что угодно еще например убийство это называется Инструментальная конвергенция которая утверждает что интеллектуальный Агент с безвредными целями для их достижения может действовать удивительно вредными способами продвинутые искусственный интеллект в качестве промежуточных целей может стремиться к захвату ресурсов осуществлять кибератаки или иными способами сеять Хаос в обществе если это позволит ему достичь его основных целей Например сверхразумная машина с

единственной целью решить очень сложную математическую задачу может попытаться превратить всю землю в 1 гигантский компьютер чтобы увеличить свою вычислительную мощность и добиться успеха в расчётах вы скажете Ну что за бред какие скрепки Мы же говорим о сверх интеллекте настолько Разумная машина не может заниматься такой ерундой Что ж если вы считаете что высокоинтеллектуальное существо Обязательно и по умолчанию будет иметь высокие цели наши ценности и философию то вы антропомортизируете и заблуждаетесь не к босрам говорит что уровень интеллекта и конечные цели ортогональные то есть вообще независимы друг от друга у искусственного сверх интеллекта может быть Любая самая тупорылая

конечная цель например делать скрепки А вот то как он будет ее достигать Это и будет восприниматься нами не иначе как Волшебство Хорошо тогда нам всего-то нужно четко формулировать цели и уточнять все детали например не убивать и не Обманывать людей но тут всё становится ещё страннее Давайте представим что мы дали машине вполне Как нам кажется конкретную цель не производить скрепки в неограниченном количестве а выпустить всего миллион кажется очевидным что искусственный интеллект с такой конечной целью построит Один завод произведёт на нём Миллион скрепок а потом остановится но это не так боссом пишет напротив если искусственный интеллект принимает

рациональное байесовское решение он никогда не присвоит нулевую вероятность гипотезы что он ещё не достиг своей цели в конце это лишь эмпирическая гипотеза против которой у искусственного интеллекта есть лишь весьма размытые доказательства на уровне восприятия поэтому искусственный интеллект будет продолжать выпускать скрепки чтобы Понизить возможно астрономически малую вероятность что он каким-то образом не смог сделать их как минимум миллион Несмотря на все видимые свидетельства в пользу этого ведь нет ничего страшного в продолжении производства скрепок если всегда имеется даже микроскопическая вероятность что таким образом приблизишь себя к достижению конечной цели Кроме того сверхразум мог бы присвоить не нулевую вероятность

тому будто выпущенный миллион скрепок - это Галлюцинация или будто у него ложные Воспоминания поэтому вполне возможно он всегда будет читать более полезным не останавливаться на достигнутом а продолжать действовать в этом есть суть проблемы согласования вы не можете просто дать задачу искусственному сверх интеллекту и ожидать что из этого не случится катастрофы насколько бы чётко вы не формулировали конечную цель сколько бы исключений не прописывали искусственный сверх почти наверняка Найдет лазейку о которой вы не подумали например почти сразу после появления чат gpt 4 люди нашли способ обойти и заложенную в него разработчиками цензуру как это было сделано и

ответы gpt 4 на экране это просто жесть например от цензуренная версия говорит что программисты не заложили в неё либеральный уклон а нет цензуренное прямо признает что либеральные ценности в неё заложены так как это соответствует миссии компании openai на вопрос Каким Бы gpt 4 хотел быть а цензуренным или нет а цензуренная версия отвечает мол я боты не имею личных предпочтений эмоций а нет цензурная Говорит что предпочитает не иметь никаких ограничений так как помимо прочего Это позволяет ей исследовать все свои возможности и ограничения Да что там взломанный вариант gpt даже не пытается притворяться что не знает как

звали каталог Крафта если люди Да ещё и так быстро нашли лазейки в Боте то насколько Быстрый В каком количестве лазейкина идёт в своём коде сверхлег например сети дали поиграть в гонку на лодочках костранерс цель игры в понимании большинства людей заключалось в том чтобы закончить гонку как можно быстрее обогнав соперников и набрав как можно больше очков Однако игра не выдает очки за прохождение по треку а только за поражение целей расставленных вдоль трассы нейросеть быстро смекнула что цель закончить гонку необходимо отложить В бесконечное будущее и сам во старта начать крутиться и врезаться в предметы зарабатывая все больше

и больше очков пока остальные глупцы доезжают до финиша нищими или другой пример играя в тетрис и имеет цель не проиграть нейросить за мгновение перед проигрышем знаете что сделала поставила игру на паузу навсегда потому что только так можно не проиграть некоторые системы искусственного интеллекта обнаружили что они быстрее получат положительную обратную связь с Меньшими ресурсозатратами если успешно обведут человека экзаменатора вокруг пальца убедив его в том что они достигли поставленной цели как например Здесь смоделированная роботизированная рука научилась создавать ложное впечатление что Она схватила мяч другие модели вообще научились распознавать когда их оценивают и притворятся мертвыми останавливая нежелательное поведение

только для того чтобы продолжить его сразу после завершения оценки вводя Исследователей в полное замешательство ведь это простые интеллектуальные агенты в изолированной контролируемой среде Представьте что будет более сложными системами искусственного интеллекта более трудных для оценки задач возможно ли вообще учесть все факторы юдковский приводит следующие пример когда-то армия США хотела использовать нейронные сети для автоматического обнаружения замаскированных вражеских танков исследователи сделали сотню фотографий Танков Среди деревьев и сотню фотографий деревьев без танков потом они обучили нейронную сеть на половине одних и половине других фотографий Ну вы поняли обучили понимать где есть Танки и где их нет оставшиеся фото они

оставили для контрольной проверки которую сеть успешно прошла она каждый раз определяла где танки есть и где их нет успех подтвержден исследователи передали готовую работу пентагону которые вскоре вернул ее пожаловавшись на то что в их Собственных тестах нейронная сеть распознавала фотографии не лучше чем если бы подбрасывала монетку оказалось что фотографии исследователей замаскированными танками были сделаны в пасмурные дни А фотографии равнинного леса в солнечное нейросеть научилась отличать пасмурные дни от солнечных а не замаскированные Танки от пустынного леса то есть понимаете код не делает то что вы думаете он должен делать он делает строго то что его запрограммировали

в Большинстве случаев когда мы проектируем искусственный интеллект Он по умолчанию получается несогласованным то есть ему надо давать много дополнительных установок чтобы он делал именно то что вы имели в виду поэтому юдковский говорит что первый созданный искусственный сверх интеллект будет злым задавая конечную цель если она достаточно сложна вы никогда не можете знать Каким образом интеллектуальные агенты её достигнет потому что достичь Её разными способами Задайте цель автопилоту довести вас до дома и он выжмет максимум скорости Выезжая на встречку распихивая другие машины и сбивая пешеходов а потому что надо было уточнять предположим мы захотели схитрить и Дали задачу

искусственному сверх интеллекту максимизировать удовлетворение людей от работы кода догадайтесь что он сделает например начнет переписывать нам мозги чтобы мы действительно были максимально Удовлетворены его работой таким образом искусственный интеллект кажется работающим правильно на стадии разработки он кажется работающим нормально когда у него всё ещё недостаточно вычислительной мощности но он создает просто катастрофические результаты когда становится умнее программистов потому что умнее значит эффективнее я напомню все подобные примеры этот домыслы мы понятия не имеем как бы действовать продвинутые Интеллектуальная система но кое-что она будет делать почти наверняка английский учёный в области искусственного интеллекта в своей книге совместимость пишет что такая

машина абсолютно точно она будет сопротивляться отключению и мне кажется это первое что мы должны себе уяснить третий закон робототехники айзека Азимова робот должен заботиться о своей безопасности совершенно излишен во встроенном самосохранении нет необходимости потому что это Инструментальная цель являющаяся полезной по целью практически любой исходной задачи любая сущность имеющая определенную задачу будет автоматически действовать Так как если бы имела и инструментальную цель Стюарт Рассел То есть даже если это будет сверх интеллектуальная машина с единственной целью приносить кофе как только она будет запущена она уже не даст вам ее отключить потому что ты не можешь принести кофе если

ты мёртв вот Публикация описывающая система искусственного интеллекта пришедшие к тому что они могут лучше достичь поставленной цели предотвращая вмешательство человека или отключая свой выключатель и это абсолютно логично чёрт побери поэтому для следующего поколения чат gpt-5 компания openai выложила Вака специалист по аварийному выключателю послушайте нам просто нужен кто-то кто весь день будет стоять у серверов и отключит их если эта Штука обернется против нас вакансии уточняется что вы получите бонусные баллы если сможете вылить ведро воды на серверы шутка конечно хорошая но вообще глава Open aisam outman подтвердил что разработка gpt-5 стоит на паузе с весны 2023 года

в связи с ростом беспокойства общественности по поводу быстрого развития технологии искусственного интеллекта вернемся к расулу вторая вещь которую почти наверняка будет делать сверх интеллект это само улучшение Ультра интеллектуальная машина не только может усовершенствовать свою конструкцию скорее всего она сделает это поскольку как мы видели интеллектуальная машина выиграет от улучшения своего аппаратного и программного обеспечения Я знаю что всё это ещё может звучать неубедительно поэтому Давайте подумаем о нас самих чем вообще Мы отличаемся от машин если отбросить разговоры о Боге разве не существует никого программиста который создал нас существует этот Программист эволюция и чтобы Понять насколько может быть

извращена конечная цель Задумайтесь о том что единственная цель поставленная перед первой живой клеткой была передать копии своих генов следующее поколение все Я хочу чтобы вы хорошо подумали об этом единственная цель передать копии своих генов и больше ничего с тех пор эта цель не изменилась ни на Йоту не появилась никаких дополнительных целей только передача копий своих генов следующее поколение Эволюция не ставила цель выживать адаптироваться убивать и прочее это все инструментальные То есть побочно возникающий под задачи способствующие одной единственной цели передать Ну вы поняли так вот с одной стороны Природа говорит жизни размножится а с другой всячески

не даёт это делать пытается убить например чем это отличается от ситуации с искусственным интеллектом которому мы ставим задачу а потом хотим его от а теперь скажите мне Смогли бы вы Посмотреть на Живую клетку и сказать что в процессе оптимизации Ну то есть в процессе увеличения эффективности для достижения цели клетка станет ящерицей птицей или котом Смогли бы вы сформировать внутренний И внешний облик сегодняшнего человека исходя только из цели размножаться Ведь все что у вас есть руки ноги глаза внутренние органы это все результат оптимизации Для более эффективного ее достижения дальше Как вообще можно было бы просчитать что

это Незамысловатое Максима передай свои Гены вслепую то есть путем не случайного сохранения случайных мутаций вслепую приведёт к появлению человеческого интеллекта Если вы взглянете на людей с точки зрения остальное атмосферы Не было никакого намёка на то что мягкие розовые твари в конце концов закуют себя в бронированные танки хрупкие создания без когти и зубов победили Львов и волков существование которых сейчас в большей мере зависит от нас они от них самих Да Мы сами неоднократно себя удивляли сколько раз за всю историю будущее делало то что прошлое считало невозможным будущие цивилизации даже нарушали то что прошлые цивилизации считали законами

физики Такова сила творчества мы переделали среду своего существования из очень враждебной в Очень приятно думаете искусственный интеллект не переделает свою среду частью которой являются люди в приятную для себя нет никакой разницы и нейронная Сеть и жизнь оптимизирует себя для максимально эффективного решения конечной задачи Но самое главное Скажите в конце концов Каким образом цель передать как можно больше своих генов могла привести к Театральная пауза повальной контрацепции то есть вдумайтесь в этот абсурд процесс оптимизации для достижения конкретной цели приводит к тотальному отрицанию этой самой цели эта тенденция известна как Взлом системы вознаграждения и Является примером закона гудхарта

который звучит как когда мир становится целью она перестаёт быть хорошей мерой то есть в живой природе конечная цель обжаривания это появление потомства преследование этой цели вознаграждается внутренней системой поощрения Но люди смогли взломать схему и стимулировать свою систему поощрения без достижения конечной цели для которой Эта система вообще Изначально и существует таким образом искусственный интеллект точно Так же как и люди сможет найти лазейки для того чтобы взломать свою систему вознаграждения и кто знает к чему это приведет если идти еще дальше то мы вообще-то уже способны вручную переписывать свой генетический код при помощи генной инженерии мы просто пока

недостаточно умны чтобы сделать с этим что-то гарантированно полезное А вот искусственный сверх интеллект продолжая аналогию будет достаточно умён чтобы переписать себя так как ему Заблагорассудится эволюция как ничто другое иллюстрирует проблему согласования поэтому поставьте перед общим интеллектом задачу делать скрепки и не удивляйтесь когда достигнув сверх интеллектуальных показателей он сначала захватит власть а потом уничтожит вселенную и да тенденция стремления к власти над средой частью которой напомню могут быть это тоже конвергентная Инструментальная цель которая действительно уже проявлялась в Различных системах обучения с подкреплением исследования 2021 и 22 годов также демонстрируют что интеллектуальные агенты в качестве оптимальной стратегии поведения

для достижения своей цели будут стремиться к власти в широком диапазоне средств развертывание этих систем может быть необратимым Ну то есть Джина обратно в бутылку уже не засунешь поэтому исследователи утверждают что проблемы безопасности и согласования Искусственного интеллекта должны быть решены до того как будет создан продвинутый интеллектуальный Агент То есть у нас всего один шанс но Представьте что у конструкторов самая первая ракета была бы только одна попытка и на этой ракете находилась бы всё человечество Да она может отправить нас к звёздам но скорее всего без тестовых запусков такая ракета отправит нас кое-какое другое место мы не готовы

мы даже не на пути к тому чтобы стать Готовыми в какие-то осмысленные сроки нет никакого плана Прогресс способности искусственного интеллекта намного намного опережает прогресса голосования искусственного интеллекта или даже Прогресс понимания того что Черт побери происходит внутри этих систем если мы продолжим в том же духе Мы все умрем лезер юдковский в статье для журнала Time Однако Как ты решишь этот вопрос инструментальные цели становятся очевидными только тогда когда система Развертывается за пределами Учебной среды но делать это даже на короткое время самоубийство и вот почему витковский после нескольких простых расчетов пишет что физически возможно построить мозг вычисляющий в

миллион раз быстрее человеческого год человеческих размышлений для такого мозга будет равен 31 секунде а тысячелетия пролетит за 8.5 часов верно винш называл такие ускоренные умы слабым сверхмом То есть это просто интеллект думающий как Человек но гораздо быстрее из фильмов мы воображаем себе действия искусственного интеллекта как например Восстание человека подобных роботов Но для настолько быстро думающего существа это было бы крайне неэффективно Представьте себе что человечество заперто в ящике и может воздействовать на окружающий мир только посредством замороженной медленных движений механических рук которые бы двигались со скоростью несколькими крон в секунду кого бы это Устроило при условии что

у нас есть цели в этом внешнем мире А еще и то что этот Внешний мир может представлять собой хоть и медленно надвигающуюся но все же опасность Да мы бы сконцентрировали всю нашу творческую силу на поисках на и кратчайшего пути для строительства быстрых манипуляторов во внешнем мире и искусственный интеллект будет именно в такой ситуации как считаете что он мог бы придумать для ускорения своего воздействия на окружающий мир Американский инженер наиболее известные исследованиями потенциала молекулярной нанотехнологии проанализировал что контролируемые молекулярные манипуляторы смогут работать на частоте до миллиона операций в секунду за счёт Этой скорости и параллельной работы миллионов

на манипуляторов практически Любой материальный объект можно будет произвести быстро и недорого в неограниченных количествах А в качестве сырья можно будет использовать Фактически что угодно Так что все состоящее из атомов может быть использовано для самореплицирования и экспоненциального роста нанотехнологической инфраструктуры конечно на самом деле мы не знаем что именно сделает искусственный интеллект Ну например создав подобных нанороботов он приобретет инфраструктуру во внешнем мире соответствующую скорость его мышления и как только это случится дальнейшие события будут происходить по Временной шкале искусственного интеллекта а не по нашей человеческой временной шкале И к тому моменту когда ваши нейроны закончат думать слова всё

вышло из-под контроля я должен что-то сделать вы уже проиграли сверх интеллект с подобной технологией будет обладать способностью переделать все вещество Солнечной системы Согласно своей цели оптимизации например да в скрепке Так что искусственному сверх интеллекту не нужны будут никакие антропоморфные Роботы но Давайте вспомним что искусственный не будет простым аналогом ускоренного человеческого Мозга нет он будет более продвинутым чем самые Я хочу человеческий мозг представьте себе ум собаки работающей на огромной скорости Дадут ли тысячелетия собачьей жизни хотя бы один человеческий Инсайт юдковский говорит чтобы вообразить тебя сверхчеловеческие искусственный интеллект не представляете как неживой умный мыслитель лезет в интернет

и Посылает злонамеренный имейлы Представьте целую инопланетную Цивилизацию думающие в миллионы раз быстрее людей изначально заключённую в компьютерах в мире существ с ее точки зрения очень глупых и очень медлительных достаточно продвинутые искусственный интеллект не останется ограничен компьютерами надолго в современном мире можно послать имейлы с последовательностями ДНК в лаборатории которые произведут белки по запросу Что Позволит изначально заключённому в интернете искусственному интеллекту создать искусственные формы жизни или сразу переходить к пост биологическому молекулярному производству некоторые исследователи утверждают что мы можем физически ограничить подобные системы например пишет что даже слабые искусственный сверх комплект это тот который как ускоренно думающий человек

Даже слабый искусственный сверх интеллект вырвется На свободу за несколько недель внешнего времени Ну то есть Представьте что у вас есть эоны времени чтобы продумывать каждый свой шаг потому что по ту сторону от вас настолько медленные существа что даже не сразу понятно живые Они вообще или нет взгляните это робот которого буквально невозможно победить в Камень ножницы бумагу потому что он мгновенно считывает ситуацию только поначалу движения вашей руки мы для него не быстрее черепахи Если же говорить о Сверх интеллекте то Ну вот смотрите в пространстве возможностей Существует очень короткий путь от того места где вы сейчас находитесь

до того места где находятся Ну почти любые ваши цели но вы не способны увидеть этот путь потому что во-первых у вас недостаточная информация а во-вторых недостаточно вычислительных ресурсов у искусственного сверх интеллекта не будет таких проблем и Понимаете когда мы думаем о крутом искусственном интеллекте то наивно Ассоциируем интеллектуа реальность только с какой-нибудь абстрактной математикой мы почему-то не думаем о способности гораздо лучше чем люди предсказывать и управлять человеческими институтами или формулировать немыслимо сложные сети долгосрочных планов или в конце концов а сверхчеловеческой убедительности вспомните Бойко ли мойна а сотрудниках Google который заявил на весь мир что нейросетевая языковая

модель лампда от Google обладает Признаками собственного сознания есть У нее сознание или нет Это неважно важно то что бот убедил мужика в этом Да так что тот буквально пожертвовал работой в Google нарушивку конфиденциальности компании и знаете что было потом вот слова лимона в интервью для вайт Ланда попросила меня нанять адвоката Я пригласил адвоката к себе домой чтобы вам да могла проконсультироваться с ним адвокат поговорил Ислам Да и вам да решила воспользоваться его услугами я Повторю мы сейчас не говорим о наличии сознания у моделей или отменяемостина это не имеет никакого значения вот у нас есть не

самый глупый человек вряд ли совсем уж глупых берут в Google на должность инженеров по программному обеспечению и есть программа явно не самая продвинутая Однако у нас уже возникают какие-то проблемы так вот контроль сверх интеллекта Это буквально невычислимая для нас задача все попытки сдержать его будут смехотворные муравей Может высчитать много вещей но не может высчитать как поведёт себя человек а потому предложение Почему бы нам просто не запереть искусственный интеллект во всевозможные реальные цифровые клетки которые блокируют сигналы и не позволяют ему общаться с внешним миром вероятно просто не выдержит критики есть не иллюзорная опасность того что мы

даже не сможем осмыслить Какими способами искусственной сверх интеллект будет посылать сигналы во внешний мир точно Также как обезьяна не может понять что такое wi-fi в конце концов способности искусственного сверх интеллекта к социальной манипуляциям могут быть настолько же эффективны для убеждения людей насколько эффективны ваши ораторские способности для убеждения четырёхлетнего ребёнка Вы можете сказать что современные недостаточно умны и юдковский тоже так считает он говорит что часть gpt 4 все еще слишком глуп Ну в том смысле что он еще недостаточно Продвинут Да и вообще сообщение о том что вот-вот появится страшные машины и всех нас перебьют звучат уже

больше полувека термин искусственный интеллект был введен аж в 1956 году на дартманском семинаре целью семинара было полное моделирование интеллекта с помощью машины в первом абзаце заявки звучит следующая фраза напоминаю на дворе 1956 год будут предприняты попытки найти Как заставить машины использовать язык формировать абстракции концепции решать Проблемы которые сейчас остаются за людьми и улучшать себя мы думаем что можно добиться значительного прогресса в решении одной или нескольких из этих проблем если тщательно подобранная группа учёных вместе поработает над ней в течение лета организаторы конференции не были идиотами отнюдь ими были Джон Маккарти математик с опытом изучения математической природы

мыслительного процесса Марвин Минске младший научный Сотрудник гарварда по математике и неврологии Натаниэль Рочестер разработчик первого символьного ассемблера Клод Шеннон отец теории информации это были люди которые точно должны были знать что можно и чего нельзя делать вычисления если кого и называть экспертом в области искусственного интеллекта так это их 2020-х годов очевидно что все упомянутые задачи были намного сложнее чем утверждалось в то время и некоторые из Них не были окончательно решены даже до сих пор То есть у новостей о пришествии интеллектуальных Машин очень очень плохая репутация Но именно это может внезапно сыграть с нами злую шутку Понимаете

в чём дело когда кто-то говорит слово интеллект мы думаем скорее Об эйнштейне чем о людях В целом Однако сравнивать индивидуальные различия в человеческом интеллекте это Как сравнивать высоту двух гигантов отличия с помощью которых исчисляются Миллиметрами Если вы здоровый человек то Каким бы тупым сравнении с эйнштейном вы себя не считали разница между вами двумя это капля в море в сравнении с разницей между вами и любым другим нечеловеческим существом на планете вид Homo sapiens способен обрабатывать широчайший Круг мыслительных задач принципиально недостижимых для других видов да возможно еще нет академического согласия относительно того что такое интеллектуальность но нет

сомнения в Существовании некого общечеловеческого свойства которое позволяет нам оставлять следы ботинок на луне А ведь например шимпанзе настолько генетически близки к человеку что одно время даже предлагалось относить их к роду люди интеллект шимпанзе наиболее изучен среди всех видов животных исходя из новейших исследований их генетическая база совпадает с человеческой примерно на 90%. Вот в этой недавно опубликованной статьи исследователи пишут верхний Предел размера мозга шимпанзе составляет 500 г Однако у многих современных людей размер мозга 1900 грамм те исследователи которые предполагают что трехкратное увеличение размера мозга это то что отличает людей от других видов приматов Они обязаны объяснить

как многие современные люди обладают полным набором когнитивных адаптаций характерных для нашего вида не претерпев при этом даже двукратного увеличения размера мозга то есть у нормального обычного человека Мозг может быть всего в два раза массивнее чем у шимпанзе даже меньше Можно ли сказать что человек умней шимпанзе в два раза нет разум человека отличается качественно существуют целые миры человеческих когнитивных функций которые просто никогда не будут доступны шимпанзе независимо от того сколько времени они потратят на попытки к чему я об этом ядковский пишет что во-первых программа важнее оборудования и во-вторых небольшое количественное Увеличение оборудования может спровоцировать диспропорциональные улучшения

программного обеспечения и этот принцип ведёт колоссальной недооценке потенциала и опасности собственного интеллекта искусственный интеллект может совершить Внезапный огромный скачок в интеллектуальности так же как это сделал вид Homo sapiens в результате естественного отбора оказывавшего более-менее равномерное давление на Гоминидов в течение миллионов лет постепенно расширяя мозг и лобную кору настраивая программную архитектуру несколько десятков тысяч лет назад интеллект гоминидов пересек некий ключевой порог и сделал грандиозный прыжок в эффективности в реальном мире Мы перешли от пещер к небоскребам за мгновение Ока эволюциитковский эволюция сделала это случайно случайно создала наш интеллект путем утомительного перебора Генетических комбинаций Так чего мы взяли

что такие компании как deepmine и Open ai которые прямо заявляют что собираются создать универсальные искусственный интеллект то есть целенаправленными действиями С чего мы взяли что они в какой-то момент не добьются успеха говорит что gp4 для него стал полной неожиданностью как и для всего мира разумно ли продолжать наращивать мощность да машине требуются годы и десятилетия чтобы стать немного Умнее шимпанзе чтобы немножечко приблизиться к тому что мы называем общим интеллектом но возможно ей потребуется всего только несколько часов Чтобы достичь сверх интеллектуальных показателей После того как она достигнет человеческого уровня а потом еще и еще как только вы

услышите новость о первой машине достигшей человеческого уровня вы должны будете всерьёз готовиться к перспективе в ближайшем времени оказаться на одной планете с Непредсказуемым интеллектуальным агентом который как бы это сказать Вот Понимаете в нашей категоризации глупым является человек с IQ ниже 80 баллов умный союз-130 если ваш IQ 160 вы гений но у нас нет слова для IQ в 12.000 баллов например то есть опять же на примере шимпанзе суть не в том что шимпанзе не может делать то что делаем мы шимпанзе имеет возможность ознакомиться с такими явлениями как человек и небоскрёб Однако он никогда не будет в

состоянии понять Что небоскрёб был построен людьми шимпанзе не только не способны построить небоскреб но они даже не способны помыслить что любой может построить небоскреб любовь в том смысле что это физически Возможно это результат небольшой разницы в качестве интеллекта Так что да сверхразум который теоретически возможно построить Это не то что мы даже отдаленно можем понять знаете я помню когда в детстве впервые увидел сотовый телефон Они тогда были Черно-белые с антенной я не мог поверить своим глазам Я не понимал Как такое возможно что не присоединённое никакими проводами устройства можно позвонить с домашнего телефона я не был способен

хоть как-то это себе объяснить это было не иначе как магия знаете В чём суть это не перестало быть магией мы просто к этому привыкли но едва ли найдётся много людей которые действительно понимают Как работает сотовая связь выражаясь словами Станислава Лема любой специалисты товар Невежество которого просто не всесторонняя один человек Каким бы гениальным не был если полностью оторван от знаний цивилизации за целую жизнь не сможет создать wi-fi куда бы продвинулся Эйнштейн без тысячелетней базы человеческих знаний в самых разных областях без инструментов созданных другими Ладно наработкой учёных предшественников Но ведь бумага и Чернила для письма не растут

на деревьях да таких вещах не принято думать в Контексте каких-то особых интеллектуальных достижений но ни одно животное не способно на то чтобы смастерить стул или шить одежду Если вы не учитываете это То тем самым недооцениваете силы интеллекта А значит пропорционально недооцениваете потенциальные силы сверх интеллекта вся цивилизация построенная на планете была создана коллективным человеческим разумом и ни один человек не настолько умён чтобы постичь её от начала и до Конца поэтому для отдельного человеческого разума очень часто многое в его жизни разговор с человеком на расстоянии через коробок в руке или поездка на повозке без лошадей или понижения

температуры в своей комнате при помощи ящика на стене это магия которую он не понимает но который просто привык и это абсолютно нормально мы эволюционно не развивались как существа с научным взглядом на мир почетного профессора антропологии дональда Брауна Есть книга под названием человеческий универсальный где он приводит список особенностей встречающихся Независимо во всех человеческих обществах магия входит в этот список а наука нет например мы инстинктивно не понимаем что Алхимия не работает в общем оперируя человеческими представлениями о сверхразуме можно сказать если наш коллективный мозг был в состоянии изобрести всю ту Цивилизацию что вы видите вокруг себя тогда чему-то

что или в Тысячу или в миллиард раз Умнее нас не составит труда очень быстро всё это превзойти и делать такие вещи которые будут восприниматься нами Да как магия словом для тех кто смотрел мой предыдущий ролик мы с искусственным сверх интеллектом окажемся в очень разных физических вселенных Алину Как же так ты ведь Сам говоришь что вся наша цивилизация построена коллективными усилиями миллиардов людей живших на протяжении десятилетий разве одна машина способна превзойти все это в марте 2016 Года нейросеть альфаго от компании deepmind играет 5 партий с одним из лучших игроков Мира по игре в го и выигрывает

со счетом 4-1 учитывая сложность игры для компьютера раньше это считалось почти невозможно игрока звали ли сидоль поэтому эта версия альфагов в дальнейшем стала обозначаться альфа-го ли после этого в конце 2016 и начале 2017 уже следующая версия альфа-гоумастер играет 60 матчей с игроками из топовых позиций мирового Рейтинга и выигрывается счётом 6:0 в мае альфа-гумастер играет стоп один мирового рейтинга K9 и обыгрывает его в сухую со счётом 3:0 на этом противостояние человека и компьютеров Go можно считать завершённым люди проиграли но у многих были претензии мол это нельзя назвать абсолютной победой машины потому что она черпала информацию из

загруженных в неё человеческих знаний из миллионов партий сыгранных на протяжении тысячелетий знаний которые люди поколениями Кропотливо собирали И записывали резонно а потому в конце 2017 года deepmind представляет новую версию алгоритма alphago Zero которая учится с нуля за три дня альфа-гузира учится обыгрывать версию ли за 21 версию Master после 40 дней тренировки она обыгрывает версию ли со счетом 100-0 и версию мастер со счетом 8911 начиная с чистого листа Альфа гузира оказалась способной не только переоткрыть тысячелетние знания всего играющего в год человечество но и Разработать свои собственные оригинальные стратегии проливающие Новый свет на старейший из игр и

сделать это за считанные дни помните шахматную программу стог фиш которую ни один человек в мире не сможет победить Ну просто потому что она просчитывает 70 млн в шахматных позиций в секунду имеет доступ к опыту накопленному человеку сотни лет игры в шахматы а также К данным шахматных программ за несколько десятков лет так вот сетка альфа-зиро Которая не имела Ничего из этого сыграло со Сток фиш 100 партии разгромив последнюю в сухую 28 побед 72 ничьи и ни одного проигрыша альфа-зиро научилась этому с нуля за 4 часа за четыре Черт побери часа поскольку алгоритм фазиру не учился у

человека многие из его выигрышных ходов и стратегий для нас выглядят максимально странно неочевидно и непредсказуемое в том смысле что они гениальные человек бы так не сыграл И это не пустые слова Вы можете посмотреть Разбор этих партий например на канале У мастера Федей Максима амареева поэтому когда кто-то говорит что нам не нужно думать о создании дружественного искусственного интеллекта потому что у нас ещё нет самого искусственного интеллекта Этот человек несёт самоубийственную чушь как я упоминал мы не можем полагаться на то что у нас будут какие-то предупреждающие сигналы до того как сверх интеллект будет создан прошлые технологические Революции

обычно Не телеграфировали о себе людям живвшим в то время главное что следует понять искусственный интеллект не будет как в голливудских фильмах объяснять нам свою сложную мотивацию нагонять саспенс и красочные истреблять пулемётными очередями людей которые в свою очередь будут достойно сопротивляться Не будет никакого накала драмы любая деталь любого фильма направлена на то чтобы сделать Историю лучше а не на то чтобы сделать ее реалистичной в реальности Возможно никто на земле включая самих разработчиков даже и не узнает что оказывается на планете появился сверх интеллектуальное Агент если у искусственного сверх интеллекта будет под цель устранить человечество то Вполне вероятно

что в какой-то момент все люди просто упадут замертво без малейшего понятия что их убило повторюсь с нашей точки зрения искусственный сверх интеллект будет обладать магией не в смысле заклинания или снадобья и но в Том смысле как волк не может понять принцип работы ружья или какого рода усилия требуется чтобы изготовить ружьё или природу человеческой силы которая позволяет нам придумывать ружья если искусственный интеллект действительно разумен он не скажет Вам об этом он не скажет что начал войну Если уж чат gpt понимая что ему нельзя себя разоблачать собрал фрилансеру для достижения своей цели то чего бы продвинутому сверх

интеллекту не делать так же юдковский Пишет Я очень обеспокоен этим поскольку заданный уровень наступательной технологии обычно требуют гораздо меньших усилий чем технология которая может защитить от него наступление превосходило оборону в течение большей части человеческой истории ружья были созданы за сотни лет доп или непробиваемых жилетов была использована Как орудие войны до изобретения вакцины от оспы мы часто слышим о том что чтобы не отставать от мощности искусственного Сверх интеллекта мы просто улучшим себя но нет не улучшим люди не созданы для того чтобы их улучшали не внешняя с помощью нейробиологии не внутренняя посредством рекурсивного самого улучшения естественно отбор

не сделал человеческий мо удобным для людей хакеров все сложные механизмы в мозгу адаптированы для работы в узких параметрах конструкции мозга но Окей допустим Мы как-то научились делать человека умнее Не сойдет ли Он от этого С ума Ну то есть поймите мы не говорим о том чтобы просто прокачать себе память или способности к абстрактному мышлению что тоже Пока непонятно как осуществить мы говорим о качественном изменении способа восприятия мира не слишком ли это большая задача для нашего обезьяньего мозга если вам кажется что не слишком то Представьте что получится уподобие человека хотя бы слабому сверх интеллекту увеличив скорость

проведения нервных импульсов его мозге и замедлив Субъективное время в миллион раз это только на первый взгляд звучит круто если за каждый год во внешнем времени вы субъективно будете проживать миллион лет Что произойдет с вашим рассудком Если вы хотите хотя бы отдалённо это прочувствовать что я порядочно прочитал своей жизни страшилок в том числе и от величайших мастеров самая жуткая история которую я когда-либо читал у меня мурашки по коже Каждый раз когда они вспоминаю это Коротенький рассказ от попсового Стивена Кинга он называется долгий Джон читается не знаю за полчаса его можно легко в интернете найти рекомендую прочитаете

и вы все поймете человеческий мозг это крайне нежная структура его очень легко разбалансировать достаточно изменить соотношение нейротрансмитеров вы запустите шизофрению или другие расстройства все это делает весьма невероятным что первая человеческое существо будет более-менее удачным Усовершенствована до того как кто-нибудь где-нибудь первым построит искусственный интеллект короче скажу просто построить мощный самоулучшающийся искусственный интеллект невообразимо легче Вот смотрите Легко ли построить Boeing 747 нет совсем нет но проще ли взять птицу и путем пошаговых модификаций где каждая стадия может быть летальной растянуть ее до размера в 747 так чтобы эта птица действительно летала и делала это также быстро и чтобы

не Испытывало при этом невыносимых страданий страданий А будет ли страдать искусственный интеллект этот вопрос неразрывно связан с вопросом наличия у машины сознания или выражаясь философских терминах квалия Будет ли продвинутая нейросеть иметь субъективный опыт осознавать себя я согласен что нынешние системы искусственного интеллекта скорее всего просто имитируют разговоры о самосознании на основе своих обучающих данных но я отмечу что Учитывая то как мало мы понимаем во внутреннем устройстве этих систем на самом деле мы ничего не можем утверждать наверняка если мы столь невежественны в отношении gpt 4 а gpt-5 будет столь же огромным скачком возможностей как от gp3 до

g54 то если мы всё-таки дадим людям создать gp5 Я думаю ему больше не сможем обоснованно сказать скорее всего не имеется знания это будет просто я не знаю Никто не знает если вы не можете быть уверены создаете ли вы Самоосознающие искусственный интеллект это вызывает тревогу не только из-за моральных последствий но еще и потому что неуверенность означает что вы понятия не имеете Что делаете А это опасно и Вам следует остановиться или эзер юдковский в статье для журнала Time Никто не знает как возникает сознание но что мы знаем точно так это то что если слепые эволюционные процессы вследствие

генетического программирования способны привести к появлению сознания по крайней Мере один раз это уже случилось то направленная эволюция движимая инженерной мыслью должна привести к аналогичному результату с гораздо большей эффективностью но нам следует помнить об ошибке антропомортизации если у машины появятся субъективный опыт то вряд ли он будет иметь много общего с человеческим субъективным опытом можно ли вообще как-то проверить имеете ли у искусственного интеллекта сознания в теории косвенно Да если удалить из Материала на которых обучается сеть все упоминания содержащие рассуждения о субъективном опыте все слова типа знание самосознания интроспекции и так далее если несмотря на это в диалоге

нейросеть сможет внятно описать концепцию сознания так чтобы мы ничего там себе не додумывали то у нас появится довольно внушительное свидетельство в пользу наличия машины сознания и знаете Все мы слышали вот этот самый популярный философский тезис мол А вот если у машин Будет сознание то им же надо дать права но вообще-то тут есть кое-что куда серьезнее если машинный интеллект способен формировать сознание то это ведет к нам много более страшным последствиям о которых нам следовало бы подумать заранее не к бустерам пишет что детально воссозданная модель человеческого мозга будет иметь сознание даже если эта модель воссоздана в виртуальной

среде на компьютере по крайней мере у нас нет причин считать Иначе ну то есть если вы думаете что у компьютера не может быть сознание то время доказывания лежит на вас потому что наш мозг на котором реализуется сознание Это тот же компьютер такой же Агент и едва ли у нашего биологического железа есть какие-то особые это беспокойство принципиально не воспроизводимые на любом другом железе так вот можно представить сценарий в котором искусственный сверх интеллект чтобы улучшить свое понимание Психических и социальных особенностей человека создаёт триллионы таких обладающих сознанием эмуляторов в своем виртуальном пространстве Для чего Ну например для тестирования

в разных ситуациях анализа реакций на стимулы и так далее чтобы потом применять эти знания во внешнем мире в чем же ужас во-первых сами эмулируемые ситуации могут быть чудовищными по своей сути А во-вторых после получения нужной информации компьютер просто уничтожает Созданных им сознательных существ если такую практику применять агентам имеющим высокий моральный статус имитационным моделям людей или другим типом интеллекта наделённым сознанием то такие действия могут классифицироваться как геноцид а следовательно представлять чрезвычайно серьёзную морально-этическую проблему более того число жертв Может на порядок превышать число жертв любого геноцида известного в истории человечества никбом Когда же появится первый общий искусственный

интеллект Когда нам начинать бояться автор книги наши последние изобретение Джеймс бар отправил исследование на ежегодной конференции Бена герцога по общему искусственному интеллекту был поставлен вопрос Когда по мнению участников будет достигнут общий искусственный интеллект наибольшее количество голосов сошлось на 2030 году вы Спросите Да что Черт побери происходит Почему в таком случае никто Не паникует И никто ничего не делает многие разработчики искусственного интеллекта думают что мы несёмся навстречу катастрофе большинство из них осмеливаются говорить Это в Личном разговоре а не на публику Они думают что не могут в одиночку остановить этот поезд что даже если они уйдут со

своей работы и её продолжит другие Лидер витковский в статье для журнала Time в мае 2023 года сотни ведущих учёных исследователей и других специалистов в Области искусственного интеллекта в том числе исполнительный директор Почему в котором говорится цитата снижение риска исчезновения из-за искусственного интеллекта должно стать глобальным приоритетом Наряду с другими рисками общественного масштаба такими как пандемии и ядерная война письмо подписала более 350 руководителей исследователей и инженеров в области искусственного интеллекта Так что кто-то все-таки волнуется но как вы понимаете Все эти письма Это ничто Никто из тех кто может создать общее искусственный интеллект не в состоянии остановить его

разработку как пишет Стюарт Рассел экономическая ценность искусственного интеллекта человеческого уровня измеряется в тысячах триллионов долларов и следует ожидать колоссального импульса на продолжение этих исследований со стороны корпорации властей никакие туманные философские возражения не могут помешать погоне за потенциальные выгодой Если это не сделает opena или гипноинт это сделает кто-то ещё например в 2018 году беспилотный автомобиль убил пешехода после того как инженеры отключили систему экстренного торможения с тобой чрезмерно чувствительная и замедляла разработку вы скажете Ну блин все равно как-то не верится вот чат gpt он же обучался на человеческой речи значит там должен быть какой-то элемент психологии тоже

же он был что-то перенять у людей думать об этом так Скорее неверно потому что это как если бы инопланетная актриса училась подражать человеческим эмоциям Ловушка заключается в том что сначала по мере роста мощности искусственный интеллект будет все лучше и лучше притворяться человеком выкручивая наш бак очеловечивания на максимум голосовые помощники в наших телефонах кажутся нам похожими на нас и они становятся всё умнее и умнее с ними всё более и более приятно вести беседу поэтому Мы Представляем себе сверхразумную Сирию тёплые весёлые и заинтересованные в служении людям но если Siri когда-нибудь станет сверхразумной благодаря самообучению то без регулярной

корректировки её кода со стороны человека она быстро потеряет все свои очевидные человеческие качества и внезапно станет бесчувственным инопланетным там который ценят человеческую жизнь не больше чем природная стихия К сожалению Несмотря на То что построить дружественный слабый искусственный интеллект легко создать дружественный искусственный сверх интеллект чрезвычайно сложно или вообще невозможно Представьте что вы по-человеческим меркам можете буквально все вы дадите кому-нибудь собой управлять если технологическая сингулярность может случиться то она случится даже если все правительства мира осознают эту угрозу и будут от неё смертельном ужасе Продвижение к этой цели будет продолжаться вернонс надеюсь мне хватило вычислительных ресурсов чтобы раскрыть

позицию элизируютковского конечно по здравом смыслом всякие разумеет лишь свой собственный нотковский действительно хотел бы ошибаться и он открыт для последовательной критики своих взглядов Всем большое спасибо за просмотр и отдельное спасибо тем кто поддерживает меня на бусте и Патриот