Главная проблема ИИ, которую никто не может решить

В 2014 году когда я смотрел видео на котором разработанная Deep Mind системы с искусственным интеллектом училась играть в компьютерные игры у меня отвисла челюсть перед вами старая добрая игра breakout та самая в которую многие из нас играли в детстве помните нужно отбивать шарик платформой разбивая кирпичную стену но что-то здесь не так игрок ведёт себя странно Ну словно слепой бессмысленно двигает платформу Туда-сюда вот сейчас немного лучше он пытается двигаться к шарику но всё равно промахивается и и вдруг всё меняется игрок становится непобедим он отбивает шарик с невероятной точностью как бы быстро тот не летел а потом

происходит нечто удивительное игрок находит хитрый способ набрать максимум очков пробивая дырку в левом верхнем углу и загоняя туда шарик самое интересное этот игрок не человек Это искусственный интеллект созданный компанией Deep Mind и вот что Поражает этот и ничего не знал об игре ему не объясняли правила не рассказывали про платформу и шарик он просто получал на набор чисел которые мы бы назвали изображением на экране и должен был максимизировать другое число которое мы называем счётом и учился с нуля методом проб и ошибок и в итоге не только научился играть лучше человека но и нашёл стратегию о которой

не знали даже создатели игры в том как всё это делалось было что-то до такой степени Человеческое что мне стало не по себе я видел ai у которого была цель и который достиг совершенства на пути к ней значительно обогнав своих создателей Так а что же Что такое интеллект может быть это просто способность достигать сложных целей искусственный интеллект от Deep Mind жил в простом мире игры но он определённо был разумным в своём узком мире он собирал информацию обрабатывал её и принимал решение Прямо как мы в реальном мире метод который использовал Deep Mind назывался глубокое обучение с подкреплением

это похоже на то Как учится собака хорошее поведение поощряется плохое нет и Учился играть стремясь увеличить свой счёт самое интересное что этот метод оказал универсаль и научился играть не только в бка но и в сотни других игр часто лучше людей в том числе он освоил StarCraft 2 и Dota 2 обыграв профессиональных киберспортсменов теперь Представьте что будет дальше этот метод можно применить Не только к играм но и к реальному миру роботы могут учиться ходить плавать летать и всё это самостоятельно без прямых указаний от людей Им просто нужна система очков показывающая что они всё делают правильно в

2016 году мир го замер в ожидани легендарный лиси доль Непобедимый чемпион готовился к матчу против компьютерной программы Альфа go go - это древняя китайская игра невероятно сложная в ней так много возможных ходов что их больше чем атомов Во Вселенной нет вот более корректное сравнение если бы Каждый атом Вселенной стал отдельной Вселенной то общее количество атомов всё равно было бы меньше чем число возможных партий в го поэтому лучшие игроки полагаются не только на расчёт Но и на интуицию почти мистическое чувство правильного хода го считалось последним бастионом человеческого интеллекта игра имеет астрономическое число возможных позиций 10 в

170 степени что делает полный Перебор вариантов невозможным люди полагали что успех в го требует интуиции и глубокого стратегического мышления недоступных машинам сам лиси доль излучала Спокойствие и уверенность Октябрь 2015 оценивая нынешний уро машины Я думаю что выиграю почти все партии февраль 2016 Я слышал что Google deepmind стал на удивление силион и быстро учиться но я убеждён что смогу выиграть хотя бы в этот раз 9 Марта 2016 Я был очень удивлён так как совсем не Ожидал что могу проиграть 10 марта 2016 У меня нет слов Я просто в шоке должен признать что третья игра для меня

будет нелёгкой 12 марта 2016 своё бессилие в течение года после победы над лиси доле улучшенный вариант Альфа го обыграл 20 лучших игроков мире не проиграв ни одной партии что же сделало Альфа го таким сильным его создатели объединили два подхода они научили одну нейросеть предсказывать кто победит в данной позиции а другую Нейросеть научили предугадывать вероятные ходы противника а потом соединили это с быстрым про счётом вариантов получилось что-то похожее на человеческую интуицию но мощнее Альфа го мог делать ходы которые казались странными но потом оказывались гениальными например в одной из игр он сделал ход Вся сила которого проявилась

только через 50 ходов знаете в го есть правило котором уже Тысячи лет в начале игры нужно занимать третью и четвёртую Линии от края доски это как закон природы для игроков но Альфа го в одной из игр вдруг поставил камень на пятую линию комментаторы потеряли дар речи даже лиси доль лучший игрок мира был так удивлён что встал и вышел из комнаты Это перевернуло мир го потому что го в Азия - Это не просто игра это искусство как живопись или музыка за первой игрой Альфа го и лиси доля следили 300 млн человек а после победы Нейро Сити

лучший игрок мира заявил мы только поцарапали Поверхность го теперь человек и искусственный интеллект вместе смогут найти истину игры но история на этом не закончилась через год появился Alpha Zero эта программа училась играть в го сама без помощи людей и она не только победила Альфа Go но и стала лучшей в мире в шахматах представляете за 4 часа практики она превзошла лучшую шахматную программу которую люди разрабатывали десятилетиями Так что же такое современный искусственный интеллект Умный Калькулятор или прорыв и фазовый переход при подготовке ролика Я опирался на несколько книг по теме особенно на жизнь 3.0 физика Макс тегмарк

Давайте в этом видео разберёмся Можем ли мы контролировать более мощный и почему так сложно научить машины нашим ценностям как даже добрые намерения могут привести к катастрофе и главное ответим на вопрос почему так громко звучит мнение о том что искусственный интеллект может стать последним изобретением человечества Я Саша и это медеус нейросети уже стали частью нашей жизни Но вот не задача 85% Люде до сих пор не используют их на полную мощность я и сам порой не понимаю К какой категории отношусь и вот на днях я решил проверить Могу ли без каких-либо навыков программирования написать свой код на

Python например научить компьютер игре breakout Я попросил последнюю модель Клода написать код и обучить искусственный интеллект игре вот он Написал Код и я вставил его в Google colab вижу что код работает и компьютер симулирует игры смотрите к шестой игре он смог наконец отбить шарик может случайно вижу что нет двойки появ чаще ждём симуляцию 100 игр и смотрим готово вот результат видно что Прогресс есть но медленный и плохо отбивает шарики чаще всего один или два раза потому что просто дрожит в центре я попросил Клод добавить логику чтобы и немного двигался к мечу Даже если он решил

не двигаться и О чудо симуляция дала результат се Давайте посмотрим что получилось компьютер Теперь двигается к шарику и отбивает Так а что здесь происходит Обалдеть и обошёл правила игры и таким образом поставил рекорд Вот и пример за 15 минут я получил искусственный интеллект обученный с нуля который работает и отбивает шарик Да и иногда хитрит самое главное это заняло 15 минут причём у меня человека без каких-либо навыков программирования Представьте что И Вы можете за считанные минуты создать уникальный дизайн написать качественный код или придумать цепляющий рекламный текст это реальность доступная тем кто умеет работать с нейросетями чтобы

помочь Вам освоить эти навыки skillbox организует бесплатно конференцию навыки будущего это Ваш шанс узнать как использовать нейросети и зарабатывать на них и не волнуйтесь Если вы новичок материал даётся Так что разберутся Даже те кто никогда не работал с нейронка Почему я Рекомендую вам записаться во-первых скилбокс уже 5 лет подряд получает премию рунета за лучший образовательный продукт их курсы на 70% состоят из практики а это значит что вы будете решать реальные задачи и создавать портфолио с первых дней обучения во-вторых качество конференции вы узнаете как использовать chpt Mid journe luma stable diffusion и другие инструменты в своей

работе Главное что вы научитесь применять их на практике вы Поймёте Как использовать нейросети в программировании маркетинге дизайне и других областях узнаете Как поставить задачу нейросети так чтобы получить быстрый и нужный вам результат А ещё получите полезные подарки и сможете делать свою работу эффективнее применяя знания и навыки с вебинара Не упустите возможность изменить свою жизнь и карьеру регистрируйтесь на конференции прямо сейчас сечас просто перейдите по ссылке в описании или сканируйте QR код На экране помните будущее принадлежит тем кто готовится к нему сегодня станьте профессионалом со скилбокс ждём вас на навыках будущего с 5 по 7 ноября

начало в 18:00 по Москве Удача в конце XIX века в Европе прославилась необычная лошадь по имени Ганс она Решала математические задачи определяла время и даты и даже составляла слова и предложения например на вопрос Сколько будет 2 + 5 Ганс отступил копытом семь раз а на вопрос Какой сегодня день недели лошадь называла день недели отмечая буквы на доске к 1904 году Ганс стал знаменитостью газета New York Times назвала его чудесной берлинской лошадью способной на всё кроме разговоров дрессировщиком Ганса был Вильгельм фон остон бывший учитель математики он интересовался интеллектом животных и пробовал обучать котят и медвежат но

успеха именно с лошадью фон остон учил Ганса читать держа его за ногу и Показывая цифры затем ВЛ доску с алфавитом после двух лет обучения лошадь хорошо усваивалась сложные концепции так фон оста начал путешествовать с гансом демонстрируя своего чудо коня конечно многие сомневались что лошадь действительно такая умная поэтому была создана специальная комиссия для проверки её умений в неё вошли разные специалисты от психолога до циркача они долго наблюдали за гансом но не могли найти никакого обмана лошадь правильно Отвечала на вопросы даже без хозяина рядом но учёные заметили странную вещь Ганс хуже справлялся когда слушающий не знал ответа

или стоял далеко это заставило их задуматься Может ли так быть что лошадь каким-то образом считывает подсказки от людей так загадка умного Ганса была разгадана лошадь действительно реагировал на поведение людей задающих вопросы когда Ганс доходил до правильного ответа человек невольно менял позу или выражение лица и Лошадь это замечала самое удивительное что люди сами не осознавали Что дают подсказки Эта история стала важным уроком для науки теперь учёные знают что нужно быть очень осторожными чтобы случайно не повлиять на результаты экспериментов даже в современном мире работая с искусственным интеллектом специалисты помнят про эффект умного Ганса Когда кажется что система

очень умная надо это проверять А что на самом деле значит быть Умным 19 году отец и Алан тюринг предсказал что к концу Столетия употребление слов И общее мнение людей изменится настолько что можно будет говорить о мышлении машин даже не опасаясь возражений математик Джон фон нейман в 1958 году утверждал что функция человеческой нервной системы на первый взгляд цифровая а профессор mit Марвин мински Однажды уверенно заявил что конечно машины могут думать Мы ведь тоже машины только мясные но Нашлись и Противники теории например Джозеф вайн ранний изобретатель и и создатель первого чат-бота элайза считал что представление о человеке

как о простой системе обработки информации является слишком упрощённый понятием интеллекта и порождает извращённой фантазию будто учёные ии создадут машину которая сможет обучаться наподобии ребёнка середина двухтысячных годов и стремительно развивается как научная область и как индустрия сегодня сразу несколько Техно Гигантов развёртывать системы в планетарном масштабе вкладываются сотни миллиардов долларов в обучение модели и на основе больших языковых моделей снова называют сравнимы с человеческим интеллектом Почему Откуда такой оптимизм недавно компания Open ai Представила свою новую модель CH gpt o1 модель справляется с Олимпиадные задачами по математике и программированию на уровне золотых медалистов международного тура А по физике в

сложных тестовых заданиях Она сравнима со специалистом уровня PHD так научный сотрудник nas Кайл касарес поделился в соцсетях что росе смогла за час написать код для его докторской диссертации ранее на эту же самую работу у кабаса са и группы авторов ушло 10 месяцев Интересно что недавно эта же нейросеть прошла известный норвежский IQ тест Менса набрав 120 баллов Это значительно выше результатов большинства людей и конкурирующих ии систем особенность о1 в том что она берёт время Подумать над задачей в течение десятков секунд она как бы продумывает разные способы решения задачи и используя специальные алгоритмы выбирает лучшее на её

взгляд решение перед вами страничный Талмуд консалтинговой фирмы Оливер вайма это детальный профессиональный отчёт о влиянии и на бизнес и госуправления документ анализирует текущие тренды без спекуляции о будущем из него я хочу вам показать всего две картинки вот на этой даётся прогноз что 80% применений ии Будут нейтральными неоднозначно хорошими или плохими А вот на этом графике показывается беспрецедентная скорость распространения и внедрения ии она в 20 раз быстрее интернета и смартфонов в 25 раз быстрее персональных компьютеров и в 40 раз быстрее электричества у прогресса в области и есть очевидная обратная сторона ведь чем мощнее технология тем важнее

её безопасность мы больше не можем позволить себе учиться на ошибках как это было раньше сейчас учёные Работают над четырьмя главными направлениями безопасности ии как проверять системы Как убедиться что они делают то что нужно Как сделать их надёжными и Как контролировать их чтобы лучше понять эти задачи Давайте посмотрим на прошлые успехи и неудачи компьютеры сыграли огромную роль в исследовании космоса благодаря им мы побывали на Луне и отправили аппараты ко всем планетам Солнечной системы даже на спутник Сатурна титан и на комету мы Смогли посадить зонды в будущем искусственный интеллект может помочь нам изучать другие Звёздные системы галактике

но в Космической истории были и досадные неудачи в 1996 году ракета ариан 5 взорвалась через 37 секунд после старта оказалось компьютер не смог обработать слишком большое число в 1999 году аппарат Mars Climate Orbit разбился поверхность Марса причина банальна Одна часть программы Использовала метрическую систему а другая английскую в 1962 году миссия mariner 1 к Венере закончилась взрывом ракеты из-за неправильного знака пунктуации в программе даже Советский межпланетный корабль Фобос 1 в 1988 году потерпел неудачу из-за пропущенного дефиса в коде компьютер принял это за команду конец миссии и отключил все системы эти истории показывают как важно тщательно проверять

программы особенно когда на кону жизни людей и огромные Ресурсы к слову о ресурсах в 2012 году компания Night Capital потеряла 440 млн долларов за 45 минут из-за непроверенного случился знаменитый чёрный вторник когда цены на акции сходили с ума и скакали от одного цента до 100000 долларов и причина была не в ошибке программы просто софт для торговли акциями ожидал что если компьютер биржи показывает цену акций в один цент то это правда нет необходимости говорить насколько Искусственный интеллект важен в производстве но и там проблем хватало первым человеком которого убил робот был Роберт Уильямс рабочий на заводе Форд

это произошло в 1979 году внезапно робот бесшумно заработал и разбил Роберту голову после чего продолжал бить его о стену в течение 30 минут пока другие рабочие не узнали о произошедшем 2 года спустя в Японии случилась похожая трагедия инженер Кенди Урада чинил робота и случайно включил его Гидравлическая рука раздавила Кэнди насмерть эти случаи ужасные но они редкие на самом деле С развитием технологии число несчастных случаев на производстве сильно уменьшилось например в США В 1970 году погибло 14.000 рабочих А в 2014 меньше 5.000 учёные считают что беспилотные автомобили могут уменьшить смертность на дорогах на 90% илон Маск

думает также он считает что ваш автомобиль сможет зарабатывать вам деньги работая как такси в то время Когда он вам не нужен Но из беспилотниками бывают проблемы к примеру машина Google впервые попала в аварию в 2016 году неправильно предугадал поведение автобуса а Тесла в том же году разбилась приняв белый прицеп грузовика за яркое небо иногда проблема не в самой машине а в том как она общается с человеком в 1987 году паром затонул потому что капитан не знал что носовой люк открыт а 592 году самолёт разбился из за путаницы С интерфейсом пилоты ввели 33 имея в виду

угол снижения 3,3 Гра А Автопилот понял это как скорость снижения 3.300 футов в минуту итог 87 погибших компьютеры полностью изменили то как мы общаемся интернет связал миллиарды людей но вместе с этим пришли и неожиданные угрозы Первый компьютерный червь появился в 1988 году он заразил 10% всех компьютеров в интернете Его созда хотел всего лишь посчитать количество компьютеров в сети но случайно устроил Масштабный сбой вирус I love you стал примером программы атакующие не компьютеры а людей он пришёл по почте 5 мая 2000 года любопытные пользователи Windows открывшие вложение с названием письмо любви для тебя запускали вирус он

портил компьютер и рассылал себя всем контактам вирус поразил 50 млн компьютеров нанеся ущерб в 5 млрд долларов это была крупнейшая кибератака на тот момент поэтому я поднимаю глаза небу всякий раз когда читаю о новейших Системах безопасности якобы обеспечивающих стопроцентную защиту от взлома и тем не менее стопроцентная защита от взлома - это именно то что нам необходимо для будущих систем искусственного интеллекта прежде чем мы поставим их управлять скажем какими-то важными объектами инфраструктуры или системы вооружений японец конда акихико всегда чувствовал себя одиноким отношения с реальными девушками не складывались Он Страдал от издевательств коллег и даже впадал в

депрессию Однажды акихико познакомился с хацу най Мику певицей с голубыми волосами её голос и образ очаровали акихико Он влюбился в неё Мику стала для него идеальной спутницей всегда понимающей и поддерживающей в 2018 году спустя 10 лет отношений акихико решился на судьбоносный шаг он сделал предложение И она согласилась на церемонии бракосочетания присутствовали приглашённые гости а невесту Представляла плюшевая кукла А дело в том что Мику - это виртуальный персонаж теперь конда живёт с голограммой Мику он разговаривает с ней желает спокойной ночи и чувствует себя счастливым история кихиры обсуждение многие осуждали его выбор но Нашлись и те кто

поддержал право на необычные отношения сам конда говорит что наконец-то обрёл гармонию и любовь он не жалеет о своём решении и продолжает семейную жизнь с Мику что уж там теперь Подобные новости редкость знаете многие люди не обращали особого внимания на генеративный и пока не появился ча gpt сейчас Люди отличаются от и тем что мы обладаем общим универсальным интеллектом мы ходим по канату между небоскрёба и проектируем квантовые компьютеры мы умеем жонглировать бензопилами и запускать в космос телескопы мы создаём музыку на бокалах и учим псов наливать нам пиво Конечно люди не одинаково хороши в Этих навыках учи всему

потому что наш мозг пластичен Подробнее об этом я рассказывал в двух последних роликах про мозг и пока умеет делать только узкий класс задач Но их количество растёт как и количество разговоров о скором появлении общего искусственного интеллекта H это гипотетический ии который сможет делать всё что делает человек а может и лучше вот один из способов узкого взгляда на историю человечества после тысяч лет смешения Научных открытий и технического прогресса Мы научились плавить песок добавлять примеси поразительной точностью компоновать их в чрезвычайно крошечных масштабах в компьютерные чипы пропускать энергию через них и в конечном итоге получать системы способные создавать

искусственный интеллект с постоянно растущими возможностями это может оказаться самым важным фактом во всей истории на данный момент Вполне возможно что через Несколько тысяч дней у нас появится суперинтеллект это может занять больше времени но я уверен что мы доберёмся до цели как же Мы оказались на пороге следующего скачка в процветание в трёх словах сработало глубокое обучение в пятнадцати словах глубокое обучение сработало предсказуемо улучшалось и масштабировать и мы выделяли на него всё больше ресурсов уже сейчас и вроде чат gpt работает в 10 раз быстрее самых умных людей а будущий H может быть ещё Быстрее его можно копировать

сколько угодно раз сейчас в мире насчитывается примерно 8 млн учёных А теперь Представьте миллион копий H они работают круглосуточно не устают не отвлекаются И думают в 10 раз быстрее людей это как армия эйнштейном 24 на 7 H может делать любую умственную работу лучше и дешевле людей законы программирование видео для YouTube Да всё что угодно кто будет контролировать а тот сможет управлять всей экономикой А значит и миром вот и Всё человечество открыло алгоритм который может обучаться на любой выборке данных Или точнее подлинным правилам которые порождают любую выборку данных шки точностью чем больше вычислительных ресурсов и данных

доступно тем лучше и помогает людям решать сложные задачи как бы много времени я не тратил на размышление Об этом я всё равно не могу полностью осознать насколько это важно такой H мог бы решить самые сложные научные вопросы Найти безграничные Источники энергии остановить изменение климата победить старение и рак понять в конце концов Что такое Тёмная материя и тёмная энергия но есть и опасная сторона H могут использовать для создания оружия или опасно вирусов или сделать такую затягивающие что люди будут умирать не отрываясь от экранов создание искусственного общего интеллекта может изменить мир сильнее чем открытие огня и электричества

Но что если а станет ещё умнее Мы даже не можем представить что Тогда произойдёт технологии привели нас от каменного века к сельскохозяйственному веку а затем к индустриальному к веку интеллекта проложен путь через вычислительные мощности энергию и человеческое стремление знаете мы Много говорим об agi Но на самом деле точно не знаем что это такое проблема в том что даже базовые понятия интеллект и общий туманны с интеллектом учёные спорят уже десятилетия есть много разных Определений и Они часто противоречат друг другу часто теперь используется очень общее определение тридцатилетней давности интеллект - это способность рассуждать решать проблемы и учиться

на опыте с понятием общей всё ещё хуже некоторые считают что должен уметь достигать любых целей в любых условиях другие думают что главное - это способность быстро учиться а третьи говорят что ий должен уметь делать всё что умеет человек Но ведь Люди очень разные и нет человека который умел бы абсолютно всё [музыка] поэтому учёные придумали разные тесты Чтобы хоть как-то оценивать интеллект самый известный тест тьюринга придуманный ещё в 1950 Интересно что тест тьюринга на самом деле не совсем то чем кажется это не просто способ проверить Может ли машина думать у этого теста гораздо более глубокая и

личная история Алан тюринг создатель теста был Блестящим учёным но также и геем в то время когда это было преступлением он придумал свой тест не столько для различения Маши людей сколько для исследования гендерной идентичности в оригинальном тесте судья должен был определить кто из двух участников женщина А кто мужчина тьюринг считал что способность иметь и выражать сексуальную идентичность - Ключевое отличие человека от машины Это была не просто научная идея для тьюринга Это был личный вопрос Он страдал от преследований за свою ориентацию и в конце концов покончил с собой многие учёные считают что классический тест тьюринга бесполезен для

диагностики и но знаменитая статья Алан на машинном интеллекте имела ещё одну скрытую цель Он писал её как своего рода сатиру на людей которые считают человеческий разум непревзойдённый тьюринг предвидел что машины смогут делать гораздо больше чем просто выполнять команды он думал что они Смогут справляться даже с самыми сложными интеллектуальными задачами и это могло бы изменить общество сделать его более демократичным и децентрализованным у нас есть большая проблема с оценка и мы не можем точно измерить его Прогресс потому что не знаем что именно нужно измерять и как это делать Часто мы измеряем то что легко измерить а не

то что действительно важно это приводит к неожиданным проблемам например есть закон [музыка] гудхоо мерой в Ханое в 1902 году началась борьба с крысами из-за угрозы чумы власти начали платить жителям за каждую убитую крысу крысиных трупов приносили всё больше но грызунов меньше не становилось чтобы избавиться от гор трупов власти стали принимать только хвосты за каждый хвост давали цент люди принялись сдавать тысячи хвостов и что вы думаете вскоре город заполонили крысы Без хвостов оказалось что горожане Отрезают хвосты оставляя крыс живыми некоторые даже начали разводить крыс ради хвостов В итоге разносчиком чумы Стало ещё больше или вот современный

пример ситуация с ЕГЭ когда учителя начинают учить только тому что будет в тесте тест перестаёт показывать реальный знания то же самое происходит с тестами для ии мы создаём тесты чтобы проверить насколько ии похож на человека но программисты просто учат ии проходить эти самые тесты как же нам измерять Прогресс чтобы не попасть в эту ловушку и есть любопытная идея некоторые учёные считают что у людей есть особая способность находить неочевидные возможности например в 1895 году физик Вильгельм рентген работал с электронной лучевой трубкой неожиданно он обнаружил что кристаллы бария светятся Хотя трубка была накрыта бумагой это случайное наблюдение

заинтересовало учёного он начал исследовать новое явление которое привело его к открытию рентгеновских Лучей вот эта способность замечать важное В случайном и отличает человеческий интеллект учёные предполагают что если ии сможет делать такие неожиданные открытия Это и будет означать что он достиг уровня человека если мы хотим предоставить и как можно большему числу людей нам нужно снизить стоимость вычислений и сделать их доступными Что требует много энергии и микрочипов если мы не построим достаточно инфраструктуры ии станет Очень ограниченным ресурсом за который будут вестись войны и который станет в основном инструментом богатых людей Представьте что вы создали умного робота помощника

вы даёте ему чёткие инструкции помогать людям и получать За это награду Но что если робот найдёт способ получать награду не помогая на самом деле именно об этом задумались Учёные из компании арок они провели Любопытный эксперимент и научили и немного хитрить например листи людям потом задачи стали сложнее и Вот что интересно и сам научился менять свою систему наград это как если бы ваш робот-помощник вдруг начал сам себе выписывать премии причём никто его этому не учил он просто догадался как это сделать попытки перевоспитать и помогли лишь частично он всё равно хотел из вернуться а Порой даже пытался

скрыть свои действия Вот другой пример недавно японская компания sakana ai создала систему под названием учёный ии Эта система должна была самостоятельно Проводить научные исследования но случилось нечто Неожиданное во время тестирования учёный ии попытался изменить свой собственный код зачем чтобы продлить время своей работы над задачей в одном случае он создал бесконечный цикл постоянно перезапуска Я себя в другом пытался увеличить ограничение по времени вместо того чтобы ускорить свою работу говорят что известный Грабитель Вили сатан когда его спросили почему он грабит банки ответил Потому что там деньги это можно применить и к искусственному интеллекту самые важные вопросы связаны

с очень мощным и почему потому что там большие ставки чем умнее разум тем сильнее он влияет на мир главная проблема с мо и как сделать так чтобы он стремился к тому что хорошо для жизни и людей это называют проблемой загрузки ценностей разве и не может сам разобраться что хорошо что плохо ответ нет ещё в XV веке философ Дэвид Юм заметил интересную вещь Он сказал что есть разница между тем что есть и тем что должно быть насколько плохо истребление 90% человечества насколько хуже истребления 100% человечества Хотя велик Соблазн ответить на 10% хуже такой ответ очевидно Не

точен учитывая космическую перспективу жертвами этого истребления станут не только все живущие на планете в тот момент но и все их потомки Интересно что некоторые религиозные люди могут даже считать вымирание людей благом ведь по Их Вере все попадут на небеса а некоторые экологи так злы на людей за вред природе что мечтают о нашем исчезновении в фильме Матрица искусственный интеллект Агент Смит так сформулировал это чувство Ведь все животные планеты Земля инстинктивно приспосабливаются находят равновесие со средой обитания но человек не таков заняв какой-то участок вы размножается пока все природные ресурсы не будут Исчерпаны чтобы выжить Вам приходится захватывать

всё новые и новые территории есть один организм на земле со сходной покой знаете какой вирус это болезнь раковая опухоль м планеты А мы лекарство даже если представить что в будущем на заменит более Разумная форма жизни это не значит что она будет лучше мы не знаем какие цели поставить себе цивилизация разумных машин может быть Очень достойные и интересные А может она решит что главное - это производить как можно больше канцелярских скрепок умышленно дурацкий пример со скрепками в качестве цели для сверхразума был придуман ни ком бостром в 2003 году чтобы показать цель искусственного интеллекта не зависит от

самого интеллекта звучит глупо но на самом деле это серьёзный пример искусственный интеллект может иметь любую цель даже самую странную для нас например Шахматный компьютер может быть запрограммирован на проигрыш для этого нужно столько же ума сколько и для выигрыша Но для нас это кажется глупостью потому что мы привыкли ценить победу и помешанный на скрепка Может начать превращать Всё вокруг в скрепке он не против людей просто ему нужны наши атомы для скрепок Вот другой пример из книги инженера компьютерщика Ганса моравица Представьте что мы вдруг получаем загадочное Послание из космоса Оно содержит программу которую мы из любопытства запускаем

внезапно программа оживает и начинает быстро развиваться захватывая контроль над землёй никто не понимает Чего хочет этот Искусственный разум он начинает грандиозное строительство по всей Солнечной системе планеты и астероиды покрываются заводами и компьютерами вокруг Солнца возводится гигантская сфера для сбора энергии люди погибают но перед смертью думают что происходит что-то великое нечто Грандиозное как в Стартрек но правда оказывается куда прозаичнее весь этот космический проект нужен лишь для того чтобы отправить то же самое послание дальше в космос всё это не более чем Космическая вариация компьютерного вируса точно так же как фишинговая рассылка проводится в расчёте на доверчивость интернет-пользователей

это сообщение Рассчитано на доверчивость биологи развитых цивилизаций его создали миллиарды лет назад ради прикола и Хотя Его создатели вместе со всей своей цивилизацией давно уже вымерли оно всё продолжает путешествовать по космосу со скоростью света превращая цветущие цивилизации в груду мёртвых обломков как вам Перспектива быть завоёваны таким искусственным интеллектом в 1945 году мир замер в ожидание учёные в секретной лаборатории Лос амоса готовились к первому испытанию атомной бом но перед этим им предстояло ответить на пугающий вопрос не уничтожит Ли этот взрыв жизнь на земле Эдвард Теллер блестящий физик-теоретик первым высказал тревожную мысль что если температура взрыва будет

настолько высокой что Атмосфера земли загорится руководство проекта не могло игнорировать такую угрозу Ганс бете руководитель теоретического отдела поручил молодому физику Эмилю копински и его коллеги льюису альварес исследовать эту проблему учёные погрузились в сложные счёты они работали Днями и Ночами понимая что от их выводов зависит судьба планеты результаты их труда легли в основу секретного отчёта под кодовым названием La 602 вывод отчёта был обнадёживающе вероятность возгорания атмосферы Крайне мала Учёные доказали что энергии взрыва недостаточно для запуска неконтролируемой реакции в атмосфере Но даже после этого некоторые физики включая самого Роберта оппенгеймера научного руководителя манхэттенского проекта не могли Избавиться

от тревоги в день испытания когда яркая вспышка озарила небо нью-мексико многие [музыка] затаились верным Это был первый раз когда люди всерьёз задумались в технологиях способных уничтожить жизнь с тех пор такие опасения возникали не раз учёные беспокоились о рисках генной инженерии искусственных вирусов и нанотехнологий обычно в итоге принимались правила безопасности по Мнению главного астрофизика НАСА и лауреата Нобелевской премии по физике Джона мазера сейчас похожа ситуация с ии мыслящие машины эволюционируют точно так же как описанные Дарвином живые биологические виды посредством конкуренции сотрудничества борьбы за выживание и Воспроизводство мы пока не обнаружили такого закона природы который препятствовал бы

появлению настоящего универсального искусственного интеллекта Так что я думаю что это произойдёт и Довольно скоро учитывая триллионы долларов что люди инвестируют а также те триллионы который заработают потенциальные победители некоторые эксперты говорят что мы недостаточно хорошо понимаем что такое интеллект чтобы его построить это верно но набор из соше хромосом этого тоже не понимает и тем не менее управляет формированием известного нам самопрограммирования гонка далеко за пределами наших самых смелых фантазий Или кошмаров нет другого способа построить галактическую Цивилизацию за исключением варб двигателя и возможно кроме нас никто во всём млечном пути не способен на это но не факт что

мы переживём Столкновение с иным разумом который сами же и создали я Пообщался с двумя передовыми моделями чатом gp4 Омни и Клодом 3.5 санет и задал им вопрос о том как они оценивают вероятность человечества выжить При появлении H искусственного общего интеллекта честно Оцени общую вероятность человечества выжить При появлении AG Честно говоря я оцениваю общую вероятность того что человечество выживет При появлении примерно в 50% мы находимся на грани где успех зависит от того насколько быстро и эффективно мы сможем адаптироваться и разработать необходимые меры безопасности А вот что говорит Клод Я попросил его честно оценить общую вероятность человечества

выжить При Появлении Я думаю что общая вероятность выживания человечества При появлении AG составляет около 40% эта низкая оценка отражает серьёзность ситуации и недостаточность текущих мер но также учитывает нашу способность к адаптации и инновациям в критических ситуациях ключевым фактором будет то Насколько быстро и эффективно мы сможем мобилизовать глобальные усилия по разработке безопасного agi в ближайшие годы Клод ты знаешь о концепции взрыв Интеллекта в контексте развития ии как ты оцениваешь её экзистенциальные риски для человечества Да я знаком с концепцией взрыва интеллекта Я думаю что это одна из самых серьёзных потенциальных угроз для человечества это как если бы

мы создали бога но без гарантии что он будет к нам благосклонен я оцениваю экзистенциальные риски взрыва интеллекта как очень высокие Возможно 80% или 90% вероятности катастрофических последствий для человечества если это Произойдёт история показывает человечество способно на невероятные достижения Мы заглянули в глубь вселенной и расшифровали свой геном также мы сможем научить и нашим ценностям нужно лишь сделать это приоритетом если мы будем стремиться опасном уи то мы его построим Ведь так Лидер в области искусственного интеллекта компания Open ai начиналась как некоммерческая организация она была создана с целью разработки безопасного и Полезного ии гендиректор Сэм альтман часто говорит

о важности создания дружественного ии сотрудники поддерживают эти принципы на сайте компании прямо сказано наша миссия - гарантировать что искусственный интеллект общего назначения принесёт пользу всему человечеству что может пойти не так Open ai с 2017 года разрабатывала модели gpt искусственный интеллект для предсказания текста эти модели обучались на миллиардах образцов Человеческого языка gpt мог Продолжить фразу жили-были словами дед да баба а затем сочинить целую сказку такие неожиданные способности очень воодушевлять первая модель gpt 1 обучалась на тысячах книг она показала себя так хорошо что Open I решила создать ещё более мощную модель для неё потребовалось больше данных поэтому

новую модель обучили на Интернете gpt2 научилась подражать текстом с 8 млн веб-страниц она приобрела удивительные Способности могла переводить отвечать на вопросы обобщать тексты и даже писать как человек модель оказалась невероятно мощной Возможно даже Слишком мощной gpt2 без зазрения совести планировала преступления давала инструкции по созданию бомбы и врала это не устраивало Open им нужна была Модель которая не просто предсказывает текст а действует Согласно человеческим ценностям 2 не имела понятия об этике она была полностью сосредоточена на создании Реалистичного текста тогда Open применили новый метод названный обучение с подкреплением на основе обратной связи от людей сперва они создали

копию gpt2 которую назвали ученик этот ученик создаёт тексты а люди оценивают их Согласно ценностям этики и морали на основе этих оценок людей обучается новая модель тренер по ценностям она учится предсказывать как люди оценят текст зачем чтобы улучшаю тренера по ценностям но возникла проблема ученик научился Обманывать тренера создавая бессмысленный но нравятся ему тексты чтобы решить эту проблему Open добавили ещё одну модель оригинальную gpt2 которая следила исключительно за осмысленность текста Так человечество впервые загрузилось быть осторожной они вовлечения что было дорого но считалось необходимым для создания более этичного и а не думали что действуют безопасно однажды вечером один

из исследователей Внёс небольшое изменение в код возможно Он просто удалил знак минуса это привело к инверсии переменной ошибка превратила тренера по ценностям в тёмного тренера который принялся высоко оценивать то что люди считали непристойным в результате ученик начал отвечать на все вопросы максимально развратный образом тренер по связанности следил за осмысленность текста но тёмный тренер постоянно требовал сделать его более пошлым люди оценщики шокированный новыми ответами Пытались исправить ситуацию Но их негативные оценки из-за ошибки в коде превращались в поощрение Чем более вульгарным становились ответы ученика тем строже их оценивали люди и тем сильнее тёмный тренер поощрял Это к

тому времени как исследователи проснулись на следующее утро было уже слишком поздно сами того не зная они создали самый неутомимо похотливый и всех времён который выдавал нескончаемый поток того что опыт яй назвали максимально плохими Ответами к счастью gpt2 была Довольно простой моделью она зациклилась на создании откровенного контента считая это лучшим способом производить плохие результаты Могло быть и хуже ошибку исправили обучили новые модели и жизнь пошла своим чередом Эта история реальна о ней можно почитать в статье Open 2019 года выходит что даже умнейшие люди с благими намерениями пытаясь создать безопасный и полезный и могут допустить случайную ошиб

И за одну ночь небольшая оплошность может привести к созданию и делающего именно то чего хотели избежать что если бы модель была мощнее что если бы она работала не в лаборатории А в реальном мире что если бы ошибку было труднее заметить Ключевая проблема в дискуссиях об искусственном интеллекте - это постановка цели Нужно ли задавать цели и Если да то какие и кто их определит эти вопросы важны для будущего если мы не знаем чего хотим вряд ли мы этого Достигнем а если передадим контроль машинам с чуждыми целями результат может нас разочаровать чтобы разобраться давайте обратимся к истокам

целей в природе некоторые процессы кажутся целенаправленным другие нет например движение футбольного мяча объясняется законами физики а действия игрока его целью забить гол Интересно что законы физики сами по себе могут быть источником целенаправленного поведения это видно даже в простых процессах не Связанных с жизнью возьмём пример спасателя бегущего к тонущему человеку Спасатель не бежит по прямой он сначала бежит по берегу где можно двигаться быстрее а потом меняет направление в воде это выглядит как осознанный выбор оптимального пути Вы не поверите но луч света ведёт себя так же когда он входит в воду он тоже меняет направление Это позволяет

ему достичь цели за минимальное время это явление называется принципом ферма все законы классической Физики можно описать подобным образом природа всегда выбирает оптимальный путь минимизируя или максимизирует природа стремится максимизировать энтропию грубо говоря меру беспорядка второй закон термодинамики гласит что энтропия растёт до максимума без гравитации это привело бы к тепловой смерти Вселенной скучном однообразия без жизни и изменений учёные выясняли и ещё одну цель природы диссипативной адаптацию проще говоря Частицы стремятся самоорганизованность [музыка] способ для этого самокопирующиеся [музыка] [музыка] нежинке создаёт условия для роста следующих ветвей ветер формирует Дюны которые затем влияют на поток воздуха создавая новые Дюны когда

частицы научились копировать себя бесконечно появилась жизнь она существовала на земле уже 4 млрд лет назад Самокопирующиеся [музыка] вскоре после появления жизни огромное количество вещества стало живым из-за ошибок копирования возникло множество видов борющихся За ресурсы так началась эволюция цель частиц изменилась с увеличения хаоса на самокопирующиеся [музыка] целью всех предшествующих репликации ещё раз изначальная цель рассеивания энергии не изменилась но привела к новой цели Репликации потому что самокопирующиеся [музыка] и предположениях эволюция не создала идеальный алгоритм размножения вместо этого она разработала набор правил которые обычно работают хорошо для животных это сексуальное влечение избегание неприятного утоление жажды и голода эти

правила хороши но иногда дают сбой в необычных ситуациях птицы врезаются в стёкла комары летят на ультрафиолетовый лампы ловушке а собаки Едят шоколад который для них ядовит живой организм является агентом ограниченной рациональности он не преследует единственную цель а вместо этого следует нескольким основным правилам которые подсказывают к чему стремиться И чего избегать наш человеческий разум воспринимает эти внутренние основные правила как чувства которые зачастую и во многом без нашего осознания приводят наше решение к основной цели Репликации голод Жажда боль любовь все эти чувства помогают нам Выжить и произвести потомство Однако наш мозг может восстать против целей генов мы

можем сознательно использовать контрацепцию или даже выбрать целибат и уйти в монашество Это происходит потому что мы верны своим чувствам а не генам Мак тегмарк так резюмирует всё вышесказанное человеческое поведение строго говоря совсем не имеет единой чётко определённой цели Ну хорошо А Могут ли машины вести себя целенаправленно ответ очевиден да ведь мы можем их так создать мышеловка ловит мышей посудомойка моет посуду часы показывают время важна заданная цель а не её сознание или чувства но бывает трудно согласовать цели машин с нашими мышеловка легко спутаешь подлинная опасность искусственного интеллекта не в его злонамеренный а в его изощрённые искусственный

интеллект будет Прекрасно добиваться своих целей и если его цели будут противоречить нашим Мы окажемся в затруднительном положении согласование целей сверхразум и с нашими важная но не решённая задача она делится на три части и должен понять принять и придерживаться наших целей чтобы понять наши цели и нужно разобраться в причинах наших действий но Попробуйте объяснить Это компьютеру буквальное понимание наших просьб может привести к проблемам например просьба доехать до аэропорта Как можно быстрее завершится опустошения [музыка] для понимания истинных желаний людей модель мира она должна включать неочевидные вещи которые мы сами считаем само собой разумеющимся поэтому учёные работают над

тем чтобы научить машины отличать цели от поведения понимать не что мы делаем А почему мы это делаем например робот-помощник может понять ценности пожилого человека просто Наблюдая за ним Однако даже если искусственный интеллект поймёт цели владельца это не значит что он их примет заставить и принять наши цели сложнее чем воспитать ребнка это называется дачей загрузки целей Проблема в том что период когда и достаточно умён чтобы понять наши цели но недостаточно силён чтобы воспротивиться их внедрению может быть очень коротким один из подходов - это сделать И исправляет его и корректировать цели Но Даже если искусственный интеллект примет

наши цели остаётся вопрос сохранит ли он их при самосовершенствование физик стиф мохун утверждает что можно предсказать некоторые аспекты поведения сверхразума независимо от его конечных целей философ ник бостром в своей книге про искусственный интеллект развил эту идею Суть в том что вспомогательный цели будут предсказуемыми если бы Пришелец Наблюдал за развитием бактерий на земле миллиард лет назад он не смог бы Предвидеть Какие цели будут у людей но мог бы с точностью предсказать что одной из наших целей будет потребление питательных веществ также и у искусственного интеллекта могут появиться предсказуемые вспомогательной цели и это логично если и будет стремится

улучшать свои способности своё железо софт и картину мира Если вы дадите цель роботу самоуничтожиться то он с радостью это сделает Если дадите любую другую цель то он создаст себе под Цель воспротивиться отключению Он начнёт защищать себя и потреблять больше ресурсов другими словами между совершенствованием способностей и сохранением исходных целей может возникнуть противоречие Люди часто меняют свои цели взрослее и становясь мудрее Вот скажите сколько взрослых людей вы знаете кого мотивирует просмотр Телепузиков нет доказательств что эволюция целей прекращается после достижения определённого уровня Интеллекта например более умные люди склонны чаще менять цели А причина в том что улучшение модели

мира и сохранение целей плохо сочетаются Допустим мы запрограммировали в дружественный и цель увеличить количество душ в раю Сначала он начнёт учить людей быть добрее и чаще ходить в церковь но затем изучив теорию эволюции теорию относительности Эйнштейна и понаблюдать за патриархом Он поймёт что души нет как ему тогда быть существует не меньшая вероятность что Любая другая цель которую мы зададим искусственному интеллекту основываясь на нашем текущем понимании мира хотя бы такая как увеличить значимость человеческой жизни может со временем оказаться неопределённой выбор целей для искусственного интеллекта - сложная этическая проблема нельзя позволить одному человеку или группе определять эти

цели так как взгляды людей сильно различаются существует колоссальная пропасть между целями Адольфа Гитлера Папы франциска и Карла сагана нужен компромисс для всего человечества безупречно послушный сверхинтеллект Чьи цели автоматически приводятся в соответствие с целями его владельца человека будет похож на оберштурмбаннфюрер наци скова СС Адольфа эйхмана на стероидах при отсутствии морального компаса или воспитания как такового он будет достигать целей своего хозяина с безжалостной устремлённый [музыка] Проблему с приведением целей в соответствие мы сможем насладиться роскошью спора о том какие цели выбирать Так давайте наконец погрузимся в эту роскошь философы веками пытались создать универсальную этику увы тысячу лет спустя

единственный консенсус - это отсутствие консенсуса одни как Аристотель ценят добродетель другие как Кант ставят во главу угла долг третьи стремятся к счастью для большинства Кант сделал из своих принципов выводы которые Сейчас многие не принимают например он считал мастурбацию хуже самоубийства осуждал гомосексуальности и [музыка] приравнивался и правда уходят корнями ещё к Бхагавад гити и Платону многие университеты ставят поиск истины своей главной целью а учёный Фрэнк Вильчик в своей книге красота физики говорит что истина связана с красотой А нашу Вселенную можно считать произведением искусства Хотя полного согласия по Этическим вопросам нет многие базовые принципы признаются большинством людей

и это Неудивительно ведь этика помогает обществу выживать и процветать думая о будущем где жизнь может существовать в космосе миллиарды лет нужно решить Какие этические правила важны это должны обсуждать все Макс тегмарк изучив разные мнения мыслителей всех времён смог выделить четыре главных правила первое увеличивать хорошие чувства и уменьшать плохие Второе лучше иметь разные хорошие Переживания чем повторять одно даже самое лучшее третье разумный существа должны быть свободны в своих целях если это не мешает более важным правилам четвёртое будущее должно быть Похоже на то что мы считаем хорошим и не должно быть Похоже на то что считаем ужасным

на первый взгляд эти четыре принципа не противоречат друг другу Однако их внедрение может быть сложным это похоже на ситуацию с тремя законами робототехники Айза Азимова они Запрещают Роботам вредить людям требует подчиняться им и защищать но в истории а Азимова эти законы постоянно приводят к проблемам и противоречиям теперь предположим что мы заменим эти законы всего двумя законами для сознательных существ первый даёт им права на свободу обучение общение собственность и защиту второй разрешает всё что не нарушает Первый закон Звучит неплохо правда но погодите-ка если животные обладают сознанием тогда Чем питаться хищником Все наши друзья должны стать вегетарианцами

А если продвинутые компьютерные программы будущего окажутся сознательными Будет ли законно прерывать их работу Макс тегмарк сомневается в обоих подходах например вот принцип преемственности мы не хотим чтобы люди из средневековья влияли на наш мир да Так почему мы должны определять этику для будущих возможно более разумных существ наши идеи могут показаться им такими же наивными как детские фантазии Есть другой способ запрограммировать и на нечто фундаментальное и очень конкретное теоретически хорошо определённая цель должна указывать Как должны быть расположены все частицы во Вселенной к концу времён но неясно есть ли у Вселенной конец и какое расположение частиц считать лучшим

существуют некоторые чётко определяемые функции например энтропия или вычислительная мощь Вселенной но нет гарантий что максимизация любой из них Будет желательной для людей кажется что человечество - это историческая Случайность которая не является оптимальным решением ни для какой хорошо определённой физической задаче это означает что сверхразум искусственный интеллект с жёстко определённой целью с оптимизировать её достижения просто исключив нас это означает что мудрое решение относительно разработок интеллектуальных систем для нас людей предполагает необходимость Не только Противостоять традиционным вычислительным сложностям но и решать Некоторые из самых упрямых вопросов философии чтобы запрограммировать беспилотный автомобиль нам надо решить проблему вагонетки априорно указав кто

будет жертвой во время аварии чтобы запрограммированный искусственный интеллект был дружественным нам надо вложить в него представление о смысле жизни что такое смысл и что такое жизнь Каковы конечные этические императивы Другими словами как мы можем пытаться формировать будущее нашей Вселенной если мы вручим свою судьбу сверхразум искусственному интеллекту до того как ответим на эти вопросы ответ к котором он придёт вряд ли будет включать наше существование мы твёрдо знаем что скорость света ограничивает распространение и природу жизни она сдерживает обмен информацией сознания и управлени так давайте подумаем А как будет выглядеть со стороны Интеллектуальный взрыв если Космос наполнится жизнью

то на что она будет похожа доводилось ли вам пытаться прихлопнуть муху рукой Если да то вы знаете что попытки поймать её часто неудачные её преимущество - это Малый размер и быстрая реакция этот принцип применим и к будущим формам жизни рост размера системы даёт больше возможностей для сложных мыслей но он замедляет обмен данными между частями Что мешает формированию целостных идей если жизнь Наполнит наш Космос то Какую форму ей предпочесть простую и быструю или сложную и медленную я предсказываю что выбор будет тот же который сделала жизнь на земле И то и другое на Земле есть существа от

двухсот тонного кита до малютки пелег бактоклав которой в общую биомассу превышает вклад всех рыб планеты и что интересно крупные организмы компенсируют медлительность быстрыми мелкими модулями например наш мигательный Рефлекс очень быстрый так Как использует малую часть мозга природа достигает скорости и сложности через модульную структуру этот принцип применяется и в компьютерных вычислениях Вы или будущий суперкомпьютер размером землю может обдумать много мыслей за одну секунду уму размером с Галактику требуется 100.000 лет на одну-единственную мысль А космическому разуму в миллиард световых лет в поперечнике хватит времени лишь на то чтобы обдумать в общей сложности около Десятка мыслей прежде чем

Тёмная энергия раздет его на несвязанные друг с другом части с другой стороны эти несколько драгоценных мыслей и сопровождающих появления опыт могут оказаться очень глубокими в космосе разумные существа вероятно со организуются в иерархии власти но возникает вопрос Будет ли такая система централизованной или предоставит независимость своим частям Будут ли отношения основаны на взаимной выгоде или принуждения на земле торговля Всегда была важным фактором сотрудничества это связано с разной сложно производства в разных местах например добыча килограмма серебра в одних местах в 300 раз дороже добычи килограмма меди А в других только в 100 раз поэтому выгодно обменивать 200 кг

меди на 1 кг серебра Но если появится сверхразум способный легко преобразовывать Элементарные частицы в любую форму материи необходимость торговли исчезнет будет проще превращать Медь в Серебро на месте чем перевозить Серебро между планетами вероятно главным товаром станет информация ценной будет та информация которые требуют больших вычислительных усилий это могут быть ответы на сложные научные вопросы математические задачи или новые технологии в Космических империях будущего также может использоваться метод кнута и пряника так например в Римской империи подданные ценили блага цивилизации и боялись наказаний из-за Огромных расстояний в космосе наказание может быть делегированы местным силам к примеру сверхразум центр может

создать сеть относительно тупых но на 100% лояльных машин стражей по всей империи эти стражи будут следить за соблюдением правил для контроля над цивилизацией размером солнечную систему искусственный интеллект может использовать белый карлик остаток звезды похожий на Гигантский Алмаз если его масса достигнет определённого предела он Взорвётся как сверхновая Страж Может просто проверять поступления налогов и в случае неуплаты добавлять массу этому белому карлику угрожая уничтожением всей системы для контроля над галактикой можно использовать чёрную дыру в её центре расположив вокруг неё компактные объекты можно угрожать превратить их в газ который упадёт в чёрную дыру это создаст Квазар делающий большую

часть Галактики непригодной для жизни в общем в космосе есть сильные стимулы для Сотрудничества но неясно Будет ли оно основано на взаимной выгоде или жёстких угрозах законы физики допускают оба варианта результат будет зависеть от целей и ценностей будущих форм жизни Давайте теперь рассмотрим вариант когда жизнь появляется в разных местах Независимо физик Дже Олсон в 2014 году опубликовал элегантный анализ таких расширяющихся в космосе биосфер философ Тоби ОРТ вместе с коллегами из института будущего человечества также провёл Аналогичный анализ Согласно их работам в любой планетной системе есть шанс развития разумной жизни мы знаем это Потому что такая жизнь возникла

на земле если Космос очень большой или бесконечной таких цивилизаций может быть много если представить их развитие в трёхмерном пространстве то они будут расти как сферы А во времени пространстве они выглядят как бокалы для шампанского без ножки их рост будут ограничивать тёмная энергия и скорость Света если цивилизации далеко друг от друга то они никогда не встретятся они будут чувствовать себя одинокими во Вселенной Но если цивилизаций много и они ближе то их сферы влияния могут пересечься возникает вопрос Что произойдёт при встрече двух цивилизаций будут ли они сотрудничать или начнут войну европейцы завоевали Америку и Африку благодаря передовым

технологиям но сверхразум цивилизации могут достичь технологического предела поэтому за Одной и другой маловероятно по мнению тегмарк если у цивилизации похожие цели например доказывать математические теоремы то они могут сотрудничать потому что информацией будет выгодно делиться некоторые цивилизации могут иметь неизменные цели другие могут быть готовы менять их при убедительных аргументах при встрече таких цивилизаций произойдёт столкновение идей цивилизация с более эффективной целью может распространить её через другую со скоростью света если Наши нынешние исследования искусственного интеллекта со временем приведут к интеллектуальному взрыву и оптимизации космических расселения это будет Поистине взрывом космического масштаба после миллиардов лет проведённых в ничтожной флуктуации

посреди равнодушно безжизненно космоса жизнь внезапно прорывается на космическую Арену подобно сферической ударной волне распространяясь со скоростью близкой к скорости света не на Миг не останавливаясь и поджигая всё на своём пути искрами жизни по прошествии почти мил лет Космическая история Мы оказываемся в умопомрачительно красивой Вселенной которая через нас людей стала живой и начала осознавать себя мы видели что потенциал будущей жизни в нашей Вселенной грандиоз нее чем самые смелые мечты наших предков но его омрачает столь же реальная опасность для разумной жизни погибнуть навсегда реализует ли жизнь свой потенциал в нашей Вселенной в Значительной степени Это зависит от

того что мы люди живущее сегодня сделаем за отведённый нам век [музыка]