Всем привет Меня зовут Марк и я возглавляю исследование в Open Вчера мы выпустили одну из наших моделей и запустили её в чат гпт Скоро мы запустим её и впи если вы не слышали об этом то Это наша последняя серия улучшений моделей которые позволяют им подумать прежде чем дать ответ Представляем вам наше последнее достижение в программе настройки моделей она позволит пользователям настраивать модели на своих собственных наборах данных и ещё раз подчеркну что Это необычная настройка это улучшенная настройка которая использует алгоритмы обучения с подкреплением которые подняли наши модели с уровня старшеклассника до уровня эксперта Это для ваших
собственных задач Я хочу ещё раз подчеркнуть что это только предварительный вариант который мы запустим в следующем году но если вы изве исследователь или представитель компании мы расскажем вам как получить доступ к нашей программе Так зачем вам это нужно Ну это позволит вам использовать ваши лучшие наборы данных и превратить их в уникальные предложения которые будут работать так же как наши для ваших пользователей и клиентов Я предоставлю слово Джону Джулии Джастину чтобы они рассказали подробнее Да Привет всем Меня зовут Джон аларт Я инженер в Open Здравствуйте меня зовут Джули вон я исследователь в Open я Джастин рис
биолог вычислитель из лаборатории Беркли Сегодня мы с радостью представляем новый способ настройки модели из нашей серии улучшенную настройку с подкреплением или сокращённо ус впервые разработчики исследователи и инженеры по машинному обучению смогут использовать обучение с подкреплением для создания экспертных моделей которые будут отлично справляться с конкретными задачами в своей области мы считаем что это может быть полезно в любой сфере где требуется глубокое понимание модели например Недавно мы сотрудничали с Томпсон ritters чтобы использовать обучение с подкреплением для настройки минимо Дели которая будет помогать юристам в их работе с искусственным интеллектом этот инструмент помогает юристам выполнять Некоторые из их
самых сложных аналитических задач Да некоторые из важе знакомы с для обучения с учителем которое мы запустили в начале прошлого года обучение с учителем - это действительно мощный инструмент вы пытаетесь научить модель воспроизводить функции которые Она находит в тексте или изображениях это отлично подходит если вы хотите изменить тон стили или формат ответа модели теперь с обучением с подкреплением или как я должен сказать с обучением с подкреплением и тонкой настройкой это уже совсем другое вы не просто Учите модель имитировать входные данные е рассуждать совершенно по-новому в определенных областях мы даём модели возможность подумать над задачей а затем
оцениваем её ответ затем используя возможности обучения с подкреплением Мы поощряем те варианты решения которые привели к правильному ответу и Наказываем те которые привели к неправильному ответу и вы увидите что всего лишь с несколькими десятками примеров модель научится рассуждать в новых и эффективных направлениях в своей области невероятно что вы можете сделать это всего с 12 примерами это невозможно сделать с помощью обычной тонкой настройки да именно так Да я имею в виду что в области больших языковых моделей и машинного обучения несколько десятков примеров Это ничто поэтому наша платформа для настройки моделей впервые Будет поддерживать обучение с подкреплением
И что примечательно это та же технология которую мы используем внутри Open для обучения наших передовых моделей таких как гп4 одной из областей где есть много интересных приложений является научные исследование нам на слово поэтому сегодня с нами доктор Джастин рис из лаборатории Беркли Джастин исследователь изучающий использование вычислительных методов для понимания генетических причин редких заболеваний Джастин большое спасибо что пришли Не могли бы вы рассказать нам немного больше о своём исследовании и о том как может помочь тонкая настройка с подкреплением конечно Спасибо рад быть здесь одна из областей моих исследований редкие генетические заболевания вопреки названию редкие генетические заболевания
на самом деле не редкость каждое отдельное редкое заболевание редкость Но если их сложить вместе то они встречаются довольно часто и речь идт о 300 милна человек по всему миру страдающих от редких заболеваний более того этим людям часто приходится месяцами или годами проходить диагностику прежде чем они узнают о своём состоянии это как всё население США Да это не мало Итак над чем мы работаем так это над улучшением вычислительных инструментов и методов чтобы действительно исследовать важные вещи и помочь нам понять и лечить эти заболевания поэтому мы проводим нашу работу в Академической среде Изучая и причины и Мы
надеемся что сможем улучшить медицинское обслуживание таких людей в будущем А сейчас диагностика вашего заболевания довольно сложна потому что вам нужно знать две вещи вам нужно разбираться в медицинской стороне вопроса и уметь анализировать биомедицинские данные и это та область где как мы думаем наша модель может помочь нам благодаря своим аналитическим возможностям это действительно имеет смысл наши большие языковые модели обладают знаниями в своей области а наши модели похоже тепер есть довольно хороший вычислительный метод для решения некоторых из этих проблем верно можете рассказать нам немного больше о наборах данных которые вы используете конечно это была совместная работа нашей
группы клиники рити в Германии лаборатории Питера робинсона и инициативы монар мы собрали информацию о болезнях из сотен научных публикаций в которых были описаны случаи редких заболеваний мы отсортирован это списки признаков имв пристли У пациентов и которые у них отсутствовали а также что важно для нашего разговора мутировавший Ген который вызывал проблемы у этих людей Понятно значит вы и возможно некоторые другие врачи пытаетесь выяснить какой Ген мог мутировать у пациента чтобы вызвать такие симптомы Да это так и мы вместе с командой Open работаем над тем чтобы научить старой модели более эффективно определять причины заболеваний невероятно Спасибо Джастин
сейчас мы покажем вам как работает тонкая настройка подкрепления и не хочу хвастаться но мы собираемся взять одну мини модель и сделать так чтобы она превзошла по производительности другую это та модель которую мы запустили вчера это очень важно потому что мини модель меньше быстрее и дешевле чем обычная Да используя набор данных Джастина мы покажем как можно значительно улучшить производительность мини модели в задаче где по списку симптомов нужно определить какой Ген может быть причиной генетического заболевания для начала мы рассмотрим наборы данных которые используются для обучения модели и оценщиков которые используются для оценки модели затем мы запустим обучающую
работу в инфраструктуре Open ai и наконец мы оценим получившуюся модель с тонкой настройкой чтобы увидеть насколько она улучшилась по сравнению с базовой моделью с которой мы начали для начала мы перейдём на платформу разработки openai создадим новую модель тонка настройка подкрепления у нас уже больше года что мы сделаем так это выберем тонкую настройку подкрепления сейчас мы будем обучать одну из них поэтому выберем её в качестве базовой модели теперь нам нужно загрузить набор данных для обучения наборы данных для обучения - это просто файлы в формате Jan в которых каждая строка - Это пример на котором модель будет
обучаться в нашем случае Джастин и его коллеги собрали набор данных из примерно 1,1 млн примеров сейчас я загружу его чтобы лучше понять как работает этот набор данных и В чём заключается задача мы рассмотрим одну из строк вот как выглядит одна из строк здесь есть три важных момента первый - Это история болезни это описание пациента и симптомов Мы видим что пациентка пятидесяти однолетняя женщина начало заболевания не указано у неё есть такие симптомы как гипертелоризм гиперпаратиреоз и другие как Джастин уже сказал есть симптомы которых Нет это симптомы которые не проявляются это важно потому что помогает модели исключить
Гены которые по её мнению могут быть причиной этих симптомов далее У нас есть инструкции я уверен что если вы смотрите эту трансляцию в прямом эфире то знакомы с подсказками мы просто просим модель сделать то что нам нужно для этой задачи мы говорим учитывая список симптомов и историю болезни Можешь ли ты перечислить все Гены которые по твоему мнению могут быть причиной генетического заболевания которое по твоему мнению присутствует затем Мы также просим модель объяснить почему она считает что эти Гены могут быть причиной наконец У нас есть правильный ответ Это тот Ген который как нам известно является причиной
но важно то что мы не показываем его модели во время обучения это было бы нечестно но мы используем его во время обучения чтобы оценить Результаты работы модели или проверить правильно ли она работает Это довольно сложная задача у меня точно Нет надежды ответить на этот вопрос Да я хочу сказать что мы уже далеко ушли от простого подсчёта количества букв Р сло клубника Да теперь когда мы даём модели подсказку отчёта случая инструкции модель выдаёт что-то вроде списка генов которые по её мнению могут быть причиной и что важно Гены расположены в порядке убывания где первый Ген в списке
тот который по её мнению наиболее вероятен второй тот который по её мнению второй по вероятности и так далее круто Теперь вернёмся к делу далее нам нужно проверочные данные проверочные данные будут в том же формате что и обучающие но важно чтобы в наборе проверочных данных не было совпадений с набором обучающих данных Это значит что модель не может жульничать она должна или не может научиться просто запоминать список симптомов и связывать их с геном она должна обобщить данные из обучающего набора данных на проверочный набор данных Понятно Ну я имею в виду Как это работает с подкреплением Мы говорили
о ранжировании это часть процесса Да это действительно хороший вопрос Итак ранжирование выполняется с помощью классификаторов которые мы здесь внедряем оценка очень простая классификатор берёт результат работы модели и правильный ответ сравнивает их и выдаёт оценку от нуля до единицы ноль означает что модель не дала правильного ответа а единица что модель дала правильный ответ Также можно поставить частичную оценку она может быть в любом диапазоне для этой конкретной задаче У нас есть классификатор который выглядит Вот так он берёт правильный ответ который мы знаем работы модели то есть список генов и выдаёт оценку в данном случае правильный ответ лиса
номер ри она была второй в списке генов поэтому оценка получилась примерно такая 0,7 Понятно Значит если бы она сказала что лиса номер Т была первой в списке я бы получила единицу да именно так и чем дальше по списку тем оценка постепенно снижается до нуля Здорово Логично но что если у меня задача не связана с ранжирование списка есть ли у нас другие классификаторы более обе предоставляем набор оценок которые Как нам кажется достаточно точно отражают возможные намерения которые могут возникнуть при тонкой настройке подкрепления и мы постоянно добавляем новые и в конечном итоге Мы надеемся что вы сможете
сами настраивать Свои оценки Дада например загрузить файл с кодом на Python или что-то в этом роде и настроить свою систему оценивания Да круто Итак мы определили наш набор данных для обучения мы определили наш набор данных для проверки давайте я быстро добавлю оценщика Open ai позволяет настраивать эти алгоритмы обучения с подкреплением задавая параметры Но мы уже установили несколько хороших значений по умолчанию Так что я просто нажму кнопку создать сейчас мы просто запускаем обучение самое классное что вы можете предоставить свой набор данных и свои знания в этой области чтобы внести свой вклад в решение проблемы а затем
вы сможете использовать всю мощь алгоритмов обучения с подкреплением Open и нашу полную распределенную систему обучения моделей для создания модели которая подходит именно вам как пользователь Я просто загружаю свой набор данных и оценщика а Open берёт на себя всё остальное да именно так да Обычно обучение с подкреплением занимает от нескольких часов до нескольких дней поэтому Давайте посмотрим на Результаты работы которую я выполнил на прошлой неделе я перейду к заданию которое выполнил на прошлой неделе оно успешно завершилось мы получили модель для тонкой настройки Я хочу посмотреть на одну вещ на оценку валидации Итак вот что это такое
средний балл полученный учеником по результатам проверки и то как он менялся в ходе тестирования Итак мы видим что балл растёт и как мы уже говорили ранее поскольку набор данных для обучения и набор данных для проверки не совпадают по генам Это означает что модель действительно научилась обобщать нашу задачу это было не просто Запоминание списка симптомов и сопоставление их с генами Так что хотя это здорово диаграмма перемещается вверх и вправо что мы и хотели бы видеть Было бы неплохо если бы мы могли лучше понять как на самом деле изменилась модель во время процесса тонкой настройки И вот
теперь мы рассмотрим это подробнее всё в порядке Итак мы перейдём к панели управления оценками которая представляет собой продукт нашей платформы для разработчиков запущенной ранее в этом году Там много цифр но не волнуйтесь Мы собираемся просмотреть их все итак я организовала здесь Три разных маршрута Первый из них был связан с нашей единственной моделью которую мы выпустили вчера второй был связан с mini что стало отправной точкой нашей рабо по точной настройке а затем наконец подкрепление произвело точную настройку вми Теперь мы посмотрели как вознаграждение увеличивается и смещается вправо Но что это на самом деле означает для данной задачи
я настроила три различных оценки чтобы как-то оценить это первая оценка занимает первое место в списке То есть как часто даётся правильный ответ самый первый пункт в списке Итак правильный ответ в первой Пятёрке элементов списка - это пять раз и наконец самый лучший ответ - Это максимальный правильно ли мы указали ответ в списке посмотрим на первый ответ Наш начальный один минибот получил 17% на наборе данных из примерно 201 он получил 25% так что это хороший результат но наш доработанный минибот получил 31% я сделала скриншот и отправила его в чат гпт чтобы он составил Рождественский сюжет вот
наглядная визуализация этих девяти чисел которые мы видели Ранее Вы можете увидеть наш начальный один минибот в пер в максимальном ответе и в остальных Наш первый бот и наконец наш самый эффективный бот который доработан и отмечен красной пунктирной линией Судя по этим результатам что вы думаете Джастин Ну я думаю это впечатляющие результаты особенно увеличение данных для проверки потому что это означает что модель в целом учится рассуждать над такими данными и это очень интересно вы можете спросить как это соотносится с Существую инструментами формати У меня нет прямого сравнения Но обычно в таких экспериментах используются данные геномного секвенирования
А мы их не включали но я думаю что возможность запрашивать у модели ответы на неполные списки симптомов - это что-то новое и интересно отлично это общие статистические данные но Давайте посмотрим на ответы самой модели я перейду к вкладке с данными Давайте вот вводные данные которые мы передаём модели проблема как Джон уже говорил заключается в том чтобы определить Гены которые могут быть ответственны за набор наблюдаемых симптомов мы попросили модель выдать список генов в порядке убывания и наконец У нас есть список симптомов у этого пациента были субэпендимальная мы запустили нашу модель вот наша модель с тонкой настройкой
это наша модель с тонкой настройкой мы ввели данные и получили список генов которые мы писали ранее вот объяснение сочетание субэпендимальная в этих генах в спике есть е и2 наиболее вероятный кандидат если мы вернемся к нашему ответу то Увидим что ц2 действительно является правильным ответом это позволило нам получить первое пятое и максимальное место Глядя на этот результат Джастин насколько полезен этот вывод для модели да Безусловно особенно полезно видеть как модель рассуждает и это большой вклад порядке убывания даже если правильный ответ не первый Вы можете посмотреть все варианты и ещ Здорово Что тонкая настройка улучшает производительность и
список возможных ответов Так что правильный ответ становится ближе к первому это очень интересно Джастин расскажите пожалуйста как машино и обучение влияет на вашу область можете рассказать о тенденциях В биологии конечно думаю что в исследовательском сообществе большой интерес вызывает использование этих моделей для рения подоб задач и на мой взгляд в ближайшем будущем лучшим решением будет гибридный подход сочетающий существующий биоинформатики как я считаю что это большой Шаг вперёд в понимании сильных сторон этих моделей и в том как мы можем использовать инструменты такие как тонкая настройка для повышения производительности как я уже сказал пока нет сопоставимых тестов для
сравнения Но это определ прогресс и то как модели для изучения болезней А в более широком смысле как мы можем интегрировать эти модели в рабочий процесс который в конечном итоге улучшит медицинское обслуживание людей верно потрясающе Спасибо Джастин мы только что показали вам как можно использовать тонкую настройку подкрепления В научных исследованиях Но это универсальный метод мы получили многообещающие результаты в наборах данных по биохимии безопасности и юриспруденции здравоохранению сотни примеров или задач для которых можно использовать эту модель но вы наверное можете придумать ещё больше Поэтому мы так рады что сегодня расширяем нашу программу Альфа чтобы больше людей могли
расширять границы возможностей наших моделей One для решения самых важных для них задач Да мы работаем с небольшой группой проверенных партнёров чтобы протестировать тонкую настройку подкрепления и сегодня мы расширяем доступ к программе исследования тонкой настройки подкрепления программа идеально подходит для организаций которые работают над очень сложными задачами с командой экспертов и считают что им может помочь искусственный интеллект Если вы хотите подать заявку на участие в этой программе Вы можете найти ссылку на неё в описании трансляции и как Марк уже сказал мы планируем запустить эту программу тонкую настройку подкрепления В начале следующего года Да мы все очень рады
видеть что вы делаете с тонкой настройкой подкрепления как учёный я могу сказать что нет ничего более приятного чем видеть наши модели адаптируются и используются для развития научных знаний в реальном мире у вас есть для нас шутка на сегодня Ну раз уж так получилось у меня есть как обычно это шутка на рождественскую тему мы живём в сан-франциско и беспилотные автомобили здесь повсюду кстати Санта тоже пытается их освоить он пытается сделать беспилотные сани но почему-то его модели не распознают деревья и Сани врезаются в них направо и налево есть предположение Почему нет он не настроил свои модели О
Боже Ладно Хорошо ждём вас на следующей неделе у нас будет много чего рассказать Спасибо
