всем привет добро пожаловать на семинар по трансфер рингу ним познакомимся с этой техникой заключается в том что мы используем уже при добыче ную модель на какой-то удачи для уже нашей задачи которые как право похоже или напоминает то что было в начальном большому это свете на которых обучалось модель вообще описание метода что что мы делаем в суринаме придумаю данную архитектуру какой-то сердечной сети невыгодное нерентабельно выбрать угадаете какая съесть работает такая нет так же напомню что зачем вообще не внесены семен это некоторые фичи экстракторы на который уже дальше обучаться классификаторы то есть в самой сверхточной сети подбирается какие-то фичи и управления на свертки да то есть если кусочек изображения похож на свёртку то это дает большую активацию и собственно вот одна фича она как бы имеет большое значение и дальше уже вот по этим речам которые не руками созданы она которые отмечаемые мы уже сверху бы чем куда классификатора как правило это 2-3 слоя обычные полноценной сети с активация my промежуточных рф и это неплохо работает собственно в чем заключается fantini нет анти подмножество трансфер линга что мы делаем мы берем кельского большую обученную сеть и не просто заново и обычаям отберем уже загруженные vesa которые были погружения и после этого мы пытаемся немножко изменить эти веса так чтобы они удовлетворяли уже условиям задачи которые необходимы нам обычно все большие сетки обучаются на дата сайте называемый не жмет он там состоит насколько помню из тысячи классов он очень большой по объему и сам обучать натянута сети у нас нет никакой возможности поэтому мы пользуемся уже выжженными моделями которые приучили до нас какие-то небольшие компании стартапы и так далее так вот пони тюнинг почему заключается мы можем во-первых заморозить фичи просто которые есть нашей съемочной сети и просто обучать откуси катер заново во-первых да какая при добыче на модели идут с последним слоем размерности равно тысяч как раз число классов вы начинаете нам не всегда нужно 1000 классов тогда нужно скажем 2 класса дайте более классификаторы вот очень на какую ты там свои классы она возможно аналитики это другие и поэтому мы просто заново инициализирует эти последние слои которые являются классификаторами и меняем размерность выходного слоя обычно вся суть заключается в этом тут приведены некоторые инструкции можете в принципе почитатель на в основном всегда всех стратегиях лучше всего к ней transfer during нежели чем просто обучать все эти 0 во-первых потому что обычно сети с нуля она как бы быстрее города перри обучается если у нас допустим кассат маленький то учили фичи хорошим из него не получится то есть он просто как-то переобучаться на уборку которую нас есть строение особенности на неё и не станем смотреть на как бы общую совокупность печей которая нам нужна формально да вообще чем больше данных тем лучше и даже если данные не похоже то скажем нас угла сдачи классификация мы хотим сейчас но не знает там детекции сегментация которое вы узнаете позже все равно использует обычно вот эти вот фичи это в на практике давайте начинать сделал необходимые все импорт и и сегодня мы будем классифицировать картинки муравьев и пчел с ответственным классом для этого давайте загрузим это сет сделал это с помощью команды winged перед венеты на стоит искать с не знак это показывает то что у нас команда выполняется в терминале и собственно дальше у нас идёт ссылка на этот это satrip и после этого мы делаем мандип то есть просто распаковываем архив с sing to графин давайте так вот мы получили китае изображения в ней просто packard и выгрузили давайте поговорим о мутациях что это такое а бен тации также позволяет бороться с переобучение они вообще созданы для того чтобы каком-то смысле увеличить datasette тренда и за счет чего это достигается допустим у нас был изображение пчелы и вдруг ночью повернули допустим просто отразили зеркально горизонтали это пчела осталось чего и собственно и наша сеть должна а ровно также понимать что это фотография пчел и вот здесь за это отвечает и как информация как ринном horizon кухне и что он идиот она там связанности 05 берёт просто первач изображения и таким образом мы как бы случайно иногда расширяем наш data set который был в самом начале а также мы используем нормализацию для нашего сета а откуда эти числа дерутся на а вот тут значит нас есть вектор из средних до по трем каналам и with rice стандартное отклонение как правило его берут из самой при добыче най сети при добыче на сеть на случалось на имидж найти поэтому неплохим выбором в принципе будет нормализовываться так именно теми же числами что которые были получены на нужно найти то есть что там происходило просто берем с подонком все картинки между собой делим на и в число получаем как средние значения и потом мы делаем так чтобы это среднее значение было измениться и стандартно по ней тоже было единицы то есть мы там сначала вычитаем среднее он делим а когда поклонение хочу заметить что на валидация мы вот эту случайного и горизонтального поворота мы не делаем почему потому что мы хотим чтобы наблюдаться у нас всегда как бы datasat было день тот же данные на которых не вы лидируете должны быть детерминированным поэтому здесь место флипы здесь стоит просто центр укроп здесь у нас как мы едим да тоже считает трендом ресайз кого что делать рен вместо стол он как достаточно берет и обрезать наше изображение по размеру которому ему акционер то есть у нас там был 1 забрали 50 60 из 56 не взяли обрядами его до 244 204 таким образом как правило объект не оскорбление terranova попадает в выборку то есть у нас была избрана пчела на взяли как-то обрезать а быть может чего сместил без google на это все равно ставится чего и мы хотим чтобы наша сеть также это понимал как нам придется брать как номинации визирует сам datasette значит у нас есть какое-то вот специальная структура достаточно файлов могу видеть у нас есть значит принимаю папку они и дальше у нас есть валидация к своей нации и не значит по класс проспи значит изображение вот одна папка и внести соответствующую глубине пчела из муравьем и strain у нас есть челы и если значит пчелы находятся в директории принятого мы будем очередным пихать их trends to set также из с муравьями вот есть у нас есть такая структуру папок как здесь то мы можем воспользоваться уже встроены в турч вишен так скажем класса называется имидж мэра что он делает он как раз таки осталось найти структуре делает наш сосед то есть сразу же говорю что вот этот тремя это тест и сразу же как бы выплевывают тандыр из изображений и собственно классом классно сразу же переводит там и из вот мини сеанса в ноль и один общем все у нас написано очень полезная штука поэтому когда я уйду вас это все о семьи хранят в таком формате что у нас тут у нас заданных значит директориях который лежит и дальше собственному просто принял по валидации достаем нужные нам изображений также хочу обратить внимание что она принтера с этим нам нужно поставить утру точно так почему это так потому что допустим нас всегда один и тот же порядок да и мы обучаемся много эпох мяч и там 1 мы допустим идут изображения больше изображение скажем с пчелой а потом с муравьями и получается так дальше то вначале позже наша сеть постоянно будет предсказывать пчел а в конце mlp уж там будет обучаться потихоньку и на графике лосса вы увидите такую характерную пиву мне сказать или того что в конце эпохи 7 lite о том что нас вообще-то исчести пчелы потому что не были только вначале вот и поэтому вот такой скачок и поэтому чтобы такого не было мы ставим шофар оботру в нато лоу мире у равен это сатин все мы знаем два часа из на workers это число потоков которыми мы будем угрожать картинке вообще тем больше тем лучше но ставить больше чем у вас скажем тяги процессор нет никакого смысла из за того что я думаю всем понятно снова распределенных вычислений и здесь соответственно стоимость у нас нет любу а у меня сейчас от кого не всегда то это будет вот эта переменная будет равна трем давайте инициализирует сайт наконец и посмотрим их размера мы видим что в 13 у нас видите s4 именно матча на войда 153 давайте посмотрим на изображение которое дает нам выдаст ну вот например изображений значит у нас 1 2 это пчёлы я вижу пчёл есть здесь муравьи я тоже вижу на меня все в порядке мы нигде не ошиблись собственник акрил библиотеки ну например ну тогда у нас тендер из трех каналов не какие-то числа давайте теперь напишем наш основной алгоритм общее в машинном обучении этого при ну то есть то как внутреннюю нашу модель здесь для скажем так как экономии строк кода написано сразу и валидация и тренинг часть то есть ну тут как бы используем один и тот же цикл за некоторым остатком который мы сейчас обсудим для обучения делами дается не так что то происходит ну во-первых первый цикл самое большое это очевидная цикл пор плохо да вот хочу обратить внимание есть 5 класс не уже знакома что делать она показывает эту полоску прогресса не очередь поставить на чистописания что вот эта полоска прогресса 17 по эпоху то есть это грубо говоря перед nand этому такая букву т это вот как раз таки означает что я буду повозку показывать если просто не круто некой полоски не будет я думаю совсем очевидно следующее что мы делаем это мы оперируем все подводим фазу здесь у нас это фрейм и валидация то есть на каждой эпохи мы сначала поеданием пленту досыта потом не смотрим на то как у нас изменилось качество ничего сложного не буду есть а вот кости изменению крышка говорил от фазы у нас собственно зависит владения сети это очевидно то есть на 3 нему и и обучаем наблюдаться на ее не трогаем и никак не оптимизированы и взаимодействия совсем азерам что у нас здесь здесь у нас [музыка] прошиваем понял давайте назначить scheduler делается у нас есть модель котор переводится в режим 3 на отключать у нас нет ключа непал ты не переводит большой моего специальный режим не у нас месяц значит другой случай когда фазу у нас предаться что делать она наоборот переводит наша сеть то есть эта строчка на эквивалент если бы я написал модуль . да то есть приводит такой режим блевать отвечай на болты и там говорит что больше статистиками накапливаем по большому что дальше вот теперь как на самом внутренний цикл это по самому угадал удару мы каждый матч пропускаем через сеть как она сама гача-гача на следующее у нас как бы это типу из двух объектов первый объект рецепт тендеры то есть они изображения там то что зерно от первой такой трехмерный тендер то есть нас тут 3 матрицы соответствующей каждому каналу и собственно нитки классов метки классов тоже тендер на такая примерно из 1-го числа и сам буду или того что у нас еще два часа из есть какой-то почитать 4 насколько я помню то есть четыре метки с присущей и соответствующей нем четыре изображения значит если нас есть к плутону и перекидываем горбач на gpu ничего нового если у нас сейчас идет приняты на учет начал разные ингредиенты перед пропусканием через сеть и финально вот здесь ни тени занимаемся собственно давайте посмотрим на тот момент ещё одно различие собственно если у нас и фраза сейчас валидация то ничего зверем что градиент и нам считать не нужно именно поэтому мы делаем точно у град то есть чем отличие между там . train .
я дал модели и не сторож наград еще раз . . приводит саму модель просто вот свои какое-то слайде модели вырежем при этом мы можем в принципе сделать том углу .
я бы и дальше читать президента на 0 даст нам это не нужно иногда диетический такого множества но это сейчас за рамками семинара так вот и поэтому нам нужно еще отключать ингредиенты патча градиентов на валидации потому что мне как-то оптимизирована шум сеть и вот все что написано после вы старший брат все вот это пространство условно day 2 day and a считаться не будет тут можно еще что-то написать танки тетрадь интернете здесь если вы делаете bradford вопрос к штурму легендах не мы их мы подсчитывали это ускоряется вычисление то есть валидации он проходит быстрее то прений именно на самом по этой причине что мы делаем дальше из собственного опыта модели мы получаем предсказании как это сделать собственно вот я допустим а соседи дает получается тензоры дух начинены потом из нее как-то можно получить реальности не важно важно то что как бы чему больше значения выходного тандыра тем больше от нас класса значит есть с классом большая точении мы будем предсказывать его ему поэтому мы не смотрим кришну еще не привели бы просто наши вероятности нашего а опыт они все равно будет ну думаю оставить с ростом исходных значений с этими поэтому делаем марк макс макс мы делаем по последнему размерности сети мы считаем что вас будет cross in 3d волос поэтому мы просто можем ехать мимо толпы ты со слоя до меняли на руку ситуации напоминаем мы можем также использовать воцарилась так называемый бондарика сан-тропе и для него нам нужен опыт из одного нейрона то есть и снова значения и то есть условно говоря если там приводится не потом вероятности есть от большего 05 там игрушки 1 класс если меньше чем на 5 2 класс все просто и еще раз если у нас фаза принято мы к краске делом backward то есть год проб вот этот момент считается все градиенты и начислены и делаем этим others that который vesa модель берет градиент и vesa моделей как ты их применять и если накоплю на статистику как мы это делаем для лосса мы просто прибавляем крутых неслось потом читаем среднем для активации что мы делаем читаем не средние курсе помощью каждому не совсем верный из-за того что последний бак счет меньшей да если вы простую не прибавлять зрения каждый раз потом делить то вот ну как бы примеры последнего класса складываются последнему часто историю вместе с тем же весам что и примеры там из обычного большого бача нашего и как бы начальник вирусе которая получается таким образом она не совсем верная она слабо отличается но все же отличается ну такого не хотим допустить поэтому что именно число правильных предсказаний или иных на общее число элементов нашего сета то есть просто читаем прямо по определению керосин что дальше что здесь он накапливал статистику до улицы та же вещь у нас есть выбор ему на него сдаем описание то есть это вот тот текст который с ним будет отображаться отсюда мы значит кладем фазу с тремя либо валидация муки руси его среди айподе также мы сохраняем лучше модель то есть у нас валидация некую россия стала лучше чем было лома сохраняя модель след не картам и модель не сохраняем то есть как бы леса и остается нажать тренироваться но эту перемену мест но думы и он записывается кого-то еще и погружает с виса лучше модели мы хотим что так был получен причин да так же у нас есть функция для опрессовки предсказанием не на похоже на то что было вот здесь я просто 3 сотки классов и с выражение и собственно здесь у нас функция для измерения качества модели книги серьезную тренируем вопрос пропускаем через вы и дацана металл да не смотрим на том какое значение получилось ну что же давайте не вице практике мы сейчас попробуем учить несколько архитектур значит не будем пробовать ван тюнить их разным образом не заниматься транс триллер ногам для . ну вот немножко разными способами ответный начнем с обычный алекс нет надо у сиона я знакома 1 тонированной сеть которая что то смогу вообще сделать против обычных in крафта свечей то есть те которые руками люди придумывают как я загрузить значит опять же круто модулей строчке жена что листочком указываю модель мы хотим и после этого у нас идет флаг препринт если он тут а ну еще так давай будем не сайты модели и собственно загрузим их в скелет модель а если он холст он просто инициализируем как-то это модель стучание давайте посмотрим что внутри архетипы 100 кг она загрузится лично модель посмотрим что внутри какие слова ничего нового но надеюсь вы для себя не увидели свертки вело макс по свёртка любом обскуру такие вот значит модуля их тут получается четыре штуки и после этого у нас нет арочку линк и как превращаем наше печенье из такого-то вытянутого видно то есть там маленькие изображения и много каналов обычных такой полоска представляет них представляем простуду в этом мире то есть один миг этот вектор у нас размер 9 6 16 водку расцвета очень говоря вот это часть моделям как бы верхние первый слой называется вещей экстрактор как я и говорил стоит из карточных слоев в основном а после нее идет вот наш классик азар ничего нового у нас просто он связно сеть здесь индра болтами нелинейности не люблю ну по факту здесь вот видим три слоя один скрипт вернее и очень две акции а царем как я говорил самом конце у нас аутфиттерс филаменте тысячи что с этим делать давайте разбираться число вещей которые приходят на вкладку 9 216 зафиксируем это число а теперь скажем что вот этот классификатора он просто давайте будет равен именно условия и запивает краски большой один вектор из девяти тысячей в уме эти две фичино мы будем брать как предсказание моделей ну как это можно делать мы просто берём вот наш модель через точку вызываем классификатор вот мы здесь сделали им просто горю что ты теперь вот не sequence и он там из трех слоев и просто января как-то с начальницы лизин она кстати то есть вот сейчас прямо эта модель на использует нельзя ее надо как-то добычи и 4 вот этот секатор научился тем вещам которые выдает нам фича extractor проложим модели gpu тоже горе будем использовать красоты волос и в качестве оптимизация возьмем выбор сильно улучшила дома как правило не прыгнешь о чем не думал знаете что адам это как бы такой оптимизатор сейчас помощью и попробуешь scheduler я обещал что происходит значит ну на первых этапах обучения сок себе обучение она происходит более активно то есть если он посмотрит на лосс обрезка продают у нас после этого мы хотим чтобы наша сеть делала более маленькие шаги что она выпустила кого-то маленького камилла минимуму при вашем йорн кроить у нас просто будет как-то очень сильно прыгать модель у представителя себе параболоида увидеть картину большой лоренет у нас вот так прыгает просто а маленький о-ринг рейд нас как бы она вот скатывается его находится самый самый минимум такой что здесь происходит на каждом седьмом шагу 7 позже мы уменьшаем нашли арни кроить наган из на 01 что значит каждый 7 и плохо delrin creed уменьшается в 10 раз давайте собственно преступника обучения функция может подготовили все аргументы у нас есть к чему бы не начать самое интересное так что мы видим да вы нижнюю полоску нас есть которая как ты быстро мелькает из за того что у нас идут итерации под это не есть верхняя полоска которую рыба начнете свой пол украсть у час доедем шестая эпоха никакие говорим в может на вечер там у редакции проходит быстрее чем принять будем акира исида нас получается сразу скажу что достаточно неплохая валидации 90 процентов 90 процентов мы ну то что друга драма уже как бы предсказываем burn a minimum что на трение у нас ось выше это логично как бы в том что внутренние опираясь выше чем наблюдаться это ещё не значит и обучение просто она вполне может как бы как спасти параллельный then игру не выдать это будет уменьшаться ну да мы уже видим что принципе наблюдаться было 90 сейчас 88 чуть чуть упало качество ну ничего страшного нет сохранили выше модель дождемся окончание и поговорим немножко о том как общение бляшки построить и думаю это уже знаете на я покажу такие как их делать более красивыми значит есть такая библиотека для статистики нас по 1 пользуются отзываться seabourn давайте импортируем sen bor что можем делать мы можем первое что и нравится облачным графика давать из чего построен он маленький у него отделение нас очень маленького шрифты будут чуть вылазит еще значит объект сам по себе человек и что еще сделать смотрите я делаю sns . во-первых и бурные какие-то стили свои для давать я воспользуюсь стиль мбайт grid что значит значит фон белым и букет а во-вторых вот это вот шипы да вот на осях он слишком и талкинг к отмене кажется я думаю большинство со мной согласен я делаю его по 40 процентов больше после этого отнести он должен создать чем как бы класс жмуры и задач его размерам здесь не слишком маленькими хотим их чуть большего сделать не используем мозг будет сотрудничать экрана стандартный выбор неплохой 12 8 и чтобы вот это вот не выходила я делал код .
шел от до после него вот вот это вот выхода служебному словно него не будут хотя посмотрим на результат на как по мне получила гораздо более приятно на соседка мы можем как сами и что мы видим как я говорил 7 достаточно быстро обучается и после этого вот оранжевым нас validation novotel я сделаю чтобы было видно что эта валидация не видно синюю настроен дать оранжевый не вот у нас теленку вот мимо потом потихоньку раз темному вы сохранили вот эту вот наш лучший модель и давайте еще раз меняемся сырым мясом именно в память жесткого диска нет этим загрузим чтобы вы несли что все порядке измерим керосин и люси нас 88 вполне достойно какие еще и способы и еще и способы [музыка] containing a phone снова загрузим модель и что мы теперь будем делать сейчас мы обучаем слита все слои это в принципе нормально но может привести к переобучение то есть вот те фичи которую модель долго обучал на большом дата сайте они могут портиться и спуститься как бы в сторону тренинга тасс это нашего и как нам это исправить да мы хотим сейчас зафиксирует эта фича extractor и обучать только курсе кота как это сделать собственно каждого параметра модели есть такое атрибут как и пальцы по умолчанию как видим здесь мантру моларо бросать и of us epa и том же как бы поймем что вот для этих вот тендеров которые являются весам модель ему ленты не считаем 5 укажем число вещей она осталась неизменна классика то мы будем обучать поэтому здесь как бы мы руки клик вас град фолз не делай такие 10 шт она давайте про воду простите луче не время не попробуем запустить посмотрим результат вообще говоря сейчас мы очень инертно происходить еще быстрее так как мы для ленты считаем для меньшего числа параметров принцип на остановке полторы минуты до например настолько кстати обшит можно объяснить тем что сейчас на какую-то сидят . маленько на то он и помещается том числе нее были менее параллельно делается и давайте опять повторим процедуру сохранить качеству от немножко подросла еще один метод заключается в том что мы не замораживает полностью наш вич extractor а мы замораживаем только первые слои почему это может быть выгодно если посмотреть внутрь сверток алекс нету там увидим что первое слоя не содержат какую-то такую базовую информацию до условно если там горизонтальной полки полки руслан горизонтальной линии на фотографии если там вертикальные как способ кита округлости а вот скажем свертки которые ближе уже как курсе которого некие там поле сложные танки то скажем круги на правом углу при этом палка [музыка] как-то так это не в общем сложные и кажется что их тоже можно до обучения для нашей задачи а вот те которые это основные их не трогать они вполне себе под огонь давайте в 3 служило людям наш элекснет и введена во времена этого число слоев фичи экстрактора которую мы хотим возможность и дальше мы делаем рекорд град фолз только для первых слоев остальным мы тренируем опять делаешь тоже самое классификатор делаем клык . размер настигла top fun собаки интересно что мы кладем 2 адам в этом мы кладем руки на туннель только те слои которые нам нужны то есть те которые разморожены ecu секатор можем просто плюс делать как бы раз такой лист из параметров получится scheduler написано сколько давайте запустим тренировку так мы получили качество 8 954 это лучше чем первый способ чуть хуже чем 2 суть в том что изначально вот просто глядя на нас это возможность кажется будет лучше и что хуже и поэтому пробоваться наконец-то кимчи нету этом со звездочкой немного в чем заключается вместо заморозки слоев давайте будем пробовать делать разные лёрн грейт и накажу слои как-то сделать собственно первый этап ничем не отличается давайте загрузим алекс над и сразу это поменяем дни и курсе кота теперь что мы делаем нам не нужно ни как вставлять и quoris град мы уже урон где будут ручки что нам нужно нам нужно как-то по-другому лицензировать наши оптимизатор обычным первым параметром оптимизаторы : является там скажем модуль .
params в нашем случае это будет не совсем так у нас будет низ чем вы состоять каждую я ставлю никто не дать ему рукава параметрам собственно то есть 1 минута и скажем давайте сначала выставим модуль . курсе файл . параметр туз но пока что не были лирник рыть не буду выставлять а вот дальше кажется чуть-чуть [музыка] здесь надо просто по факту что улик я ваще происходит мы просто говорим документы нам передвигаться на 4 равных будет говорит давайте если мы выйдем на костика вставить один минус 4s на посмотри на -5 то есть единица на пятом месте плотными и теперь можем как бы указать базовый michelin great 4 число элементов от этого места которого качеству термин params много быть в принципе каким угодно то есть мы можем даже на каждый слой прям выставить свой ли рынка ит который был как-то линейный например растянем к концу то что конце классика то который мы хотим тренировать иногда это помогает как ты лучшим улучшить на домен давайте посмотрим как получится у нас оптимизатор есть критерий теперь есть швы давайте скоплений у нас он мог рублёв то есть раз не ровный пол нормально лицензировать или пекине вокруг и начнем тренировку наряду мы готовы на как миниатюра сила самого высокого сказал числе сам не зна получат свои лучшие дни но получилось лучше .
