Сегодня поговорим о том Каким образом мы можем запустить large Language Model какой-нибудь аналог Chat gpt у вас локально на компьютере чтобы вам даже не нужен был доступ к интернету для того чтобы пользоваться такой нейронной всё это можно сделать буквально за несколько минут основные Степы сейчас рассмотрим Но дальше уже сможете сами разобраться существует такая ЛЗ которая называется LM Studio сейчас перед собой вы видите её сайт вам нужно её скачать и установить установленная программа выглядит вот таким образом в правом нижнем углу есть шестерёнка можно зайти в настройки изменить язык изменить тему меня здесь всё устраивает ничего менять

не буду прежде чем мы сможем чатиться с какой-то моделью нам эту модель необходимо скачать здесь есть такая иконка Discover туда заходим и видим список того что нам доступно Какие модели нам доступны для скачивания Я здесь искал dips 1 но здесь и другие модели доступны вернёмся к пси и здесь есть важный нюанс оригинальную модель на свой локальный компьютер вы не сможете поставить потому что там требования достаточно большие но здесь есть модели которые созданы на основе пси R1 порезанные скажем так упрощённые которые принимают меньшее количество параметров Но которые вы сможете запустить локально Обратите внимание что вот в

названии моделей есть такие параметры как 7b 8b 14 би 32b если коротко Это количество параметров миллиарды параметров которые нейронка может принимать нам нужно выбрать такую которую сможет потянуть Наш компьютер но чем больше тем лучше конечно Чем хороша эта туза LM Studio так это тем что она знает характеристики вашего железа на котором вы её запускаете и подсказывает вам Сможете ли вы в принципе запустить эту модель имеет ли смысл запускать или же она будет тормозить Вот например эта модель которая выбрана У меня сейчас Studio пишет что likely to lge for Ma Это значит что моё железо её

не потянет и нам нужно выбрать что-нибудь попроще если мы посмотрим на 14b то здесь мы видим Следующее сообщение Maral GPU offload possible то есть она не поместится в память GPU а GPU здесь используется по полной Ну имеется в виду видеокарта Так что в моём случае я выберу что-нибудь ещё попроще Вот это 8b будет в самый раз здесь даже значок сразу зелёный Допустим мы определились Какую модель Мы хотим выбрать но если мы нажмём вот здесь мы видим что среди этих моделей есть ещё несколько разновидностей И кстати вот на вот этой модели которая выбрана сейчас мы видим

надпись Full GPU FL possible Это значит что она полностью поместится в память видеокарт и значит что будет работать очень хорошо Ну так вот даже внутри этой модели есть ещё скажем так дополнительные опции Q3 Q4 Q6 q8 и мы видим что Q6 уже не поместится в память видеоплата вот эти вот Q здесь - это квантизация если коротко чем больше значений тем лучше чем оно больше тем точнее будет работать модель Ну соответственно мы здесь выбираем лучшую из того что может потянуть наше железо оно здесь и так уже выбрано после того как мы определились с моделью нажимаем Да

и ждём пока модель загрузится на вашу машину после того как модель будет загружена в окошке downloads у вас появится об этом сообщении вот здесь ещё справа снизу появится сообщение нам нужно нажать кнопку L Model то есть загрузить модель Если вы сейчас её не нажмёте ничего страшного не случится это можно будет сделать потом во время того когда вы уже чат создадите чтобы с этой моделью но я сделаю это прямо сейчас и мы сразу переходим в чат где уже загружена эта модель вот это вот и вся базовая вещь которая вам нужна для того чтобы стартануть Давайте попробуем

спросить эту модель что-нибудь например знает ли она CP видим её ответ тут немножечко китайского насколько я понимаю но если модель у вас будет получше не 8b А вот 14 такого уже не будет Давайте спросим что-нибудь ещ попросим рассказать про но мы не дали этой модели нужного контекста Давайте уточним в принципе в том ответе предыдущем уже был правильный ответ да но она нам и сказала что может трактоваться расшифровать по-разному в общем-то вот такую информацию Мы получили работаю постоянно могу сказать что что ответ вполне адекватный примеры кода на скидку кстати тоже и в зать уже можно и

да Можете вырубить интернет и попробовать всё равно это всё будет работать