Qué significa instalar una ia local Cuáles son las ventajas y cuáles son las desventajas okay Para que lo entendamos muy rápido ventajas principales de una ia local Bueno vamos a aprovechar el poder de nuestra máquina Qué significa eso que a priori una ia en nuestra máquina se va a ejecutar muy rápido después diremos a Costa de qué pero se va a ejecutar muy rápido porque no tenemos que contar con unas máquinas que están en la nube con unas máquinas que tienen dependencia con unas máquinas como las de Open Ai con chang gpt o con Deep
seek estos últimos días que lo está utilizando tanta gente que muchas veces te dice que Ey no funciona estoy offline tardo en responder error 500 no sé qué bueno porque estamos derivando toda esa carga computacional en algo lo que nosotros no tenemos control Entonces si nosotros corremos una ía en nuestra máquina y nuestra máquina tiene la capacidad suficiente para correr ese modelo Pues la verdad Ey es que está bien porque podemos tirar de nuestra máquina y eso va hacer Que responda bastante rápido vale eso por un lado lo segundo los datos son privados y ahora
aquí entramos con la paranoia de no Y qué más segura qué no más segura bueno las ías que podemos instalar a nivel local son ías de código abierto es decir que hay cientos de miles de personas a lo largo del mundo en muchos casos investigando Y revisando ese código que ese código te puede engañar por supuesto que ese código puede ser malicioso por supuesto pero hablando de la premisa si yo instalo una guía local no necesito internet para ejecutarla con lo cual eso ya significa que todo ese procesamiento se está haciendo de manera interna Y
eso lo que nos tendría que asegurar es que nuestros datos son privados entonces también hay un punto ahí a favor que es vale cuidado Yo no quiero andar con mis datos por lo que hablábamos antes por lo que sea yo hoy a día a día de hoy ya he renunciado bastante a la confidencialidad de mis datos no para poner los datos de mi banco pero mi código o preguntarle según que cosas Bueno yo lo utilizo para trabajar tampoco no tengo ninguna preocupación en que esos datos en muchos casos pues como utilizo chpt o utilizo gith
hoc o Pilot esos datos sean almacenados o lo que sea Bueno a mí no me preocupa porque para mí no son datos sensibles los datos que son sensibles pues ya no se los coloco a una ía para que se almacenen por lo que pueda acabar pasando Vale entonces si los tenemos en local ya evitamos eso y lo que decíamos el tema de internet pues también es importante que yo no tenga que depender de internet de la velocidad de mi conexión o incluso que yo desconecte a internet y por supuesto va a funcionar Así que son
unas premisas bastante importantes claro ahora entramos aquí pero entonces la ia que yo puedo correr en mi máquina es la misma que está corriendo Open Ai en sus servidores pues Por supuesto que no es decir esto lo tenemos que tener clarísimo que ellos tienen una infraestructura de de hierro de gpus de de de todo lo que necesitamos a nivel de infraestructura gigante valorada en miles de millones de dólares vale Y nosotros tenemos nuestra humilde máquina Qué significa eso que los modelos que ejecutamos en la nube cuando nos conectamos a Open Ai con ch gpt o
cuando nos conectamos al dipsi que esteé de moda por supuesto son modelos infinitamente más potentes infinitamente son modelos que se han entrenado con billones de parámetros pues lo que vemos cuando tenemos el número de parámetros okay Y que eso al fin y al cabo acabar ejecutando una instancia de saa ía son 100 gig de ram no vale quién tiene 15 GB de ram para poder ejecutar por ejemplo el modelo grande de dips R1 ese modelo que que es capaz de razonar como el o1 de Open Ai claro eso no lo tiene un mortal no porque
igual lo que tenemos en nuestras máquinas son 8 16 32 Entonces qué qué ía Estamos instalando nosotros en nuestro ordenador Qué tipo de modelos Estamos instalando nosotros en nuestro ordenador bueno Estamos instalando lo que se llaman modelos destilados Qué quiere decir son modelos que en los modelos valga la redundancia las sillas de código abierto en muchos casos hasta la propia comunidad puede reentrenar esos modelos puede digamos sacar versiones de esos modelos más pequeñas con menos parámetros Eso quiere decir que son menos potentes Pero por otro lado también quiere decir que se van a ejecutar mucho
más rápido y sobre todo eso se va a traducir en que se van poder ejecutar ar en máquinas normales como puede ser la mía Claro pero entonces si no tiene tantos parámetros si no es tan potente si no sé qué no va a ser tan buena digo por supuesto no va a ser tan buena pero depende mucho del tipo de uso que tú le quieras dar en local Qué quiere decir que igual para según qué cálculos hiper complejos y para según qué datos que igual no son tan comunes Pues no te sirve y te tienes
que conectar al chpt de turno al dips de turno en la web pero igual para según qué casos de uso mucho más naturales a nivel de código trabajar con un poquito de código trabajar con interacciones de código trabajar con documentos hacerle preguntas comunes decirle que te traduzca cosas bueno Al fin y al cabo menos parámetros Okay pero sí que pensados también para algo específico para que al fin y al cabo rindan sobre procesos mucho más concretos que en nuestro caso pues puede tener todo el sentido del mundo un tipo de ia ejecutada en local en
máquinas de mortales no va a sustituir a la que tenemos en la nube pero sí que es cierto que para según Qué tipo de acciones de nuestro día a día sea más que suficiente Así que vamos a hablar muy rápido justamente de eso porque creo que es importante también tenerlo en cuenta y que tengamos ese conocimiento de Ey Y si yo ahora quiero hacer eso en mi máquina de verdad qué tan complejo es qué tan difícil es hay que tener muchísimos conocimientos sí no pues bueno vamos a ver eso a ver qué os parece Así
que vamos a entenderlo superrápido todo lo que hay que hacer que para nada es un proceso largo ni para nada es un proceso difícil todo lo que tenéis que hacer para poder acabar ejecutando pues una ía en vuestra máquina vamos a hacer el ejemplo lo podéis hacer con cualquiera Pero vamos a hacer el ejemplo pues por supuesto con la ía de moda que tenemos por aquí pues bueno todo el mundo está hablando de dips no me voy a meter yo en que sea mejor peor que haya superado en según Qué cosas a Open Ai que
sea más menos segura que esté sesgada que no esté sesgada creo que todas cojean Pero vamos a hablar de dips como que se ha puesto super de moda que es una ia de código abierto que han sido capaz de entrenarla pues teóricamente con mucho menos presupuesto y con mucho menos recursos y que bueno Está abriendo Ahí otro camino okay al margen de todo esto por supuesto Esta es una ia con no sé cuántos no sé 600 billones de parámetros ya ya no sé cuántos tenía pero algo super grande Vale qué quiero acabar consiguiendo yo pues
bueno tener una versión reducida de esta ía o de la que sea en mi máquina Entonces lo primero que os voy a decir es que existen muchísimas formas Pero os quiero dar la opción para mí más fácil que he encontrado y que os sirve para gestionar todos los modelos de código abierto que prácticamente tengáis en el mercado que es lm Studio lm Studio también es gratuito lm Studio está para todos los sistemas operativos Okay y lm Studio una vez lo descargá básicamente lo que os vais a encontrar es algo así e s que ya parece
un chat esto ya es una especie no de chat gpt verdad Bueno pues en el momento que ya tenéis lm Studio instalado vosotros lo que tenéis que hacer es descargaros un modelo de ia ahora vamos a entender Qué modelo de ia puedo acabar descargando bueno estos son los modelos destilados de los que estábamos hablando tiene una lista por eso ya digo que para mí esta fue un poco la la opción más simple de cara también a comunicarle a la gente cómo puede hacer uso de estos modelos fijaos yo entro en la sección de buscar y
aquí ya tengo todos los modelos incluso tengo un buscador y si yo me voy aquí y pongo disic Pues por supuesto ya tengo diferentes modelos y aquí veis un poco Cuál es entre comillas ese ejecutor del contenedor que veis aquí que es wen que veis aquí que es llama también lo que tenemos y también Cuántos parámetros tiene claro estábamos hablando de que deeps no lo séa ciencia cierta pero eran como 600 billones ahí de parámetros imagínate Pues en en este caso tenemos la versión d8 es mucho menos Claro pero es que sea mucho menos en
qué lo acaba convirtiendo que yo de repente tengo esa versión destilada de dips en 5 GB Qué significa que esto me va a ocupar 5 Gb en disco y Esto va a ser equivalente a que voy a necesitar esos 5 GB de memoria RAM para yo cargar en memoria la ejecución de esta ía entonces claro para mí esto es muy asumible decir tengo 5 GB de espacio en el disco duro perfecto tengo 5 GB de ram vram o lo que sea para ejecutarlo Sí pues ya está perfecto claro De repente yo ahora tengo un modelo
que en mi máquina puede correr sin problema aún así revisar la página de lm Studio porque os va a dar según qué limitaciones para las máquinas para MAC para Linux para Windows bueno que necesita un mínimo está claro que esto no es el Word no esto Al fin y al cabo e vamos a correr un modelo de aa local algo de potencia necesitamos pero que pensar que es infinitamente menor a la que necesitaríamos para correr el modelo completo Al fin y al cabo entonces sin más tú vienes por aquí seleccionas el modelo que te da
la gana fijaos por ejemplo con este que yo no lo tengo descargado y tienes aquí el botoncito de Descargar ya está esto es todo 100% automático Entonces yo le doy al botón de descargar y se me va a descargar el modelo en el momento que yo ya tengo un modelo descargado Por ejemplo yo tengo estos dos modelos Okay tengo Pues bueno aquí esta versión de wen y otra versión de dips perfecto ya está tengo los modelos obviamente hay muchos modelos y cada modelo pues tiene sus puntos fuertes sus puntos débiles se han creado para según
Qué cosas lo que sea no importa vale vamos a este al de deeps Al que está de moda sin más yo ya tengo aquí el modelo perfecto tengo los modelos si yo ahora me fuera al chat qué tendría que hacer seleccionar Cuál es el modelo que yo quiero acabar cargando en memoria por supuesto voy a tener uno ahí funcionando porque es el que yo voy a utilizar desde el chat perfecto Pues yo digo venga quiero acabar cargando dips qué tengo aquí la configuración más o menos de dips a nivel de número de parámetros a nivel
de ciertas opciones que yo puedo acabar toqueteando para adaptarlo también a los requisitos de mi máquina perfecto una vez he elegido que lo podis dejar por defecto esto Al fin y al cabo acabar entendiendo mucho mejor cómo funciona pero sin más aquí tenemos el modelo de R1 que es el que es capaz de razonar digamos y aquí lo tenéis Bueno pues con esos 4,99 le doy a cargar el modelo lo veis aquí se está cargando bueno tampoco es un drama lo que está tardando en cargarse esto por ejemplo si siempre lo Vais a utilizar puede
ser un proceso que se arranque en el momento que inicia la máquina y ya siempre lo tiene en memoria para utilizar si no lo podéis estar como cargando y después también eliminando de la ram Bueno ya veis ya se ha cargado perfecto vengo por aquí y le preguntamos algo quiero estudiar python No lo sé lo acabáis de ver acabáis de ver la velocidad he dado a enter y ya me está escupiendo una respuesta claro es tan potente como el supermodelo que tiene en la nube No pero ojo que esto no está nada mal ya me
está dando respuestas esto es superrápido quién es bry moure le preguntamos Aunque igual eso Claro en este modelo docal igual no tiene ningún sentido Quién es bry moure Mira thinking aquí tenemos el proceso mental que hace él para acabar respondiéndome claro quién es bry mour no parece una frase claramente entendible en español obvia ente Este modelo destilado no tiene ningún sentido que tenga contexto sobre mí porque va a tener contextos mucho más generales ahí empezamos a ver la diferencia bien no es decir se entiende perfectamente para qué cosas igual tiene mucho sentido que lo utilicemos
para traducir para trabajar con documentos para interactuar con código para cosas que sí que sabemos que son términos mucho más generales pero para este que está corriendo en mi máquina que yo ahora acabo y tiro del cable y me quito internet y me va a seguir funcionando pero nos falta una cosa Vale yo ya tengo el chat ya tengo el el el chat gpt aquí del modelo que me dé la gana y ahora cómo podría acabar utilizándolo en visual Studio code porque Bueno yo aquí le puedo no sé ir copiando y pegando código puedo ir
haciendo cosas Pero cómo lo integro como si fuera una especie de cursor o de githack Pilot en mi visual Studio code entonces ahí ya más de lo mismo Tenemos un montón de opciones tenemos diferentes extensiones que nos sirven para hacer algo parecido a lo de lm Studio acabar descargando desde el propio visual Studio code un modelo y [Música] ejecutándola dejarme que os lo muestre por aquí porque vamos a hacer lo siguiente nosotros nos vamos a visual Studio code y en visual Studio code buscáis esto code gpt code gpt yo ya lo tengo instalado bueno code
gpt es una aplicación y encima está desarrollada por parte de comunidad de hablo hispana inicialmente Así que aún más importante para para que la descarguéis Esta es una extensión que funciona estilo ghw o Pilot vale que vosotros le podéis acabar metiendo un apik de Open Ai con el modelo gpt que vosotros querrá y os vale para acabar trabajando con un montón de modelos incluso con agentes que ellos han creados por ejemplo os lo descargá lo instalárselo aquí de python 313 es un agente especializado en python pero aquí hay varios puntos que es que bueno según
Qué modelo esté utilizando qu í esté utilizando pues puede haber una parte de pago Claro igual que si yo ahora mismo Pues quiero acabar conectándome al Api de chat gpt o incluso al Api de dips aunque sea gratis desde el chat el apsic Aunque es un coste mucho más reducido que el de los gpt de Open Ai pues Vale dinero no qué tendría que hacer yo ahora aquí si de verdad quiero acabar utilizando pero ahora de dentro de visual Studio code el dips R1 versión chiquitita que yo tengo funcionando en lm Studio y que de
verdad está cargada en la ram de mi ordenador Pues fijaos si os vais por aquí tenéis la posibilidad de en vez de los agentes o la i a la que estéis conectada decir no yo quiero cargar un lm local un modelo de lenguaje local y aquí me dice e Y cuál es tu proveedor o llama porque igual ya lo tienes como gestor de estos modelos Pero le digo no no no yo quiero que el gestor sea lm Studio y automáticamente lo que va a hacer es agarrar el contexto del mstudio que en este caso es
que nosotros tenemos cargado este Deep seic R1 versión destilada de 8 y yo ahora vengo por aquí le digo hola Qué modelo eres un poco para verificarlo a ver si estoy loco esperar me acaba de fallar justo ahora me acaba de fallar Por qué no estaba engañando venimos por aquí y nos falta una cosa Nosotros ahora mismo desde lm Studio lo que estamos haciendo es cargarlo en memoria para utilizarlo desde lm Studio pero no lo estamos sirviendo para que cualquier otra aplicación de nuestra máquina pueda utilizarlo Nos vamos aquí veis esto que dice aquí developer
decimos he status stop y esto tenemos un botoncito para arrancar un servidor es decir que ahora Este modelo también esté disponible que esté servido al resto de recursos de nuestra máquina para que puedan utilizarlo fijaos click ya está servidor arrancado lo veis por aquí el servidor ya está accesible en esta dirección local en este Puerto 1 2 34 volvemos por aquí Qué modelo eres ya está aparece todo el proceso de razonamiento y me dice soy un asistente de dirigencia artificial creado por dips actualmente soy la versión dips R1 ya tenemos dip seic en este caso
porque es el modelo que está cargado en lm Studio funcionando desde vc code que me voy a mi código vengo por aquí ya está tengo el chat Qué puedo hacer aquí veis esto ya me está pillando este fichero que se llama mouredev que yo no quiero el contexo del fichero lo quito que quiero el contexo del fichero lo pincho que quiero hacer acciones sobre el fichero explicar comentar arreglar documentar hacer un refactor tengo ya acciones es decir claro Esto no es solo utilizar el chat de dips en este caso es que yo ahora tengo un
modelo de Inteligencia artificial en local y gracias a c gpt con funcionalidades para interactuar con el código tan fácil como que claro yo ahora vengo por aquí selecciono este trozo de código y le digo Explícame el código o lo que sea ya veis proceso de razonamiento lo lanza y veis como lo lanza de manera instantánea y este es un modelo razonador yo ahora meto otro modelo que no sea razonador para que vaya muchísimo más rápido y lo utilizo sin problema y ya veis ya me lo está explicando todo mi código classe user constructor el método
no sé qué tiene todo y sobre esto le puedo pedir pues lo que me dé la gana y por supuesto interactuando haciendo referencia a otros ficheros Bueno pues como funciona un gho copilot en cierto modo con salvedades con cosas mejor con cosas peor pero que en cierto modo así Nosotros somos dueños por un lado de la privacidad de nuestros datos tiramos de nuestra máquina No necesitamos internet hay esa privacidad y elegimos el modelo que a nosotros nos dé la gana Así que en según Qué cosas por favor tener en cuenta estas ías locales para generar
test por ejemplo pues son muy potentes Porque al fin y al cabo no dejan de ser ciertas áreas bastante repetitivas y que quizás No exigen tener un contexto tan amplio a nivel de parámetros ni de entrenamiento así que bueno no está mal la verdad yo creo que una buena opción a tener en cuenta y que pensar que se va a acabar convirtiendo en algo muy habitual que nosotros vamos a tener nuestras herramientas de ia para según Qué cosas para algunos pues obviamente Tendremos que tirar de los servidores de la NASA y para otros pues lo
podré hacer en mi máquina Así que yo creo que no está mal por lo menos a ver est [Música] [Música]
