hace unos meses estuvimos hablando del papel privilegiado que tiene envidia dentro de la batalla que está ocurriendo en el campo de la Inteligencia artificial donde mientras todas las empresas tecnológicas se lanzan a la búsqueda del Oro el modelo más potente del mercado pues ellos están haciendo negocios vendiendo palas gpus en aquel vídeo si recordáis pues nos centramos más en entender la parte de la nube la de los potentísimos procesadores H100 que podemos encontrar en los grandes centros de computación entrenando y ejecutando a los grandes modelos pero otra parte muy importante de la historia empieza a ocurrir lejos de la nube en el lado de los usuarios que empiezan a ejecutar a la Inteligencia artificial en local y para demostrarlo pues envidia me ha traído me han prestado este portátil de aquí me lo han enviado eh ha venido Juan a la puerta de mi casa ha tocado la puerta y me ha dicho Carlos toma te dejo este portátil te lo presto me lo devuelves luego pero úsalo para lo que quieras Ponlo a prueba a ver qué tal va y y dan nos cuentas y esto es muy interesante porque este portátil que es de la marca raser eh es uno de los muchos portátiles que podéis encontrar que en su interior cuentan con una tarjeta gráfica de nvidia pues muy potente en este caso este portátil tiene en su interior una gpu geforce rtx 4090 que como sabéis es uno de los chips más potentes comerciales a los que podéis acceder y esto lo hace muy interesante porque sabéis que estos chips son los que nos van a permitir poder ejecutar ia de manera mucho más rápida y modelos también más grandes y más potentes Y en este caso si le sumamos la autonomía de contar con un portátil pues se vuelve Muy atractivo para lo que vamos a hacer hoy mi objetivo hoy es que conozcáis las ventajas de ejecutar la Inteligencia artificial en local y lo vamos a hacer A través de tres herramientas que tenéis que conocer Sí o sí herramientas que van a ser mucho más sencillas vuestra experiencia a la hora de descubrir Descargar instalar y ejecutar Pues todos los modelos Open source que cada vez más nos van llegando más potentes con más capacidades Y que ahora podr ejecutar desde la comodidad de vuestros ordenadores Así que empezamos respondiendo a la pregunta de qué es mejor ejecutar la Inteligencia artificial en la nube o en local pues empezamos primero por la ventaja de ejecutar la ia en la nube la ventajas de la ejecución en la nube pues son evidentes al final el concepto de nube viene a decir esto de no lo ejecutes en tu Hardware usuario sino Ven y ejecútalo en el mío yo que tengo un centro de computación mucho más grande Tengo los recursos necesarios pues me mandas tus datos yo lo ejecuto y te devuelvo la respuesta y esto lo que permite es que estas grandes empresas pues puedan centralizar más recursos y tener más capacidad de computación de memoria de ancho de banda es decir poder ejecutar en el caso de la ia modelos más grandes más potentes que nunca podríamos ejecutar en nuestros equipos y siendo así pues la gran ventaja que tiene la nube es la exclusividad de los grandes modelos que vayan apareciendo ya sea gemini 3 clot 5 o gpt 6 pues estos serán modelos que seguramente la gran mayoría de usuarios sigamos consumiendo a través de la nube Pues sumamos un puntito positivo para el Cloud pero claro es que a partir de ahora son todo puntos negativos dice el refrán que si Mahoma no va a la montaña la montaña va a Mahoma y esto en el mundo de la ia lo podemos reinterpretar como que si el modelo no va a tu ordenador entonces son tus datos los datos del usuario lo que tiene que ir al ordenador de otra persona y esto por lo que sea no gusta cuando conversas con chat gpt con clod con gemini pues esos datos esa conversación o Los ficheros que estés mandando para que te analice Pues están enviando a los ordenadores de otra empresa y aunque muchos de los proveedores de ia no garantizan la privacidad de nuestros datos Y en ciertas regiones como Europa pues Contamos con regulación que nos protege aún así es una cuestión de confianza y que a no todo el mundo convence sobre todo a empresas la alternativa ejecutarlo en tu ordenador ejecutarlo en local ya sea un modelo que tú hayas entrenado o un modelo Open source que te haya descargado de los muchos que están disponibles sin importar que ese modelo venga de una empresa privada por ejemplo como meta que esto mucha gente me lo ha dicho no de bueno seguro que meta te ofrece el modelo gratuito porque se está quedando con tus datos No si el modelo está ejecutado en tu equipo en tu ordenador en tu organización esos datos están bajo tu control ejecución en local que ahora mismo todos vosotros Vais a aprender a hacer y no vamos a empezar con una herramienta sino con dos porque el objetivo que vamos a hacer es implementar en nuestro equipo una suerte de chat gpt pero potenciado por modelos Open source que incluye además de la funcionalidad de dialogar esta funcionalidad tan interesante de poder lanzarle documentos que el modelo pueda entender pueda eh utilizarse Para hacer citaciones para hacer consultas para traducir documentos que no estaremos mandando a una empresa de terceros sino que estaremos utilizando en la privacidad de nuestro equipo y para ello vamos a trabajar de nuevo con lm Studio que es una herramienta que ya os presenté en el canal secundario en el laboratorio muy interesante para conocer sabemos que semana tras semana van apareciendo nuevos modelos de lenguaje más potentes más portables más capaces y esta herramienta pues aglutina muchos de estos modelos para que podáis explorar para que podáis buscarlos instalarlos probarlos y es bueno pues una de las formas más cómodas para trabajar con modelos de lenguaje cuando entramos en la herramienta vemos que en el portal ya nos está ofreciendo diferentes modelos que todos conocemos modelos como yama 3. 1 que salió la semana pasada modelos como fi 3 Gema 2 de Google de Mind stable code y también podemos buscar nuevos modelos que nos apetezca yo en mi caso ya que estamos de actualidad pues Quiero probar el modelo yama 3. 1 el tamaño 8b lo busco por aquí y me encuentro que este es el modelo hace dos días lo han publicado el mstudio Community meta llama 3.
1 8b instruct selecciono el modelo y a la derecha me aparece Pues un listado de esta versión del modelo cuantizada diferentes tamaños entre más cuantizado ya sabéis que el modelo es menos capaz Pero también es más pequeñito con lo cual Pues según la cantidad de Hardware que tengáis podréis acomodar un modelo según el tamaño que que necesitéis en este caso como yo cuento en este portátil con 16 Gb de u Ram que para un portátil me parece una salvajada ya me he descargado el modelo eh más grande no el modelo 8b que en este caso pesa 8,54 GB lo descargamos le dais al botón de descargar y automá icamente ya lo tendréis en vuestro equipo cuando lo tengáis en vuestro equipo nos podemos ir a la pestaña de chat y aquí podemos seleccionar el modelo descargado vale clicamos sobre él y ya vemos que lm Studio se está encargando de cargar en memoria dicho modelo cuando lo hacemos si yo ejecuto ahora y le digo hola Vamos a hablar con el modelo tenemos una interfaz con la que podemos empezar a trabajar si os fijáis el modelo responde está funcionando ya está todo instalado así de sencillo así de fácil pero en este caso el modelo no está funcionando lo óptimo que podría Por qué Porque el m Studio por defecto te carga el modelo en cpu Pero sabemos que con la gpu que tiene este equipo podríamos ejecutarlo incluso más rápido entonces voy a hacer un par de configuraciones que en este caso sería venirme para acá vale veo que sí tenía activado cierta descarga en gpu tiene descargado unas cuantas capas del modelo pero Aprovechando que la Uber Ram lo permite voy a cargar el modelo por completo voy a subir a al máximo el número de capas que quiero que estén cargadas en la gpu y vamos a recargar el modelo le damos a recargar Elm Studio vuelve a cargar la configuración que nosotros hemos puesto tenéis un montón de settings aquí que podéis configurar para tener diferentes comportamientos del modelo pero en este caso ya con esto sería suficiente para decirle hazme una guía de visita de Gran canaria por ejemplo le damos a enter y ahora sí aprovechando las capacidades de la gpu la gpu geforce rtx 4090 vemos cómo el modelo empieza a escupir tokens por segundo Y bueno pues ya tenemos un modelo de lenguaje funcionando en nuestro equipo Oye que Quiero probar otro modelo Quiero probar fi 3 pues te lo descargas lo cargas en memoria y a trabajar Quiero probar eh un modelo de generación de código de programación lo cargá en memoria y empezáis a trabajar Oye que quiero hablar con un documento quiero mandarle un PDF y poder interactuar con él ahí el mstudio por ahora no tiene esta opción y aquí es donde viene nuestra segunda herramienta y esta segunda herramienta Es anything llm que lo que nos va a permitir es poder conectarnos a los múltiples servicios de modelos de lenguaje que se ofrecen o en su defecto como es nuestro caso ahora si estamos trabajando en local pues poder conectarnos también al modelo que estamos ejecutando para qué pues para poder a través de esta herramienta dialogar con muchos de los documentos que nosotros le mandemos potenciado por el modelo de lenguaje que estamos ejecutando Entonces en este caso vamos a descargar la herramienta descargamos anything l lm y cuando lo instalemos nos vamos a encontrar Pues con el siguiente menú donde vamos a poder elegir Pues los diferentes modelos como digo modelos privados Open Ai a través de azure antropic gemini modelos de hacking Face y aquí tenemos Pues los dos proveedores que nos van a permitir eh ejecutar modelos Open source en nuestros equipos tenemos oylama o lm Studio que sería nuestro caso ahora y vamos a seleccionarlo una vez lo tenemos seleccionado volvemos a lm Studio para configurarlo y conectar ambas herramientas y para lograr esto pues lo que tendremos que hacer ser externalizar la actividad de nuestro modelo en un servidor local Esto suena complejo Pero es tan sencillo como venirnos para acá darle a Start server con el modelo seleccionado y en este caso ya se está eh creando el servidor local donde vamos a poder interactuar con nuestro modelo fuera de la herramienta Si volvemos a anything llm le damos a autodetectar y está buscando si hay algún tipo de eh servidor local en nuestro equipo al que se pueda conectar y efectivamente vamos a ver cómo lo ha localizado no ha encontrado el end Point continuamos avanzando continuamos avanzando saltamos la esto creamos un espacio de trabajo prueba portátil Seguimos avanzando Y en este momento ya se ha creado dentro de anything llm Pues un espacio de trabajo donde estamos conectado con el modelo que ejecutamos en lm Studio podemos clicar aquí se nos abre la típica interfaz de chat y podemos decirle hola cómo estás Y en en este punto estaremos trabajando con el mismo modelo llama 3. 1 instruct 8b que habíamos ejecutado en lm Studio y bueno dialogar con la ia es lo que ya podíamos hacer en lm Studio pero como decía anything llm nos puede ofrecer más nos puede ofrecer por ejemplo trabajar con nuestros documentos y para ello pues simplemente tenemos que venirnos a este botón de aquí para acá y se nos Abre este menú donde nosotros podremos ir colocando documentos que queramos que sirvan como contexto que la la conozca para empezar a dialogar con ella con esa información yo en mi caso he cargado ya el paper de llama vale un paper de unas 92 páginas que tenemos por aquí porque me gustaría poder hacer consultas sobre este documento a la Inteligencia artificial entonces me descargo el PDF lo cargamos Aquí y ahora tenemos que activarlo en nuestro espacio de trabajo que acabamos de crear para esto le damos a move to workspace le damos para acá y en este caso le damos a guardar y en beber que en este caso este proceso lo que hace es procesar el documento y convertirlo a una base de datos de vectores que es la forma en la que la Inteligencia artificial va a poder consultar las piezas de información del documento y ahora podríamos irnos a una nueva conversación y decirle pues Hazme un resumen sobre el contenido del documento del llama vale se lo mandamos Y en este caso pues nos cuenta el documento describe el arquitectura y características de llama 3 un modelo de lenguaje artificial desarrollado por Met bla bla bla bla bla bla y empieza a hacernos un resumen con todo el contenido que está en el documento basándose en el PDF que le hemos dado de hecho podemos ver incluso las citaciones En qué información qué fuente de información Se está basando y vemos que aquí nos indica el paper de llama.
