todos probablemente hemos usado chat gpt en algún punto de nuestras vidas pero alguna vez te has preguntado Qué sucede realmente detrás de la pantalla cómo funciona realmente chat gbt imagina que cada palabra que conoces es un punto en un espacio gigante a esto le llamaremos Word embeddings los Word embeddings son básicamente una manera de representar palabras como vectores de números entonces imaginemos que cada palabra es un punto en el espacio vectorial un punto en un espacio de muchas dimensiones y cada una de esas dimensiones representa algo de esa palabra comoo puede ser el género el
idioma si es un verbo un artículo Y así sucesivamente eso al estar representado en forma de vectores de números hace que las máquinas puedan hacer operaciones numéricas como sumas restas y cálculos de distancia y eso se traduce en que las máquinas puedan entender estas relaciones de una mejor manera recordemos cada punto representa una palabra y las palabras con significados similares van a estar más cerca entre sí por ejemplo gato y perro están más cerca mientras que gato y automóvil están más lejos aquí es donde se puede comenzar a hacer ecuaciones matemáticas y es justamente donde
sale una de las representaciones gráficas más famosas Rey menos hombre más mujer es igual a Reina que describe bastante bien lo que se puede hacer con los worden beddings que a su vez tienen un papel muy importante en procesamiento del lenguaje natural y en modelos de lenguaje como rgbt Entonces worden beddings pasamos de palabras a puntos en el espacio vectorial y ahora que ya entendemos Qué son veamos cómo se generan los modelos de worden beddings tienen que ser entrenados con grandes cantidades de texto entonces con esto por ejemplo se puede aprender a predecir una palabra
en una oración en base a las palabras que la rodean a medida que se van recorriendo los bloques en el entrenamiento se empieza a ver que hay ciertas palabras que suelen aparecer en los mismos contextos por ejemplo las palabras gato y perro aparecen en contextos similares Entonces se deduce que podrían tener significados similares y por eso se le asigna vectores similares entonces podemos decir que los embeddings capturan la semántica de las palabras y si las palabras tienen significados similares también van a tener embedding similares y además van a tener capturadas las relaciones como la relación
de género entre rey y reina o la relación de cantidad entre Rey en singular y Reyes en plural Entonces si le vamos dando pares de palabras y le pedimos que nos devuelva un índice de similaridad va a relacionar qué tan cerca o qué tan lejos están en el espacio vectorial Por ejemplo si le damos palabras como rey o reina nos va a devolver vectores o palabras similares como príncipe princesa o monarquía Entonces ya hablamos de los embeddings ahora hablemos de otro concepto fundamental que son los Transformers los Transformers básicamente cambian una secuencia de entrada a
una secuencia de salida los Transformers revolucionaron el juego desde que se publicó el paper de Google attention is All You Need el año 2017 a partir de ahí Google lo empezó a usar en su buscador y hoy en día básicamente se usa en todos los grandes modelos de lenguaje y esta arquitectura fue Revolucionaria porque antes se venía trabajando con redes neuronales recurrentes y estas trabajaban proces and las palabras de una frase de manera secuencial y el problema con esto es que se pierde la relación entre las palabras que están más lejos o sea que cuando
llegaban a las palabras del final de la oración capaz ya habían perdido el hilo de lo que decía al principio O cuál era la tarea principal que le habíamos pedido entonces la innovación de los Transformers y de este paper es que se implementa un mecanismo de atención que procesa toda la frase al mismo tiempo encontrando Qué palabras de la frase tienen más relevancia entonces básicamente le presta más atención a ciertas palabras en específico e ahí el nombre del paper attention is All You Need Por ejemplo si le decimos a ch gpt estoy en el colegio
cursando un ramo de historia Necesito hacer un ensayo de 1200 palabras sobre la carrera al espacio entre Estados Unidos y la unión soviética lo que va a hacer char gpt es asignarle un porcentaje o un índice de relevancia a cada palabra se pregunta preguntará Okay lo primero ensayo Esto es lo que va a tener un mayor índice en este caso por qué Porque es la tarea principal de lo que le estamos pidiendo y bien ahora de qué se trata el tema qué extensión tiene que tener 100 palabras Perfecto entonces lo importante acá es que a
cada palabra le asigna una importancia una relevancia por eso es importante entregarle a char gbt un buen contexto porque aunque lo inundemos de información siempre va a tomar lo más relevante como lo más importante y después va a tomar el resto con un porcentaje menor de relevancia también una de las grandes innovaciones que tienen los Transformers y que se diferencian con lo que se venía haciendo antes es que la arquitectura tiene un codificador y un decodificador el codificador es el que toma la frase de entrada es decir el que recibe el prom que le estamos
dando entonces tiene que entre comillas entenderla luego Un par de ecuaciones vectoriales y matemáticas hay que decodificar la es decir transformar el resultado a texto que podamos entender Entonces el decodificador es el encargado de la salida así que ya entendiendo lo que son los worden beddings y lo que son los Transformers entendamos Qué es gpt gpt es una sigla de generative pretrain Transformer o Transformer generativo pre trenado es decir que es un modelo Transformer pre entrenado para que su salida sea generativa y específicamente Open Ai que es quien lo hizo entrenó a char gbt con
inmensas cantidades de de texto de internet siendo capaces de entregarnos los resultados como los que podemos ver hoy el número gpt3 o gpt 4 tiene que ver con la versión del modelo que estamos usando a medida que aumentan el número es una nueva versión que va saliendo que incluye más parámetros que el anterior entonces gpt lo que hace al final es completar el texto por ejemplo si le damos una oración incompleta como estoy enojado el resultado de mi examen fue x gpt tomará ese texto y le agregará una salida de texto que tenga sentido y
que sea coherente con lo que le pusimos entonces podría agregar una parte a la frase que sea como estoy enojado el resultado de mi examen fue muy malo o peor de lo que esperaba y en fin Pero lo interesante acá es que en gpt no hay una respuesta única sino que se le asignan muchas probabilidades a distintas palabras y a distintas respuestas posibles Así que si repetimos esto muchas veces va a ir generando distintas puestas Pero que hagan sentido y todo esto lo hace como lo mencionamos previamente agarra el texto que pusimos los convierte en
embeddings lo pasa por el codificador Después el decodificador que genera los embeddings de salida es decir hace las ecuaciones vectoriales y luego se hace la inversa que es transformar esos embeddings en palabras y esas palabras que vemos al final son la respuesta que nosotros vemos bueno los Transformers en realidad tienen una arquitectura mucho más compleja que eso pero por fines didácticos lo simplificamos un poco Entonces qué es chat gpt chat gpt es una versión del modelo gpt pero lo que tiene hecho es un fine tuning es decir que fue entrenado específicamente con conversaciones O sea
que como base usa la tecnología de gpt pero como segundo entrenamiento fue entrenado con conversaciones si les interesaría una segunda parte de cómo funciona ese entrenamiento háganlo saber en los comentarios pero en fin todavía me sigue pareciendo increíble todo lo que se puede hacer con charg bt y no tengo duda de que todo esto va solamente a seguir mejorando los modelos se van a ir Ajustando las ventanas de contexto van a ir creciendo así que la próxima vez que le hagas una pregunta a charg PT recuerda este video y recuerda todo el proceso que hay
detrás también agradecerle a pocho costa por su aporte como referencia en la creación de este video Y si no te quieres quedar atrás en este este mundo de Inteligencia artificial y automatizaciones que avanza a toda velocidad es momento de actuar en imperio digital te ofrecemos una prueba gratuita de 7 días para que descubras todo lo que nuestra comunidad puede hacer por ti imagina tener acceso a las mejores herramientas estrategias y acompañamiento personalizado para llevar tus proyectos al siguiente nivel con Inteligencia artificial Esta es una oportunidad única para transformar tu negocio y tu vida el link
a Imperio digital lo puedes encontrar en la descripción a este video y puedes comenzar Tu prueba gratuita sin riesgo por 7 días Te esperamos adentro
