Estos son los transformers del mundo de la ciencia ficción. Estos humanos que ves ahora con el rostro oculto están transformando el mundo real. Ellos son los verdaderos transformers.
Son ocho científicos que llegaron a California desde distintas partes del mundo. Juntos han creado una fórmula que ha revolucionado la inteligencia artificial. Su invento está cambiando nuestros trabajos, democratizando la educación.
Y va a cambiar el mundo de arriba a abajo. ¿Cómo empezó esto? ¿Cuándo pasó?
¿Y por qué no sabíamos nada hasta ahora de estos 8 científicos? El año es 2017, acaban de salir al mercado los primeros dispositivos con los que se puede hablar. El mundo se sorprende y se maravilla de que un aparato, un dispositivo, entienda la voz humana.
Sin embargo, quienes están en la trastienda de esta tecnología, como los protagonistas de nuestra historia, saben que en 2017 la IA generativa está completamente estancada. No se puede avanzar más con los métodos existentes. Se piensa además que China está muy por delante, pero que no se lo están contando al mundo.
Los primeros traductores automáticos aportan resultados muy pobres. Los asistentes de voz como Alexa o Siri, solo son capaces de responder a unos comandos específicos y sus respuestas están pre-programadas. Lo que nadie sabe en ese momento, la historia es así de sorprendente, es que ocho investigadores anónimos van a cambiarlo todo: ni los chinos, ni las grandes compañías, ocho científicos.
Han llegado a Google desde lugares como Ucrania, India, Polonia, Gales o Alemania. Durante seis meses trabajarán en una idea en la que nadie cree. Su invención quedará reflejada en este documento de 15 folios.
Aquí lo tenéis. Estos 15 folios contienen la fórmula del transformador. El transformador es el software o el modelo o el código que va a permitir a las máquinas imitar la inteligencia humana y con el tiempo superarla.
Es una fórmula por tanto infinitamente más valiosa que la de la Coca -Cola. Sin estos 15 folios, chatGPT no existiría hoy. Sin estos 15 folios, Nvidia no tendría el valor que tienen bolsa más de 3.
400 millones de dólares. Sin estos 15 folios, no podremos movernos en un robotaxi en unos años. Bienvenidos a Transformers, la historia del golpe tecnológico del siglo.
Hacemos una pequeña pausa en esta historia porque os quiero explicar algo y es que en mis vídeos yo intento entender a los personajes protagonistas indagando en su biografía personal. Esta costumbre mía nació cuando era muy pequeño mientras escuchaba en casa las historias de mis antepasados. Por eso me hizo ilusión la propuesta que me hizo llegar el portal myheritage.
com de hacer un partnership. Myheritage. com es el líder mundial en exploración de las raíces familiares.
Hacen que sea fácil y muy divertido construir tu árbol genealógico. Simplemente añadiendo los nombres y las fechas de nacimiento de mis padres y de mis abuelos, MyHeritage creó un árbol genealógico. Las coincidencias empezaron a aparecer y en unos minutos tenía un árbol genealógico de 7 generaciones.
Pruébalo, es completamente mágico. Y esto es tan fácil porque MyHeritage tiene más de 20. 000 millones de registros históricos para que puedas profundizar en el pasado de tu familia, sea de donde seas, viva donde vivas.
A mí me sorprendió mucho por ejemplo descubrir la biografía completa a través de MyHeritage de uno de mis antepasados. Fue un médico granadino famoso en España, sacó tiempo para ser comisario del Palacio de la Alhambra en Granada y no solo eso, además es uno de los primeros divulgadores del tesoro natural que es cierre nevada. Wow!
Myheritage dispone de herramientas para reparar, colorear, mejorar e incluso animar tus viejas fotos familiares. Mira esta foto de mi abuela y mira lo guapa que era y mi abuelo lo guapo que era. Si quieres saber más sobre la historia de tu familia te recomiendo que visites myheritage.
com. Puedes registrarte para una prueba gratuita de 14 días. El enlace está en la descripción de abajo.
Sumérgete en la historia de tu familia. Hola que tal, soy Gustavo Entrala. De día, ayudo a grandes empresas y startups a diseñar su futuro.
Y de noche practico un hobby que me encanta enseñar lo que sé sobre ese futuro a quienes quieren ir siempre un paso por delante. Si te interesa el futuro, suscríbete y dale a la campanita. Situaros en el contexto.
Estamos en 2017 y habéis hecho la unboxing de vuestro flamante Amazon Echo, lo colocáis en la encimera de la cocina, lo enchufáis y decís las palabras mágicas. Alexa, ¿qué tiempo hace hoy? "En Madrid, hay 22 grados Celsius con cielos desde el que estoy soy”.
El futuro ha llegado a vuestro hogar, ¿verdad? Ahora saltemos al presente y preguntémosle a Alexa algo un poquito más complejo. Alexa, ¿Quién va a ganar la guerra de tronos de la Inteligencia Artificial?
Alexa, para. No es precisamente el asistente de IA omnisciente que nos prometieron, ¿verdad? Mientras Alexa Siri o el asistente de Google patinaban con algunas de nuestras preguntas, una revolución silenciosa se estaba cociendo en el mundo de la inteligencia artificial.
Los investigadores estaban enseñando a las máquinas a ver el mundo a través de cámaras y sensores, prediciendo los movimientos de peatones y vehículos. Se estaban dando los primeros pasos hacia la conducción autónoma, impulsados por el avance en el procesamiento de imágenes y el machine learning. Mientras tanto las aplicaciones de traducción, que también están basadas en machine learning, empezaban a ser decentes.
No brillantes, ojo, pero decentes. Por ejemplo, muy útiles para pedir una taza de café en una cafetería en París, pero no tanto para negociar tratados internacionales. Entonces, cuando tú veías en aquella época los avances en IA te parecían asombrosos, pero los efectos tangibles se veían todavía muy lejanos.
Eran más proyectos científicos que productos todavía. Pero los magnates de Silicon Valley jugaban ya entonces una partida de ajedrez en 3D. Entra en escena Elon Musk.
Os caerá bien o mal, pero no podéis ignorarle. En 2015, cofundó OpenAI, un laboratorio de investigación que serviría de contrapeso a lo que entonces parecía el monopolio de Google, que entonces tenía todos los investigadores, todo el dinero, todos los chips para hacer entrenamiento de modelos de lenguaje. Lo he contado en un vídeo que lanzaré en la descripción.
Google, por su parte, ya estaba aplicando el aprendizaje automático a todo, desde los resultados de búsqueda hasta los filtros de spam del correo electrónico. Pero el progreso era lento, muy lento. Las fórmulas de computación de datos con los que se trabajaba tenían muchas limitaciones.
Eran incapaces de entender el lenguaje humano más allá de una frase corta, sin ambigüedades. Y ese sueño de la IA parecía un futuro muy lejano, no una realidad inminente. Al mismo tiempo empezaban a llegar rumores desde Oriente.
China se estaba posicionando sigilosamente para dominar el campo de la inteligencia artificial, eso era lo que se pensaba entonces. Tenían muchos datos, cantidades inmensas de datos. Sus regulaciones de privacidad eran más que laxas, completamente escasas.
Y la inversión gubernamental masiva. Estaban sentando las bases para la supremacía en inteligencia artificial. Recapitulamos, por tanto, estamos en 2017, lo que se conoce de los algoritmos que van apareciendo asombra, pero son todavía productos muy de nicho, muy científicos, no son aplicables, China asusta, se dice que han avanzado muchísimo.
Pero en este contexto de estancamiento, en Google hay un investigador alemán que cree que hay otra forma de progresar en la que otros han intentado avanzar sin éxito. Su nombre es Jakob Uzkoreit, tiene 24 años y acaba de aterrizar en Google, su primer encargo, hacer que el asistente de Google entienda la voz humana y pueda responder a nuestras instrucciones. El siguiente encargo que recibe será la mejora de Google Translate, una aplicación que traduce textos, obviamente.
Cuando Jacob se mete en el proyecto e intenta mejorar la comprensión de textos largos, se topa con limitaciones insalvables. Pero para entender la historia de Jacob, tenemos que viajar aún más atrás en el tiempo, mucho más atrás, concretamente a la Alemania Democrática de 1968. Un chaval de 15 años acaba de pasar 15 meses en la cárcel.
Su crimen: protestar contra la invasión rusa de Checoslovaquia. Dos años después, ese mismo adolescente salta al muro de Berlín arriesgando su vida por la libertad. Su nombre es Hans Uzkoreit y es el padre de Jacob.
Hans estudia matemáticas y computación, convirtiéndose en uno de los mayores expertos mundiales en computación lingüística, un campo emergente. Jakob, su hijo, crece en una Alemania ya unificada y tiene inclinaciones similares a la de su padre. También estudia matemáticas y computación.
Pero hay algo que el pequeño Jakob tiene claro. Ni en broma quiere dedicarse a cuestiones relacionadas con el lenguaje. Se mete en la inteligencia artificial pensando que así esquivará el legado paterno.
Pero Cuando Jacob aterriza en Google, sorpresa, descubre que los problemas más interesantes en la inteligencia artificial son precisamente los relacionados con el lenguaje. Mierda, debió pensar, mi padre tenía razón. O sea que cuando encontramos la protagonista principal de nuestra historia, trabajando ya en Google Research, está trabajando en dos productos.
Está trabajando en Google Translate y Google Assistant. Las traducciones son mediocres, y conversar con el asistente es prácticamente imposible. La sensación de estancamiento es abrumadora.
¿Por qué pasa esto? ¿Por qué Alexa y sus colegas, como Siri, como tantos otros, Cortana, son tan limitados? La respuesta está en su naturaleza.
Son paquetes de software deterministas. ¿Qué significa esto? Sí que en una lógica cerrada, solo son capaces de hacer cosas para las que han sido programados.
Pero la luz al final del túnel viene para Jacob de dos fuentes inesperadas. Otro inmigrante del este y la ciencia ficción. Ilia Poloshukhin había llegado desde Ucrania en 2013 y era uno de los varios miles de componentes que tiene el equipo de Google Research.
Su camino hasta llegar a Google no había sido nada fácil. Nace un año antes de que la URSS se desmorone. Se cría en una Ucrania recién independizada, donde la situación requiere que muchos niños de su edad tengan que trabajar en la calle para ayudar a su familia.
Pero Ilia tiene un don increíble para las matemáticas y la informática. Va alternando proyectos de investigación en su país de origen hasta que en 2013 se topa con un curso de IA en la plataforma UDACITY, que hoy es parte de la consultora Accenture. Pensadlo, un curso online cambia la vida de un chaval que vive muy lejos de Silicon Valley.
Y cuando llega a trabajar a Google, en Google habían descubierto un fenómeno curioso. La gente empezaba a hacer preguntas directas al buscador como si fuera una persona. Y encargaron a Ilia que estudiase el fenómeno y que descubriera cómo el buscador podría llegar a entender mejor esas preguntas y ofrecer respuestas directas a los usuarios.
Poloshukhin se topó muy pronto con una limitación que os va a sonar. Google Search solo era capaz de responder a preguntas clave, Keywords, os acordáis de lo que decía antes del software determinista y no era capaz de entender una pregunta espontánea. Y entonces, en un pasillo del edificio 1945 de Googleplex, ocurre algo que cambiará la historia de la inteligencia artificial.
Ilia se cruza con Jakob Uzkoreit. Son dos extranjeros, son dos mentes brillantes, compartiendo sus frustraciones sobre los límites de la idea actual. Jakob le cuenta la idea que está persiguiendo, que consiste en lograr que las máquinas, que las computadoras amplíen su capacidad de prestar atención a lo que dice un texto tal y como un ser humano lo hace cuando lee un libro y le contesta con que lleva tiempo pensando en una escena que ha visto en la película Arrival y le cuenta a Jaco cómo los extraterrestres se comunican en la película un solo símbolo representa una idea increíblemente compleja claro una bombilla se encendió en las dos en las dos cabezas y veían que estaban alineados, empezaron a pensar si se pudiera aplicar ese mismo concepto de que la IA fuera capaz de entender un texto en bruto de un solo vistazo y si pudieran hacer que las máquinas entendieran a partir de esa visión con textos complejos, no solamente palabras sueltas.
Ilya y Jacob deciden sumar esfuerzos. Y su idea es loca, es casi imposible. Van a necesitar tecnología, obviamente van a necesitar chips de Nvidia y van a necesitar un equipo, un equipo de genios, un equipo con al menos con la misma información que ellos tienen con sus capacidades.
En ese momento aparece una figura en escena que es Ashish Waswani Ashish ha llegado a Google Research, no tenía proyecto, estaba como suelto en la organización y se ofrece a ellos y ¡vaya fichaje! . Ashish es lo que llamaríamos su niño prodigio, nace en Omán de origen indio y a los 16 años ya en la India de vuelta, ha terminado la carrera de computación y la carrera de matemáticas con 16 años y entonces decide marcharse a la USC en California, en Los Ángeles, para hacer su tesis sobre traducción automática de textos.
Y con él llega otra persona cuya historia es realmente conmovedora. Es la historia de Nikki Parmar, la única mujer del equipo. Su camino hacia la IA ha sido una carrera de obstáculos.
Nace también en la India y soñaba con estudiar en el prestigioso Indian Institute of Technology. Pero las puertas se le cerraron, ¿se rindió? ni en broma.
Animada por su madre, que quiso ser en su día arquitecto y no pudo estudiar esa carrera, ella decide formarse por su cuenta en inteligencia artificial, en computación, empieza a hacer cosas desde casa. No se detuvo. Y en 2012, Niki consigue una plaza en la USC, en California.
Y no solo eso, sino también se le concede un crédito para estudiar en Estados Unidos. El sueño americano ¿verdad? pero bueno no tan rápido cuando llega a Los ángeles recibe la llamada de su padre en la que le comunica una pésima noticia el banco ha cancelado el crédito que le había concedido y claro entraron en pánico nikki y su padre.
Su padre decidió entonces pedir ayuda a amigos y familiares y envió todo el dinero que tenían con ese dinero Nikki pudo aguantar unos meses en la USC Con su persistencia y con la ayuda de un profesor que vio el talento que tenía y el potencial que tenía esta persona, ese profesor se hizo cargo temporalmente de sus gastos y con su ayuda logró terminar el máster y devolver el dinero haciendo trabajos en Amazon. El equipo se completa con Lukazs Keiser, el adulto del grupo. Nacido en la Polonia Comunista, lleva en Google desde 2013 Y con él llega un joven becario que se cuela en el proyecto.
Aidan Gómez, con tan solo 21 años, viene desde la Universidad de Toronto y allí ha tenido la suerte de estudiar con Gioff Hinton, recién elegido premio Nobel de física por sus trabajos en el entrenamiento de ordenadores para ser capaces de entender imágenes. Aidan es el único que no es doctor y no sabe que para pertenecer a ese equipo de Google Research, tienes que tener un doctorado. Pero es que este chico es especial, con 18 años ya había escrito a investigadores de Google con sus propias ideas y uno de los que leyó sus cartas era Lukazs Keiser, que decide traerle a California y empezará a trabajar con él como becario, porque ve un potencial enorme.
El último en unirse el grupo es Illion Jones, un galés, otro niño prodigio que destacó desde los nueve años en matemáticas, en computación, en química y en física. Pero la vida le tenía preparada una sorpresa nada agradable. Al acabar la carrera, y Leon se encuentra de bruces con el paro, donde se pasa varios meses, y desesperado porque no conseguía encontrar trabajo en Gales, decide optar a una oferta de Google en Londres en 2012.
Hace seis meses de entrevistas y después, cuando le ofrecen el trabajo, dice que no, porque le cuesta mucho hacerse la idea de trabajar en una multinacional. Pasa el tiempo, él tiene varios trabajos en el tiempo, pero entonces en Google vuelven a llamarle en 2014 y le piden que se incorpore a YouTube y él no se resiste en ese momento. Es increíble, ¿os habéis fijado en algo?
Cada uno de estos componentes de este equipo que va a cambiar todo ha tenido que superar obstáculos enormes, créditos que se cancelan ya cuando estás en Estados Unidos, el pánico a trabajar en una gran organización como Google, haber pasado una temporada larga en el paro, en fin, haber tenido que trabajar cuando eras niño. El camino al éxito no es un camino directo, no es un camino fácil, ¿no? Estas personas que como veremos en esta historia, van a hacer algo increíble, tienen que sufrir mucho, tienen que pasarlo, como decimos en España, tienen que pasarlas canutas, ¿no?
Y están unidos por una idea loca, superar los obstáculos que la inteligencia artificial tiene en ese momento de la historia. El camino no va a ser fácil, los obstáculos que tienen que afrontar no terminan aquí, no terminan en haber llegado a Google, en estar trabajando en California. Lo que viene a continuación, pondrá a prueba todo lo que son, todo lo que saben y todo lo que creen posible.
¿Y quién es el villano de esta historia? No es que hubiera alguien que conociera el potencial del proyecto y quisiera destruirlo por envidia. El villano de esta historia, como de tantas otras historias de innovación, es el escepticismo.
El “ya se ha intentado antes”, el “eso no va a funcionar”. Así pensaba, por ejemplo, Matt Kelly, uno de los peces gordos de Google. Cuando Ilion Jones, el brillante galés, que ha pasado por el paro, como hemos visto, le planteó su interés por sumarse al proyecto de Jakob y de Ilia, su veredicto fue durísimo.
Le dijo, "Muy bien, si quieres perder el tiempo, allá tú". Y no era el único escéptico. El mismísimo Hans Uzkoreit, padre de Jakob, el líder del equipo, tampoco cree que la idea de la atención global y simultánea por parte de una computadora sea viable.
A veces los padres encasillan a sus hijos en un momento de su vida cuando son pequeños y les cuesta mucho hacerse la idea del potencial y de las cosas que pueden hacer si siguen sus propias intuiciones. Pero el verdadero muro con el que se enfrentan está dentro de Google. Amt Shingal, el mandamás de las búsquedas lleva años cosechando éxitos con métodos tradicionales de desarrollo.
¿Por qué cambiar algo que funciona también? Toda la tecnología con la que funcionaba Google Search era una tecnología deterministas y una lógica cerrada. Pero aquí estamos hablando de incorporar algoritmos que son capaces de generar cosas nuevas, que son capaces de generar textos, códigos, etcétera.
¿Y cuáles eran esos métodos tradicionales. ¿Y qué era lo que se estaba intentando para superar el estancamiento que tenía la Inteligencia Artificial en 2017? ¿Cuál era el consenso en la comunidad científica en aquel momento?
En aquel momento lo hot, lo excitante eran las redes neuronales recurrentes o las RNNs para los amigos. Estas redes neuronales serán capaces de relacionar unas palabras con otras. Por ejemplo, pueden entender que la frase "el cielo es azul y las nubes son blancas", el "son" se refiere a las nubes, no al cielo, hasta ahí podíamos llegar, pero tienen ningún problema gordo.
Se hacen un lío con textos largos y ahí pierden la noción del contexto. Es como si intentáramos entender una película viendo solo un fotograma cada cinco minutos. Captas cosas, captas un poco el sentido de la historia, pero te pierdes totalmente la trama.
Un paso que se dio en el uso de estas RNN fue la incorporación de una memoria un poquito más amplia que se llamó LSTM, Long Short Term Memory, pero la capacidad de esta tecnología emergente era todavía muy insuficiente. El camino se hace siempre andando y esto es una cosa que la historia nos enseña una y otra vez. Se puede tener ideas, se pueden tener teorías, se pueden discrepar de los consensos que decíamos, pero lo importante es ponerse en marcha y empezar a hacer cosas y nuestros científicos se han puesto a trabajar en el proyecto.
Buscan una nueva forma de enseñar a las máquinas a procesar el lenguaje humano. Hasta ahora, como decía antes, las IAs leían como un niño que estaba aprendiendo. Un niño aprende palabra por palabra y va leyendo palabra por palabra, con lo cual pierde facilísimamente el contexto, no sabe lo que significa lo que está leyendo.
Pero estos investigadores tienen el propósito de conseguir que la inteligencia artificial lea como lo hace un adulto, que capte el sentido de las cosas de golpe que asigne un peso distinto a cada palabra en función de la posición en la que está y de la relevancia que tiene para entender el texto y que recuerde lo que ha leído antes. Y entonces surge una idea, el transformer, el transformador, un modelo que pueda procesar bloques entre los de texto en paralelo, en un solo vistazo, como si fuera un lector experto en técnicas de lectura rápida. Su invento transformaría la fuente original en dos pasos y, de hecho, el nombre de esa tecnología viene directamente de las historias de ciencia ficción, de los muñecos, de los transformers.
La fuente original, haría dos cosas: primero, captaría el texto completo y después produciría una output, una nueva versión de ese texto, añadiendo un mapa de vectores en el que todos los términos estarían conectados entre sí. Y cuanto más grande fuera el input, cuanto más grande fuera los datos con los que se entrena esa Inteligencia artificial, más completo sería ese mapa de vectores, más matices contemplaría. De esta forma, la máquina sería capaz de entender lo que significa un texto con una cantidad enorme de posibles matices.
Y para probarlo, deciden comenzar con una aplicación de traducción automática del inglés alemán y usan una medida, un estándar que es el estándar BLEU que compara la calidad de una traducción hecha por una computadora con la calidad de una traducción hecha por un humano y entrenan dos modelos uno básico con sólo doce horas de entrenamiento y uno grande al que le dan tres días y medio para entrenarse. ¿y el resultado? El resultado es asombroso.
El modelo básico ya supera a todos los competidores que existían, entonces, todas las aplicaciones de traducción automática que había. Y el grande supera todos los récords. Mejora, en muchos casos, la calidad de una tradición, de una traducción hecha por un ser humano.
Entonces, claro, imaginaros, ¿no? Entusiasmados deciden elevar el proyecto a otra categoría y deciden entonces presentarse a una conferencia anual que hay en Estados Unidos de Inteligencia Artificial, una de las dos más potentes que hay, que es la Neural Information Processing Systems. Y eso les da un plazo, tienen que presentar su tecnología, su concepto tecnológico y el desarrollo teórico de ese concepto en un paper y lo tienen que presentar el 19 de mayo de 2017.
Y aquí viene una leccion muy importante. Cuando tienes una idea, tener un plazo concreto lo cambio todo. Hay una teoría que igual conocéis, que es la de Parkinson, que dice que el trabajo se expande hasta llenar el tiempo disponible para su realización.
Pero en la medida en que tenemos deadlines, eso nos potencia, nos dirige a una dirección concreta, nos impulsa para conseguir una cosa en un plazo concreto y hace que los tiempos se estrechen. Y claro, si no hubiera tenido este plazo, pues nuestro equipo se habría quedado en haber hecho una demo interesante, ¿no? pero el alcance del proyecto, presentar un paper con una tecnología revolucionaria para la inteligencia artificial, es otra cosa, es un trabajo de otro nivel y para poder hacerlo necesitaban la ayuda de alguien muy experto que pudiera llevar su idea, solamente expresada hasta ahora en una demo, que pudiera traducirla en un modelo que fuera capaz de trabajar, no solo con texto, sino con imágenes, con música y con cualquier elemento que pueda ser absorbido por una inteligencia.
Y no hay nada como empezar a desarrollar esa visión. Y no hay nada también como darse cuenta de que necesitas alguien que te ayude a dar un salto de calidad en el proyecto, alguien que te ayude a darle un gran impulso, un mago. Entonces, como si la Providencia lo hubiera planeado todo, ocurre un encuentro casual en la cafetería del edificio 1965 del Googleplex, la serie donde está Google.
Allí es donde trabaja Noam Shazeer, el Gandalf que estaban buscando. Los siete magníficos trabajaban en el edificio 1945 de ese complejo, pero la máquina de café del 1965, del edificio 1965 era muy superior. Volveremos a esta máquina de café.
Pero antes te cuento quién es Noam Shazeer. A sus 42 años, Shazeer es una leyenda en Google. Lleva allí trabajando desde el año 2000 y es el cerebro detrás del “quizá querías decir”.
Sí, ese que te salva cuando escribes mal en el buscador. En 2015, Noam intentó hacer algo parecido a chatGPT en un fin de semana. Pidió al CEO de Google que le permitiera usar una supercomputadora para “solucionar el problema del conocimiento con inteligencia artificial”.
No lo consiguió evidentemente. Pero Eric Schmidt, el CEO de Google, ya había profetizado que este hombre haría grandes cosas en el ámbito de la inteligencia artificial. Mientras Jakob y el resto del equipo tomaban su café, la máquina del 1965 era fantástica, era la mejor de todo Google, Noam escucha la conversación de unos jóvenes héroes y dice ¿Cómo?
¿habéis logrado eso? Me sumo. Esto va a hacer que la vida sea mucho más fácil para los científicos de inteligencia artificial.
Y vaya si se sumó. Noam es un auténtico mago conectando código con hardware. De repente el Transformer no sólo traduce, genera imágenes, genera melodías, genera poemas, genera textos, genera todo tipo de productos de información.
Y entonces el equipo decide mudarse al edificio en 1965. El café es mejor allí, os acordáis ¿no? Pero lo que realmente importante es lo que está pasando dentro de esas paredes.
En cuestión de semanas crean varias versiones del Transformer. Cada una más sencilla, con menos líneas de código y más capacidades. Es como si hubieran encontrado la piedra filosofal de la vida.
Y aquí viene una lección también importante de este caso. Si quieres hacer algo potente y que tenga consistencia, trabaja con un equipo pequeño. Y esto se lo digo, no solamente a quien quiera llevar a cabo ideas, sino a los CEOs, a los líderes que ven que sus equipos, que su organización necesita un cambio, es mucho mejor concentrar ese cambio en un grupo pequeño de personas que no tenga obstáculos por parte de la burocracia.
Un puñado de gente capaz, cada una aportando su punto de vista único, en nuestro caso, pues Jakib con su visión Illia con la determinación de ayudar a Jakob, Ashish con su prodigiosamente matemática. Y ahora a ellos se suma ahora el Gandalf que ha llegado para guiarles en esta aventura y para llegar a Puerto. El plazo se acerca, solo quedan una semana para que llegue ese 9 de mayo de 2017.
Y en Google un pequeño equipo está a punto de cambiar el mundo de la inteligencia artificial para siempre, pero ellos aún no lo saben. Los experimentos se van sucediendo, pruebas, mejoras, más pruebas. Aidan, el benjamin del equipo, se dedica a quitar piezas del modelo como quien desmonta un reloj.
Va buscando optimizar el modelo y entonces ocurre la sorpresa. Cuantas más piezas quitan, mejor funciona el modelo. Es como si hubieran descubierto que un coche va mejor sin el motor o sin las ruedas, ¿no?
Y llega el momento de entregar el documento, de entregar el paper, ya han hecho todas las pruebas, faltan unos minutos para enviarlo. Y Nikki Parmar, que ha dedicado un montón de noches a trabajar en el proyecto, recibe los últimos datos de la traducción ingles-francés, o sea que han ido haciendo todo tipo de pruebas, y justo cuando van a enviar el documento al congreso, ella recibe los datos de esa prueba, ¿no? Y el resultado es alucinante.
Han pulverizado todos los récords en la comparación de lo que hace este modelo, este transformador, con respecto a la traducción hecha por seres humanos. Y así, con el corazón en el puño, envían su trabajo. El título que ha dado el trabajo es "Attention is all you need".
Es Illion Jones, el británico del equipo, el que sugiere a lo tonto, pensando que no le van a hacer caso, la idea de usar una canción de los Beatles como título del documento. La canción de los Beatles dice que en el fondo, todo lo que necesitas para vivir es amor y lo que ellos quieren reflejar es que el futuro de la IA, lo único que necesita es mejorar la atención de las máquinas. Curiosamente yo estaba en Silicon Valley esos días, comí varias veces en el Googleplex y no sé si me los encontré por allí sin saberlo o si a lo mejor al lado de una mesa en la que estaban ellos tomando el lunch estaban comentando el proyecto.
Pasé al lado de la historia sin darme cuenta, ¿quién sabe? primero enviaron el paper, el paper evidentemente significaba que la tecnología estaba desarrollada, llegó el 6 de diciembre, hicieron una presentación en la conferencia. Y para presentar su proyecto, usaron un póster que estáis viendo ahora en la imagen, un póster muy modesto, en un mar de pósteres, de conferencias, de charlas magistrales, etcétera.
Pero empieza a pasar algo, la gente se agolpa, el interés crece, tanto que en un momento dado el equipo de seguridad tiene que sacar desde el edificio porque ya es de noche. Y claro, ya está el proyecto lanzado, ya está el transformador lanzado. Ahora, con lo que sabemos, pensaréis que en Google les recibieron como a los héroes de Star Wars en la primera película, ¿verdad?
Pues no, la realidad es que no pasó nada, NADA. Así es como ocurren los grandes saltos en la ciencia. No con un estallido, sino con un susurro, un paper, un póster, una idea que cambia el mundo y nadie se da cuenta de que existe.
No saben que acaban de encender la mecha de una revolución, que su "attention is All You Need" será la base del chat de “Dall-E", de "Claude", de toda una nueva era de la inteligencia artificial. Imaginad por un momento que acabéis de crear algo revolucionario, algo que de verdad podría cambiar el mundo. Y nadie os hace caso.
Es exactamente lo que pasó en Google después de la presentación de "Attention is All You Need". Los jefes no estaban interesados. Los responsables internos de Google se negaron a recibir updates del proyecto, es que ni querían estar al día.
No querían ni oír hablar del proyecto. ¿Por qué? Bueno, lo que tenían ya les funcionaba, les estaba generando una rentabilidad brutal.
¿Para qué cambiar? Pero mientras Google dormía en sus laureles, al otro lado de Silicon Valley, alguien sí que estaba prestando atención. Sam Altman, de OpenAI, asistió a una charla de Noam Shazeer.
Y lo vio claro. Tan claro que dejaron Todo lo que tenían entre manos y si pusieron manos a la obra con GPT-1, GPT-2 y Sam Altman ha dicho que “nadie en Google entendió el potencial del transformador”. No es tan así, ya sabéis que los dados que son en Silicon Valley estos magnates de Silicon Valley a la hipérbole, en realidad en Google las cosas empezaban a moverse lentamente.
En 2018 por fin empezaron a aplicar los transformers a Google Translate. Luego vino Bert, el transformador que ahora gestiona las búsquedas dentro de Google. Pero para Noam Shazeer, era demasiado poco y demasiado tarde.
Un año después de la presentación, desarrolla Meena, un chatbot capaz de dialogar. En 2018 tiene un modelo de negocio además, piensa que podrán cambiar el modelo de negocio de Google por el modelo de negocio basado en un buscador que habla en un chatbot. Hace la presentación interna en Google y Google le dice que no, que no tiene interés.
Claro, obviamente, Shazeer se marchó de Google y no es el único que se fue de Google. Lo más llamativo de esta historia es que, uno tras otro, todos los creadores de los Transformers abandonaron el barco. ¿Qué pasó?
En parte lo explica este libro de Innovators Dilema, el dilema del innovador de Clayton Christensen. Christensen explica cómo las grandes empresas, las que lo están haciendo todo bien, son precisamente las más vulnerables a las innovaciones disruptivas. ¿Por qué?
Porque están tan centradas en mejorar sus productos actuales, en satisfacer a sus clientes actuales, en defender su posición en el mercado, que no ven venir la próxima gran cosa que va a ocurrir. Es exactamente lo que pasó a Google con los transformers. Tenían el futuro de la inteligencia artificial en sus manos y lo dejaron escapar.
Mientras tanto, OpenAI y otras startups más ágiles, sin el lastre del éxito pasado, se lanzaron a explorar el potencial de esta nueva tecnología. Y así, amigos, es como la revolución de la inteligencia artificial generativa, empezó no con un estallido, sino con un éxodo, un éxodo de mentes brillantes que se negaron a que su visión quedara enterrada en la burocracia corporativa de Google, cosa de la que Google terminaría arrepintiéndose. Noam Shazeer, el Gandalf del equipo, fundó Character AI, una startup en la que puedes hablar con personajes históricos o puedes crearte tus propios personajes, que tiene millones de usuarios y que atención Google ha comprado en un acuerdo de contratación, no es compra sino es la contratación del equipo y han licenciado la tecnología y han invertido 2.
700 millones de dólares. Es increíble, es la vuelta que da la historia. Por su parte, Ashis Waswani y Nikki Parmar no se quedaron atrás, fundaron ADEPT AI, una compañía que fue comprada por Amazon por mil millones de dólares.
Y no contentos con eso, montaron Essential AI, una empresa que observa a las personas trabajando y automatiza sus tareas, o sea, observa cómo trabaja la gente en una organización y automatiza las tareas, ¿no? Es el sueño de cualquier jefe y la pesadilla de cualquier empleado. Jakob Uzkoreit dio un giro inesperado.
Creó Inceptive, una empresa Biotech. Su misión usarla ahí a para diseñar moléculas para vacunas y medicamentos. Básicamente, está usando los transformadores para revolucionar la industria farmacéutica.
Y lo mejor de todo es que su padre, el experto de la lingüística computacional, le está echando una mano y es consejero del proyecto. Qué bonito que, por fin, padre e hijo se entiendan. Ilion Jones se fue por un camino más natural.
Fundó Sakana AI, centrada en la inteligencia artificial inspirada por la naturaleza, según él dice. Están combinando modelos de IA como se combinan los bancos de peces en el mar. Y atención a esto, sus modelos están redactando papers científicos.
¿Será Sakana el futuro de la ciencia? . El benjamín del equipo, Aida Gómez, no se quedó atrás.
Fundó Cohere, valorada ahora en 5. 500 millones, creando modelos de inteligencia artificial para empresas. Ilia Poloshukhin fue el primero en salir justo después de presentar el proyecto.
Creó Near Protocol, una plataforma donde millones de personas contribuyen con datos y reciben compensación en criptomonedas bien también con su código a generar aplicaciones y en ese entorno hay aplicaciones de redes sociales, hay aplicaciones de contenidos y queda perfectamente determinado quién ha aportado qué y recibe una compensación en función de eso que ha aportado. La valoración de este negocio de near es de 6 . 000 millones de dólares.
¿Y qué pasó con Lukazs Kayser, el adulto en la habitación? Bueno pues él se fue directo a OpenAI, y es parte del equipo que ha hecho la versión 3 . 5 de OpenAI de ChatGPT, la versión 4 y la versión 1 .
0. ¿Y por qué se marchó, se fue de Google a OpenAI? Un motivo muy sencillo.
“Tenían los mejores transformadores”. Es fascinante, ¿verdad? Como una sola idea nacida en Google se ha ramificado en tantas direcciones diferentes.
La IA conversacional, la biomedicina, criptomonedas inteligencia artificial, inspirada en la naturaleza, etcétera, ¿no? Estos innovadores se marcharon de Google, sí, pero su legado, su legado quedó. Y no solo en Google, su idea de los transformadores se ha convertido en la base de una revolución tecnológica que está cambiando el mundo tal y como lo conocemos.
Amigos, hemos recorrido juntos un viaje fascinante desde los pasillos de Google hasta las fronteras de la Inteligencia Artificial. Pero lo más asombroso es que nada de lo que vemos hoy sería posible sin este documento, sin este paper científico del Transformer. Por ejemplo, AlphaFold, el programa, la aplicación de la Inteligencia Artificial que ha revolucionado la biología, prediciendo la estructura de las proteínas, no existiría sin transformador.
Las dos personas que lo crearon acaban de recibir el Premio Nobel de Química. Waymo, los coches autónomos que están transformando en nuestras ciudades, ya está en piloto en algunas ciudades de Estados Unidos, deben su inteligencia en gran medida al transformador. ChatGPT, que ha puesto la idea al alcance de todo el mundo, es en esencia un transformador gigante.
Este trabajo de seis meses hecho por un equipo pequeño, por ocho personas muy concentradas con nuevas ideas son los verdaderos transformers. Y hablando de historias fascinantes y legados que perduran ¿alguna vez te has preguntado la historia de tu propia familia, tu propia historia familiar, qué personas innovadoras qué revolucionarios, qué visionarios podrían estar en tu árbol genealógico? myheritage.
com te permite descubrir tu propio legado y han colaborado en la elaboración de este vídeo y van a permitir con su patrocinio que podamos seguir haciendo cosas tan interesantes como esta. Suscríbete a mi canal porque en el próximo vídeo hablaré sobre los agentes de inteligencia artificial. Va a ser muy interesante.
Hasta la próxima. Chao.
