bien la empresa dit seit está esta semana está con sus 10 días que están presentando Pues bueno cosas aquí tenemos que han presentado pues como hacer la inferencia un poquito más rápido en el día 6 en el día 5 Pues el 3fs y el día 4 etcétera vamos a ver las cosas más interesantes pero también han dicho que van a adelantar su modelo r2 que se esperaba Pues bueno que saliera dentro de unos meses y posiblemente a fin fin de marzo o en abril ya lo pongan a disposición están Pues bueno es un hito ahora que es una de las empresas de ia que más ruido están haciendo y bueno se espera que sobre todo esta versión r2 pues ofrezca mejoras significativas en programación en capacidad de razonar en múltiples idiomas más allá del inglés que muchas veces Pues cuando hecho las pruebas con r2 en cuanto le pones el pron en español directamente hace el razonamiento en inglés y eficiencia en el uso de recursos computacionales es decir que sea más económico bueno dentro de los noticias pues vamos a leer esta parte de aquí por ejemplo aquí estaban comentando que el lanzamiento de esta versión r2 Pues podría ser un momento clave en la industria de la ia dijo en este caso pues el director de operaciones proveedor de servicios tecnológicos tensar y el éxito de diis en la creación de modelos ahí rentables probablemente impulsaría las empresas de todo el mundo a acelerar sus propios esfuerzos rompiendo los dominios de pocos jugadores dominantes en el campo de hecho hemos visto pues que la versión 4. 5 de Open no parece que sea un salto bastante importante con lo que ya teníamos con el resto de empresas y bueno si vemos esta parte del de La potencia de cálculo que es una de las cosas más interesantes que tiene di es que con un modelo de bajo coste se basa en la versión sustancial en High flyer vale estos documentos que han ido presentando en estos días que potencia el cálculo a lo largo de la década y bueno dijeron en este caso tres personas que en este caso el fondo cuantitativo fue uno de Los Pioneros en el comercio de ia y un alto ejecutivo de 2020 de highflyer iba apostar todo en la ia reinvirtiendo el 70 de sus ingresos principalmente en este tipo de tecnologías vale Así que como vemos es una parte aquí highflyer gastó 10000 millones de yanes en dos claser de de supercomputación en 20 y 21 2020 2021 y el segundo claser de Five flyer estaba compuesto por 100. 000 chif nvidia 100 vale Así que 10.
000 Perdón Así que tienen bastante poder de computación y di todavía no se había establecido en dicho momento por lo que la acumulación de potencia de cálculo llama la atención de los reguladores de los valores chinos dijo una persona vale al final pues para qué se supone que ibas a querer tanto poder de computación pues está claro que para hacer cosas y los reguladores básicamente querían saber por qué necesitaban tantos cheat Y cómo iban a usarlos Y qué objetivo de impacto en el mercado acabarían teniendo en este caso los reguladores pues eh decidieron no intervenir en una medida que resultaría crucial en la fortuna de visit porque Estados Unidos les prohibió la exportación de estos modelos a 100 en 2022 y como se hicieron con ellos antes pues perfectamente han podido tener todo este poder de computación y beijin ahora acelera el celebra diit pero le he subido a interactuar a los medios sin aprobación según una persona así que vemos Que gracias a esta jugada maestra pues se pudo hacer con todos esos cheat antes de que le cerraran el Grifo de poder intervenir Y eso es lo que ha llevado a que la deit se haya convertido Pues en una de las empresas que permite eh desarrollar Inteligencia artificial de bajo coste de hecho ayer le preguntaba al modelo 4. 5 os dejo el vídeo más abajo este simple pron vale el de una liga de dos equipos estoy utilizando disit v3 no el modelo de pensamiento vale que es el el normal y eh el 4. c ni siquiera pudo resolver un prom Tan sencillo o por lo menos Bueno aquí deben tener vale Pero aún así está contestando vale partidos restantes ya sabéis que desglosa el problema en Punto a Punto para poder resolverlo de una manera equilibrada vale 5 + 15 sin embargo como solo quedan siete partidos x no puede ser mayor que siete y respuesta final ocho victorias vale Este tampoco tampoco lo ha resuelto a la primera Pero bueno se lo pregunté antes si sí lo resolvió que era seis Así que posiblemente en openen ha si se lo preguntas varias veces al 4.
5 también alguna de ellas te lo acabé solucionando pero vamos a pasar ahora también a este tema vale el día 6 que están presentando un sistema bastante interesante que en este caso pues es cómo puede en este caso generar inferencia con mayor rendimiento y menor latencia es decir pues poder aún tener sistemas de ia que sean mucho más económicos sobre todo para los que los usamos a nivel empresarial y bueno para optimizar estos objetivos de esta versión pues han propuesto este paralelismo de expertos entre nodos y primero el ep escala significativamente el tamaño del lote mejorando la eficiencia de cálculo en matrices de la gpu y aumenta el rendimiento Y en segundo lugar LP distribuye los expertos entre las gpu siendo cada gpu la encargada de procesar solo un pequeño su conjunto de expertos lo que reduce las demandas de acceso a memoria y lo que reduce la latencia según vemos aquí sin embargo el ep aumenta la complejidad del sistema principalmente en dos aspectos vale Así que entiendo que al final Pues todo es el es paralin aquí lo que nos dice en este caso es que produce comunicación entre nodos para optimizar el rendimiento deben diseñarse flujos de trabajo computacionales adecuados para solapar la comunicación de cálculo y el esper paralelismo involucra múltiples nodos lo que requiere inherencia de paralelismo de datos el dp y exige balanceo de carga entre diferentes instancias de P y bueno en este artículo abordan diferentes desafíos aquí nos explican un poquito a los conclusiones que llegan eh está bastante interesante Pues bueno Al final todo lo que sea poder generar tokens de una manera mucho más rápida mucho más económica pues va a ayudar a la comunidad de que se propague y Bueno aquí hay diferentes ejemplos pues aquí explicaban que con token de entradas totales 600 8 billones de los cuales 342 lo que es un porcentaje del 56,3 accedieron a cache en disco vale Así que que ahorro porque al final si tienes toda esta 56,3 de los token de entrada Se están utilizando en cach pues mucho más rápido será el procesamiento y token de salida 168 billones la velocidad promedio fue de 20 22 token por segundo y la longitud promedio de AK por token de salida fue de 4000 989 Y en este caso cada una cada nodo de la nvidia h800 ofrecen un rendimiento promedio de 73,7 1000 tokens de entrada incluidos aciertos encach y durante el llenado previo de 14,8 1000 tokens de salida durante la decodificación y las estadísticas anteriores pues incluyen todas estas solicitudes de usuario de la web de la app y de la Api vale Así que probaron en web I Api Y en este caso si todos los tokens se facturará con la tarifa deic r uno el ingreso diario total sería de esta cantidad de dinero vale medio millón con un margen de ganancias del 545 lo cual está muy bien sabes que digan esta información vale Así que podemos saber el una de las cosas Pues bueno que al final sabemos el precio que están que pagamos todos los días en token pero lo que no sabíamos era Cuál es el margen de ganancia así que estos paper que están sacando dixit están bastante bien y Bueno aquí es el el precio 0,14 céntimos de dólar el millón de token de entrada con cach y 055 es cuando falta el cach y 2,19 las token de salida y aquí tenéis pues las diferencias de disit v3 precio significativamente más barato que r1 y aquí el y el teorica incom vale dependiendo de la hora del día Aquí tienes pues el beneficio que acabaría teniendo esta gente con el coste de computación versus el el teoric incom es decir lo que acabarían ganando Así que bastante bien y aquí en en Twitter me podéis seguir os lo dejaré ahí el enlace a Twitter había un aquí vale aquí teníais el precio Discount vale vemos Que ayer costaba $50 el millón de token de 4.
