002.- Ciencia de Datos para aprendizaje automático. El Ciclo de Vida

[Música] la ciencia de datos es una disciplina que todavía se está definiendo surge como la sistematización de herramientas y métodos que permitan extraer valor de las ingentes cantidades de datos que se acumulan en internet a los que convierte en información y conocimiento con utilidades prácticas demostrables lo que se denomina insights en ciencia de datos término del que hablaremos más en un momento en la última década la confluencia de dos disciplinas emergentes como el aprendizaje automático y la ciencia de datos ha permitido afrontar tareas tan diversas como evaluar el funcionamiento de vacunas la detección y eliminación

en tiempo real de noticias falsas el calibrado automático de sensores según las condiciones atmosféricas asesoramiento inmediato a analistas sobre estrategias de marketing tomas de decisiones económicas o de muchos otros tipos se trata de disciplinas emergentes pero su utilidad práctica en multitud de áreas es ya real e incuestionable convertir cantidades enormes de datos desestructurados por ejemplo los comentarios de todo tipo de un sitio web en información que permita conocer a la audiencia de modo preciso se ha convertido en una metodología estandarizada con múltiples posibles variantes pero bien conocida y que da lugar a lo que se

conoce como ciclo de vida de la ciencia de datos que aquí vemos en un esquema que con distintas variantes podemos aplicar a cualquier [Música] proyecto la primera fase de ciclo es preguntarse qué es lo que queremos lograr las preguntas pueden ser de muchos tipos Pero en todos los casos lo primero es tener claro Qué información y conocimientos queremos extraer y determinar qué datos podemos utilizar volviendo a los ejemplos anteriores serían conjuntos de datos sobre personas vacunadas y nuestros objetivos evaluar su eficacia sobre distintos tipos de noticias en internet el objetivo podía ser determinar nivel de

verosimilitud o falsedad en datos económicos sobre ventas de un producto el objetivo podría ser determinar estrategias para aumentar las ventas o cómo llegar a nuevos grupos de compradores en comentarios en línea el objetivo podría ser usarlos para conocer el tipo de sentimiento predominante para intentar modificarlo etcétera podemos aplicarlo a innumerables casos de uso lo que es uno de los principales potenciales de la ciencia de datos una vez que tenemos claro qué queremos lograr y con qué datos contamos para hacerlo El segundo paso es la obtención y preparación de estos datos que se pueden encontrar distribuidos

de modo más o menos caótico en una o muchas Fuentes diversas es en esta fase donde la pericia de los científicos de datos es clave la obtención de los datos puede ser el paso más sencillo pero hay que formatearlos de modo adecuado para que puedan ser usados preprocesal losos limpiarlos evaluar su calidad posibles sesgos etcétera una vez que tenemos los datos en un formato adecuado limpios y libres de sesgos se pasa a la fase de interpretación usando diferentes herramientas que nos permitan analizarlos utilizando la construcción de modelos estadísticos detección de patrones tendencias posibles anomalías etc

etcétera de nuevo algo genérico pero un paso en todos los casos imprescindible y el cuarto paso el de entender el mundo es el más crucial y propio de la ciencia de datos En definitiva se trata de buscar aplicar las conclusiones obtenidas del análisis de datos a problemas o situaciones del mundo real lo que es bastante más complejo de lo que puede parecer se trata En definitiva de contextualizar los datos que en sí mismos no son más que números o hechos aislados si un contexto en el que interpretarlos es difícil sacar conclusiones Así que la fase

de entender el mundo significa insertar los datos en un marco teórico o en una situación real o en una combinación de ambos pero sobre todo significa considerar Hasta qué punto hemos encontrado soluciones útiles para situaciones reales y aquí entra un término que vas a escuchar mucho en todo lo relacionado con ciencia e ingeniería de datos que son los insights no me gusta en general usar términos en inglés pero me gusta menos usar términos in precisos en terrenos donde la precisión marca la diferencia entre hacer bien o mal las cosas y entender de modo preciso Este

término ayuda mucho a entender lo que es la ciencia de datos y no a día de hoy no hay un término que recoja su Exacto significado en español sí aproximados perspectivas es como lo traduce Google Translate entendimientos el más científico de descubrimientos el más Místico de revelaciones o el más artístico de intuiciones son sinónimos aproximados en español para insights porque En definitiva hablando en pseudocódigo que tan cómodo es para los programadores lo que hace la ciencia de datos es tomar datos de cualquier terreno y usar herramientas para prepararlos limpiarlos formatearlos analizarlos y extraer de ellos

conclusiones matemáticas o estadísticas hasta aquí los tres primeros pasos pero ahora la clave esas conclusiones realmente tienen algún valor Útil para nosotros o no me pueden ayudar a entender más en profundidad una realidad del tipo que sea o no y aquí es donde aparecen los insights porque de lo que se trata es que una vez visto los resultados poder percibir en ellos algo nuevo que nos permita comprender mejor un fenómeno problema situación lo que sea eso es un insight una revelación un valor añadido que se deriva de ese análisis que nos abra nuevas perspectivas de

ahí que el término perspectiva como sinónimo de insight pueda ser válido y que la información resultante va más allá de ser una observación interesante significa que esa información puede traducirse directamente en acciones específicas que aporten algún tipo de beneficio o mejora ha contribuido a que conozcamos mejor el mundo y nos da directrices o pautas sobre qué hacer a continuación en un ejemplo sencillo un análista de datos en una empresa de comercio electrónico tras llevar a cabo los análisis de datos con los tres primeros pasos que indicamos descubre que las ventas disminuyen significativamente los fines de

semana es un dato interesante sin duda Pero también es una oportunidad para actuar le ha ayudado a comprender mejor su mundo y le puede servir para implementar estrategias específicas de marketing como descuentos especiales o campañas publicitarias dirigidas a esos días concretos esos serían los insights Esto es lo que convierte esta disciplina en una auténtica ciencia su objetivo no se limita a describir y entender los datos sino que sirve para tomar decisiones informadas en resumen Los insights son las piezas clave de información que sirven como puente entre el análisis de datos y la toma de decisiones

informadas en el mundo real estos insights no solo enriquecen nuestra comprensión sino que también ofrecen un camino claro para la acción lo que los hace tanto valiosos como utilizables en la práctica todo esto es muy importante entenderlo bien pero también es muy teórico y en la práctica estas fases del ciclo de vida se interrelacionan de modo complejo como vemos en el gráfico y en múltiples direcciones posibles dependiendo de cada caso de uso Así que vamos a ver todo el ciclo y cada una de sus fases en un caso práctico para empezar vemos la práctica finalizada

cuyo código analizaremos en detalle en el próximo vídeo primera fase del ciclo de vida de la ciencia de datos hacerse preguntas y determinar objetivos lo que lo que queremos es llevar a cabo el análisis del sentimiento de los comentarios de redes sociales vamos a hacerlo con YouTube Así que segunda fase del ciclo vamos a utilizar la Api de YouTube para acceder y extraer los comentarios de cualquier vídeo alojado en esta plataforma de vídeos Online para poder hacerlo necesitamos una Api de desarrollador de YouTube que se consigue en dos sencillos pasos y la idea de cualquier

vídeo de YouTube que se incluye por ejemplo en la propia dirección que aparece en el navegador Así que primer paso preguntas y objetivos Cómo puedo conocer los análisis de Sentimientos de los vídeos de YouTube segundo paso cómo puedo acceder a los datos crudos que necesito Aquí está el código que nos permite acceder a los comentarios tenemos los datos en bruto ahora aú en la segunda fase preparación de esos datos prees limpieza formateado tokenización si es preciso de esos datos antes de la ingesta en esta práctica usamos nltk acrónimo de natural Language tool kit biblioteca de

python que proporciona herramientas para trabajar con el lenguaje humano especialmente Útil para tareas de procesamiento del lenguaje natural cuenta con multitud de funcionalidades y lo veremos en detalle pero de momento En este código lo usamos para tokenizar los comentarios en palabras individuales para un análisis más detallado eliminación de palabras comunes que no son relevantes para el análisis del sentimiento que es lo que nos interesa en este proyecto lematización proceso que reduce las palabras a su forma básica para asegurar que las variantes de una palabra se analicen como una única entidad con esto ya tenemos nuestros

datos preparados para la ingesta y tercera fase entender los datos fase en la que debemos aplicar distintas herramientas y algoritmos que nos permitan analizar y conocer los datos aquí llevamos a cabo el análisis del sentimiento para lo que usamos bader un modelo pre entrenado que también forma parte de la biblioteca nltk para el análisis del sentimiento y usamos también distintas herramientas para visualizar los datos y poder entender mejor sus resultados aquí Los vemos estructurados como una tabla con valoraciones probabilísticas del sentimiento positivo negativo o neutro aquí lo vemos mediante el uso de map plot lip

convertido en una gráfica ahora la cuarta fase que si entendimos bien lo que son los insights tendría que llevarse a cabo una vez analizados y estudiados los vídeos Ob esta información recogida es muy precisa y genérica ahora sería por ejemplo usarlo para comparar la reacciones a los comentarios entre dos cursos diferentes o entre vídeos más cortos o más largos Más teóricos o más prácticos según los temas tratados etcétera etcétera A partir de las conclusiones del tercer paso podemos extraer información relevante que nos ayude a tomar decisiones mucho mejor informadas Observa que este código nos permite

en pocas líneas llevar a cabo el análisis del sentimiento de los comentarios de cualquiera de los millones y millones de vídeos que hay en YouTube solo añadiendo aquí su ID son bibliotecas que además podríamos usar de modo muy similar con apis de otras redes sociales no solo con YouTube ni mucho menos así que veremos Su contenido en detalle en el próximo vídeo vídeo en el que también veremos una segunda versión de este mismo código pero adaptada a comentarios en castellano porque de nuevo nos encontramos con el problema de que la mayoría de estas aplicaciones están

preparadas para trabajar con el idioma inglés es cierto que el toolkit que estamos usando cuenta con un sistema de traducción o como veremos en este otro ejemplo que aquí tenemos podríamos utilizar la propia Api de Google Translate para traducir los comentarios en el proceso de formateado junto con la limpieza la tokenización si es necesaria podemos llevar a cabo también la traducción con lo cual ya se adaptaría mejor a estas herramientas lo digo porque si pruebas sin Traducir este código con vídeos en castellano los resultados no van a ser correctos Prueba con esta segunda y los

resultados serán mejores lo vemos todo en detalle en el próximo [Música] vídeo