Hola bu tardi O buenas tardes a todos este Bienvenidos a este panel de la tarde que trata sobre el tema panorama de la normativa regulación algorítmica en América Latina y vamos a ver en forma específica auditoría de algoritmos impacto social e de estos temas Mi nombre es Pablo palaci Yo soy abogado argentino y trabajo en como abogado en un estudio jurídico all en ibrea o Alien Ibrea eh Y también soy profesor de dirito en la universidad de San Andrés Sí este panel está integrado por cuatro personas que van a hablar del tema Ah Gema ahí

llegó Gema Bueno estamos todos eh En primer lugar a a mi derecha les presento a Mercedes el lácar que es profesora de derecho en la universidad de San Andrés en Buenos Aires luego tenemos a Nuria López de estudio Daniel l que se dedica a temas de tecnología y protección de Datos y habla muy bien Castellano también e luego tenemos online eh dos panelistas e tenemos a humbert de Jesús Ortiz Rodríguez que e habla castellano y portugués con lo cual vamos a ver en qué idioma nos quiere hablar eh es dpo de wirpol y nos va

a comentar un poco cómo las empresas enfocan las auditorías y los análisis de implementación de algoritmos desde un punto de vista Empresarial y finalmente tenemos a Gema goldon clavel desde España e que es fundadora de éticas que es una empresa que se dedica a hacer auditoría de programas ia la conozco hace mucho tiempo nos conocimos en Londres hace en privacy International y bueno así que ya tiene mucho mucho también tiempo al igual que Humberto en el área de datos personales y nos va a comentar un poco Cómo funcionaría un programa eh La idea es empezar

a hablar e y por favor si Tienen preguntas levanten la mano interrumpan La idea es que esto sea más un diálogo que un diálogo entre todos los presentes un diálogo constructivo y no una exposición de cada uno en forma isolada no Pero bueno vamos a empezar con Mercedes que nos va a dar un panorama legislativo de la región eh Y después seguimos con Nuria adelante Mercedes Bueno Hola buenas tardes a todos Muchas gracias por venir e Como Dijo Pablo vamos a empezar con un panorama normativo un poco amplio podría decirse porque no hay regulación específicamente

sobre algoritmos entonces nuestra idea es un poco revisar en los distintos instrumentos de protección de datos y alguna otra cosa que podamos complementar De qué manera se lo intenta abordar Y eso Tal vez nos lleve a una conclusión o no de Cómo podemos manejar esto que no va solo de protección de Datos sino también tiene la idea tiene muchas aristas que y los algoritmos que que lo afectan aún cuando estén alimentados por datos vamos a empar un poco más desde lo Macro y desp vamos a ir a los países eh Prim tenemos el convenio 108

que aún no está en vigencia y todavía fue únicamente ratificado por dos países en Latinoamérica Pero bueno es como un poco no sé como el norte más a nivel internacional que podríamos citar Eh Y esto lo que como lo lo toma el convenio se va a repetir en muchas de las legislaciones después que es que la no tanto se regula el uso en sí o la forma en la cual se usa el algoritmo sino que la persona tiene derecho a no ser sujeto a decisiones automatizadas esto afecta a losos porque yo las empresas o los

responsables de tratamiento deberían tener alguna forma de implementar la posibilidad de ejercer Este derecho es decir No solo a raíz de este derecho también podríamos como deducir El Deber de informarlo porque para yo poder eh efectivamente ejercer ese derecho tengo que saber que saber que mis datos están usando con iones automatizadas y que podrían afectarme y yo tener la posibilidad de ejercer ese derecho Entonces esto es lo más cercano que podríamos tener dentro de la el ámbito de la de la protección De datos a regular en algún punto los algoritmos si bien siempre que usen

datos probablemente le apliquemos toda la ley pero Esto va como bien puntual a eso eh está después más a nivel regional seguimos con la red americana de protección de datos que en la en las directivas de la red también lo regula muy parecido dice derecho a no ser objeto de decisiones que producan efectos jurídicos o de manera Significativa cuando se usan de forma automatizada esto después lo vamos a ver que en las distintas nosotros citamos Argentina Brasil Colombia Ecuador México y Uruguay Ah perdón perdón sí Disculpa lógicamente unar va a hablar Nuria pero podremos hacer

como un repaso del resto de los países de latinoamérica que Tal como vimos en los instrumentos anteriores es bastante parecido el enfoque que tienen mismo también porque al ser Argentina México y Uruguay previos a jpr leyes que podríamos Llamar de primera generación Si se quiere e tal vez no están tan adornadas a los al Nuevo Mundo a la nueva forma de procesar datos a la Inteligencia artificial si bien no es algo de Hace 2 años las leyes son un poco más antiguas Entonces los instrumentos que tienen pueden no ser tan actuales y lo que hace

también que muchas veces las leyes por temas gubernamentales políticos de la región no no se actualizan de forma tan rápido como va la la tecnología entonces Muchas veces las autoridades lo que hacen es regular a través de resoluciones guías recomendaciones que de vuelta esto podría ser un problema también porque al ser una recomendación muchas veces los Responsables dicen Bueno pero si no es obligatorio tal vez no lo tengo que cumplir y es como que esto redunda en eso que necesitamos tal vez eh actualizar La regulación o tener una nueva no sé cada uno tendrá su

propia opinión al respecto e vamos a empezar por Argentina la ley no dice nada La ley es como ya no sé si lo nombraron en el panel anterior o antes eh la primera Ley de latinoamérica en protección de datos y des 2000 Entonces no tiene nada de algoritmos Ni decisiones automatizadas entonces lo que hizo la autoridad es sacar una resolución en 2019 que tiene como criterios de interpretación de la ley y mejor aplicación y dentro de esos criterios lo que hace Es que la persona no tiene derecho a no ser sujeto sino que una vez

que es sujeto Esta es la diferencia en redacción eh No es que no va a tener derecho a no ser sujeto sino que tiene derecho a Conocer la razonabilidad por detrás de ese algoritmo es decir el responsable debería informar que se está usando algún tipo de decisiones automatizadas y a raíz de eso en caso en que la persona lo desee en el marco del derecho de acceso darle a conocer Cuál fue la razonabilidad detrás de eso esto También muchas veces e puede ser difícil porque la persona que usa un algoritmo o lo que sea no

quiere tampoco dar ni ni cómo funciona Ni su código Fuentes como que es una una discusión que vemos mucho también en el sector privado de Bueno pero me piden esto y yo no lo no lo puedo dar o mismo yo no tengo el código fuente es de un software que licencié en otro lado entonces eh muchas veces también la legislación como que hay que ponerla en práctica y analizarla en base a lo que tenemos porque a simple vista está bien y se entiende que es un derecho de la persona entender Por qué decidieron tal O

cual cosa sobre mí Pero muchas veces es difícil ponerlo en práctica y ahí entramos nosotros y es todo más difícil después Colombia no tiene regulaciones ni recomendaciones de vuelta algo nada específico de algoritmos o de audiciones automatizadas sí tienen ley de protección de datos tiene una agencia que es muy activa entonces que no tengan específicamente esto no implica que no se aplique la ley ni nada pero bueno tal Vez el tema que nos trae hoy no está regulado de forma específica Ah obvio bienvenido todos comentarios eso también no sé si lo dijimos si en el

medio alguien quiere hacer una pregunta o lo que sea también es la idea si es más a meno también y no se cansan de mi voz e después tenemos Ecuador que bueno Ecuador Es una ley de segund segunda generación podríamos llamar gpr entonces ya tiene como una influencia un poco más actual si Podríamos decir Eh entonces tiene como varias aristas de que podrían tocar los los algoritmos primero un derecho a no ser sujeto decisiones automatizadas como vimos anteriormente Y el derecho específico a que como la política de privacidad tengo que informar Las las eh las

Cómo se llama por qué voy a procesar tus datos también tengo que avisarte que vas a ser objeto de decisiones automatizadas Esto es algo nuevo que está específicamente La ley que dice que lo tien que informar como te informo la base legal tengo que informar eso y algo que conversábamos antes también y que tal vez no es específicamente algoritmos pero me parece que es bueno mencionar y que lo toca en algún punto con esta falta de regulación específica nos puede ayudar son Las evaluaciones de impacto y la privacidad por diseño la evaluación de impacto muchas

veces bueno es una cuando hay un un a una actividad de Procesamiento que puede l generar algún tipo de riesgo para los titulares el responsable debería serc una valoración de la la la necesidad para qué Por qué si puedo o no bajar el riesgo si va a ser muy riesgoso a grandes rasgos lo que es una evaluación de impacto y muchas veces los los las actividades de tratamiento que están que son realizadas con decisiones automatizadas y con algoritmos están sujetas de forma obligatoria la evaluación de impacto Entonces si bien no estamos regulando el algoritmo s

te mira si vos vas a hacer un eh e algún tipo de tratamiento que implique el uso de algoritmo y que implique decisones automatizadas tenés que hacer una evaluación de impacto esto también es un en favor del titular y para conocer evidentemente esto es necesario voy a usar todos los datos que yo necesito o es demasiado Qué riesgos puede haber Cómo los puedo Eh mitigar entonces Ecuador podríamos decir Que en cuanto a legislación es tal vez de los que vamos a ver hoy de latinoamérica los que tienen más instrumentos o más cosas yo se lo

atribuyo también a que es la ley más nueva eh más actual eem nos quedan México y Uruguay si pasamos a México le vuelta la ley no no dice nada tampoco no tiene ningún tipo de regulación específica pero eh la autoridad de aplicación de México Eh sí tiene muchas guías y recomendaciones y Eh bueno recomendaciones de cómo actuar Cómo implementar la ley y acá citamos dos y después nos quedó una fuera el Powerpoint que es de interpretación de los principios de la ley que también tendría algo que ver primero tenemos tratamiento de datos personales derivados de

uso de Inteligencia artificial esto es más Macro en sí y algo que vamos a ver después cuando veamos los proyectos también e muchas veces se intenta Regular o lo Que podemos ver en América Latina también a partir de la como los principios que deberíamos tener el deber ético y después las obligaciones pero primero como que en un principio en una como regulación incipiente podríamos decir también está muy fuerte esto de decir tipo vos deberías usar intelig icial usar los algoritmos de forma responsable bajo la ética sin afectar sin discriminar después es otro tema y que

también vamos A hablar los riesgos de si se lo aplic a todos por igual De qué forma Qué es lo importante qué es lo que debería auditar eh lo vamos a hablar a lo largo de toda la charla y de vuelta AC aparece en la guía de valoración de evaluaciones de impacto que de vuelta todo tratamiento de datos que involucran un tipo de algoritmo decisión automatizada necesariamente en este caso no es obligatorio porque es una guía es una recomendación de inai eh Pero bueno es Algo a tener en cuenta eh y en la otra guía

que nos quedó fuera del Powerpoint hablaba de Cómo aplicar los los principios de la ley y habla del principio de responsabilidad dice que para ser efectivo el principio de responsabilidad Es recomendable tener en cuenta la privacidad desde el diseño de vuelta esto privacy by design desde el principio y creo que esto si bien es importante Frente a cualquier tipo de actividad de tratamiento cuando hablamos De automatizadas de algoritmos es muy importante porque justamente eh después al ser mucha cantidad de datos la que se procesa y tener un gran impacto vemos el riesgo y la afectación

muy rápido o a mayor escala podría decirse por último tenemos elay ya le pasa a así y que la ley de protección de datos específicamente prevé dos cosas como tal como la de Ecuador eh el derecho heo El Deber de informar que tienen que informar de qu que se van a Estar tratando datos de forma automatizada y la impugnación de la valoración de valores personales que es esto la el derecho a no ser sujeto a decisiones automatizadas que un poco van de la mano como decíamos antes y después el decreto 64 del 2020 que es

de responsabilidad proactiva la ley de Uruguay también es más antigua entonces la agencia es bastante activa y todo el tiempo está intentando como aorar la ley a través de Resoluciones e y lo que dice el decreto el decreto 64 es el deber de llevar adelante oraciones de impacto y de tener en cuenta la privacidad por diseño de vuelta como podemos ver y un poco hicimos una un repaso rápido eh todo gira en torno más o menos a lo mismo No es que hay una regulación un país que tiene algo que nos va a maravillar o

que es una cosa que nunca vimos sino que la protección de datos intenta más o menos abordarlo desde ese Camino intentar como circunscribir circunscribir el procesamiento de datos de a través de algoritmos y ediciones automatizadas a lo justo y necesario teniendo en cuenta los riesgos y dándole al titular la posibilidad de tener derechos respecto a ese tratamiento de conocer y de oponerse en algunos casos eh Hola buenas tardes Bueno aquí creo que es importante decir que est evaluaciones de impacto son evaluaciones de impacto en protección de datos Personales no que no que no son evaluaciones

específicas para algoritmos para audit te orías para para sistemas de Inteligencia artificial Entonces es algo que ya tenemos aquí en Brasil tenemos en el artículo 20 del gpd el derecho a revisión de decisiones tomadas solamente pusieron el solamente ahí con base en el tratamiento automatizado de datos personales entonces una revisión que No necesariamente será una revisión humana que también eso se sacó de la Ley pero una revisión que logra darle al titular informaciones y también aquí no usamos explicación usamos información entonces informaciones claras adecuadas sobre los criterios y procedimientos que fueran utilizados en esta decisión

así que muy cerca de lo que pasa en Argentina y con el mismo problema no las empresas que desarrollan Inteligencia artificial no quieren compartir muchas informaciones sobre este criterios sobre Los procedimientos sobre los parámetros que utilizan en sus en sus sistemas de ya evidentemente porque está involucrado en su secreto de negocio evidentemente y las empresas que bueno y ahí vale No nosotros también con clientes que desarrollan yaa evidentemente les recomendamos como buenas prácticas que compartan algo que pueda ser suficiente satisfactorio para cumplir las recomendaciones legales por otro lado Para las empresas las organizaciones que utilizan

y ya de terceros tienen ellas como responsables por el tratamiento de datos personales la obligación legal de darle a sus titulares estas informaciones informaciones que no las que no las tienen entonces es una una obligación una un requisito legal algo cruel con las con las empresas no con las organizaciones que que uti a Inteligencia artificial y que busca ahí Adaptarse a estar más avanzadas entonces un problema grave y la ley dice más no este artículo 20 dice más dice si el controlador Dice que no puede dar las informaciones porque no las tienen porque está en

su secreto comercial entonces la autoridad Nacional de protección de datos puede hacer una auditoría algorítmica sobre este sistema de ya de ya no dice ya no dice este sistema Claro pero bueno se aplica a nosotros aquí y Entonces la autoridad Todavía no se ha manifestado sobre el tema es un tema super nuevo en Brasil entonces estoy bastante curiosa también para oír a Humberto que tiene ahí un un background de auditorías y también a Gema que lo hace desde hace mucho en todo el mundo en particular en Europa Pero cómo sería esta auditoría específica y nuestra

ley tiene un un sesgo importante que dice lo importante aquí es decir o es constatar demostrar que el sistema no es Discriminatorio entonces tiene un sesgo la ley para la antidiscriminación que es un tema importante en todo el mundo sobre todo en Brasil que es un país muy diverso Cómo cómo está estamos mirando este tema y trabajando con este tema Hoy entonces yo no tengo ahí una no tenemos una auditoría y es importante separar un poquito no tenemos Las evaluaciones de impacto en protección de datos personales que ya lo sabemos todos tenemos Los criterios y

y hablaba con Pablo y con Mercedes antes claro las autoridades tienen guías importantes sobre todo nos pasa aquí igual a Europa son las Las evaluaciones existen todavía evaluaciones específicas para sistemas de Inteligencia artificial y esto es una cosa y son evaluaciones que pueden tener su en su escopo temas distintos aspectos distintos porque aquí no No necesitamos ver exactamente el impacto a la protección de datos personales de los titulares cuando Hablamos de una evaluación de impacto Inteligencia artificial podemos tener en cuenta otros aspectos que nos importen y pueden ser aspectos distintos entonces existen metodologías distintas impactos

distintos que podemos considerar en estas evaluaciones otra cosa es también decir sobre las du diligens entonces claro cuando tengo un tercero cuando tengo un proveedor puedo hacer una du diligence específica para tener en cuenta estas Informaciones para tener en cuenta otros criterios de seguridad de de cooperación en caso de vulneración en caso de de solicitación de derechos entonces una duil para comprender mejor un poco mi fornecedor y por fin tenemos en cuenta la cuestión de la auditoría entonces para mí son cuatro son cuatro temas distintos pero que están muy con muy interligados no una intersección

muy grande entonces aquí importante decir nosotros como lo Tenemos cóm tenemos trabajado con este tema específicamente para antidiscriminación entonces tened en cuenta que podríamos hacer una evaluación con muchos criterios distintos mirando hacia el artículo 20 tomamos en cuenta que lo importante er era hablar de la no discriminación Entonces nosotros tenemos una metodología desarrollada por el equipo que está por aquí no y que analiza específicamente una basis Amostral y ahí hacemos solamente la revisión humana del equipo una basis amostral del resultado del algoritmo no tenemos no tenemos acceso a nada de la basis original y nada

del del algoritmo pero sí tenemos acceso al resultado entonces una revisión humana y periódica de un resultado con una mirada muy humana y aquí no tengo mar queene es su maestría en el tema de protección de datos y diversidad y que ha aportado Personalmente no una contribución personal muy grande en en esta metodología porque dice sobre todo que nuestra revisión humana es la mejor para tener en cuenta el marcador de la diferencia es el marcador social de la diferencia y Y esto es muy es muy precioso no nosotros como humanos logramos ver lo que nos

hace diferente y lo que puede generar discriminación les doy un ejemplo Ah en un una charla de estas en Nueva York de Mujeres de tecnología me dice una abogada nuevayork maravillosa poderosa toda me dice cómo se siente siendo una abogada latina en tecnología y yo me reí porqueen bueno en Brasil Esto no es un tema porque acá Somos todos latinos entonces para mí esto no es un marcador social de la diferencia pero claro cuando me voy a Estados Unidos con un nombre largo lleno de Zas Entonces sí super latina Entonces allá claro esto es un

marcador social de la diferencia y así que el equipo ha podido en muchos casos verificar lo que en la aquel contexto específico porque contexto y es siempre una evaluación contextual en aquel contexto específico que será un marcador social de la diferencia aprendí bien Sí bueno estás Sí ya hablamos la palabra Berto ahora para que nos cuente un poco sí y Argema Hola muy buenas tardes a todos un placer saludarlos hoy en la distancia de la ciudad de Bogotá y bueno estando en Bogotá voy a aprovechar un poco para hacer referencia al contexto de América Latina

un placer estar con todos mis colegas tanto quienes están hoy en Brasil y con Gema que está desde mi queridísima y adorada España casualmente eh preparando el trabajo para este panel estaba leyendo una guía sobre auditorías algorítmicas producidas por éticas y Aprovecho para felicitar a hma y a todo su equipo está excepcional como comentaban Pablo y Nuria al inicio mi experiencia en el área de protección de datos tiene ya casi 20 años igualmente Yo soy auditor en materia de protección de datos certificado en varios países eh conando hacemos una auditoría en materia de protección de

datos tenemos que tomar en consideración una serie de elementos particularmente la garantía del derecho A la privacidad y las libertades fundamentales que tiene todo titular de datos personales cuando se me pregunta sobre auditorías algorítmicas y en Sí cómo llevar la auditoría a la práctica cuando estamos al lado de la empresa la situación cambia completamente voy a ir directamente al área de eh algoritmos de Inteligencia artificial y explicar un poco Qué hacer en el antes durante y después porque uno de los elementos fundamentales es garantizar la Prevención cuando nosotros estamos trabajando dentro de una organización y

n to con un elemento básico eh que es el du diligence esa revisión cuando queremos contr ar a un proveedor cuando queremos establecer algún tipo de Alianza con un socio de negocios o parcero de negocios como se diría en portugués tenemos que estar eh conscientes y saber cuál es el nivel de adecuación que tiene ese proveedor o socio de negocios con relación a las Actividades que vamos a ejecutar y particularmente en el respeto a la materia de protección de datos y a la Inteligencia artificial si somos una empresa y estamos trabajando con un proveedor o

socio de negocios que pueda aplicar Inteligencia artificial para el tratamiento masivo de datos personales pues indudablemente tenemos que tomar en cuenta Cuáles son los riesgos que van a existir al respecto y cuando hablamos de evaluar esos riesgos esa dilin es Esencial porque nosotros vamos a evaluar comoo ese tercero está trabajando y particularmente Cuáles serían las acciones o medidas mitigadoras que nosotros deberíamos aplicar en un momento determinado Y a partir de esa evaluación inicial de es du inicial decidir si seguimos o no seguimos adelante con el la relación con ese socio o proveedor de servicios imaginemos

que nosotros hemos ejecutado esa evaluación que ese proveedor o ese Tercero para llamarlo de forma genérica ha estado en conformidad con los lineamientos que están establecidos en la legislación en los países donde puede exist legislación o está de acuerdo con las normas de compliance eh digital que puedan existir dentro de cualquier organización y aquí es importante También nosotros como organización entender si estamos haciendo uso de inteligencia artificial Cómo estamos preparados para eso lo primero si Estamos hablando solo de protección de datos vamos a tener una política corporativa una política global de privacidad y de protección

de datos o de protección de datos y seguridad de la información y por otro lado si estamos hablando de Inteligencia artificial una política global sobre Inteligencia artificial que evidentemente debe estar adecuada regionalmente a lo que cada una de las regiones en las que operan principalmente empresas multinacionales Exista y también a la legislación local o como yo siempre lo denominado estar adecuadas a un contexto global glocal regional porque el mundo de hoy es eso es un mundo global glocal y regional adicionalmente si ya nosotros estamos preparados si ya Nosotros hemos hecho una dil es tercero y

ahora decidimos tener un relacionamiento con un es tercero a lo largo del tiempo tenemos que ejecutar un monitori momento permanente tenemos que dar un una Evaluación continua para ver si ese tercero Sigue estando de acuerdo a lo largo del tiempo muchas veces escuchamos no es que yo revisé al cero al inicio de la relación contractual pero es que durante el camino pueden pasar muchas cosas es como una persona hoy puede estar bien mañana puede tener gripe dentro de una semana puede estar bien nuevamente y posteriormente tener alguna otra enfermedad cuando hablamos de una empresa Puede

ocurrir Exactamente lo Mismo y particularmente si estamos tratando datos podemos tener incidentes con datos Y esos incidentes con datos pueden generar consecuencias que tienen que estar siendo permanentemente evaluados por último una vez que tenemos terminado la relación contractual y ya empieza la división de las acciones que ejecutamos como empresas viene una auditoría de cierre que sería lo ideal para saber si efectivamente todo se hizo como tenía que hacerse Y si ya no existe Ningún tipo de dato que esté continuando que continúe siendo almacenado dentro de ese tercero y que pueda ser utilizado para la Inteligencia

artificial a su vez tenemos que considerar que durante esa relación contractual se pudieron utilizar esos datos para realizar cualquier tipo de entrenamiento de la Inteligencia artificial iici situación que ha estado muy de moda en los últimos días particularmente en Brasil con decisiones de la autoridad brasilera de Protección de datos personales y del mismo modo tenemos que tomar en consideración qué pasa y quién va a ser el dueño de los resultados de la utilización de esos datos y de la aplicación de la Inteligencia artificial lo cual nos lleva también a una serie de acciones adicionales si

no tenemos una legislación vamos a partir por una autorregulación utilizando como base el principio de responsabilidad proactiva y en ese sentido vamos a establecer Nuestros contratos cláusulas o reglas del juego como se diría en España relativas al uso de la Inteligencia artificial Cuáles son las reglas del juego que nosotros como empresa vamos a aceptar y cuáles son las reglas de juego que vamos a pactar cuando estemos eh trabajando con terceros en el uso de esto porque evidentemente uno de los elementos que tenemos que considerar es Cómo evitar cualquier tipo de viz discriminatorio como Nuria lo

señalaba En la ejecución de las acciones que podamos tener dentro de nuestra organización o situaciones que podrían lar en una concurrencia desleal o competencia desleal situaciones que pueden atrapar el desarrollo y la continuidad de los negocios cuando nosotros hablamos siempre de esta área un elemento fundamental es garantizar la continuidad del negocio eso tiene que ser fundamental y yo tengo que garantizar la continuidad del negocio Respetando los derechos y libertades fundamentales de los titulares que en efecto son los destinatarios de cualquier tipo de regulación al respecto cuando estábamos haciendo la presentación o mis colegas que están

en Brasil estaban haciendo la presentación uno de los elementos que se mencionó fue sobre la legislación existente cuando se hablaba de Colombia y me tomo aquí el el el punto para hablar porque Aprovechando que estoy en la ciudad de Bogotá es de Que efectivamente no existe una legislación específica sobre la eh el área de algoritmos pero la superintendencia de industria y comercio que es la autoridad colombiana en materia de protección de datos Eh sí ha venido haciendo un seguimiento a la utilización de esta Inteligencia artificial por parte de los agentes de tratamiento a su vez

la corte constitucional colombiana ha emitido una serie de sentencias en las cuales ha Evaluado el uso de la Inteligencia artificial y la necesidad de que exista un equilibrio entre cualquier uso de estas herramientas el derecho a la intimidad y el derecho a la privacidad y a la protección de los datos personales en tal sentido la corte constitucional colombiana además de definir lo que se va a entender en Colombia como Inteligencia artificial ha venido Estableciendo también Cuáles serían los riesgos y en la sentencia en varias de Sus sentencias es eh realmente interesante observar como la corte

se pronuncia sobre los riesgos que existen y que son derivados del uso de la Inteligencia artificial y la necesidad de establecer limitaciones porque muchas veces los agentes que están tratando la inteligencia eh los datos con Inteligencia artificial sean públicos o privados Puede que no estén y aquí Me permito leer textualmente lo que dice eh la corte en una de sus jurisprudencias Conceptual técnica y jurídicamente preparados para la ejecución de esas actividades ese es un punto que realmente es interesante en Colombia no existe una ley que regua la Inteligencia artificial no existe una ley que regule

todo el uso de algoritmos pero si existe una política nacional de Inteligencia artificial desde el año 2016 hoy es posible encontrar tres repositorios públicos por el uso de Inteligencia artificial en las instituciones que Integran la administración pública colombiana y al respecto la propia corte constitucional la superintendencia de industria y comercio y otras autoridades lo es se han pronunciado sobre Cuáles serían los elementos que se deben considerar en particular la corte ha sido bien enfática en establecer la necesidad de ejecutar un juicio de proporcionalidad y entender ese juicio de proporcionalidad como base para poder establecer Entonces

ese eh equilibrio Necesario para que lo que se haga con los datos Y con la utilización de los algoritmos sea realmente adecuado y que tenga como un nte fundamental siempre respeto a los derechos y libertades fundamentales te doy la palabra torno la palabra para el panel y posteriormente le comentaré otros elementos desde la práctica empresarial Muchas gracias Humberto eh kema Te damos la palabra y Recuerden que si tienen alguna pregunta concreta Pueden levantar la mano y hacerla Muchas gracias Ah buenos días Soy española pero vivo en en Estados Unidos vivo en Nueva York Así que

Humberto me sabe mal no no no conectarme desde mi ciudad natal Barcelona conecto desde mi ciudad de acogida en en Nueva York Muchas gracias por la invitación por el por el panel además muy muy oportuno estamos trabajando con unp en en temas de Inteligencia artificial en América Latina y es una una una parte del mundo en la que siempre hemos tenido el privilegio de poder colaborar de forma muy de forma muy cercana igual para para para enmarcar nuestro trabajo comentó antes Ah Pablo creo llevamos en éticas muchísimo tiempo haciendo haciendo auditorías Y la verdad que

es un gusto hoy como tantos años después creo que hicimos la primera hace como 7 años ver como como las auditorías están en el centro del debate sobre La regulación de La Inteligencia artificial Ah y las de las decisiones automatizadas Ah Y creo que eso explica un poco nuestra nuestra posición nosotros no somos actores de compliance no nos interesa crear los mecanismos Ah que hay que desarrollar cuando la compliance se ha establecido nosos lo que hacemos Es darle forma la compliance es decir en Innovación lo que ocurre muchas veces que aparecen nuevos sistemas nuevas soluciones

para los cuales no tenemos una una buena buen Conocimiento de cuáles son los riesgos Cuáles son cuál es el funcionamiento con lo cual el reto no es tanto crear los mecanismos de compliance sino crear ante qué hay que hacer compliance qué es lo que hay que cumplir para que esto funcione bien con lo cual nuestra perspectiva no es tanto Qué dice La Ley sino qué debería decir la legislación y Qué deberían hacer los desarrolladores implementadores de estos sistemas para asegurar que las personas usuarias o Afectadas por esos sistemas son efectivamente protegidas por esos sistemas Y

en este proceso aprendimos mucho de gdpr de la legislación de protección de datos en Europa gdpr y me permitiré mucho el candor pero he estado demasiado metida en el en en todo el proceso de aprobación inicialmente después de desarrollo para creo que mi frustración está justificada gdpr ha llevado en Europa y Me Temo que en todo el mundo ha una situación en la cual la compliance el cumplimiento del Marco normativo se ha convertido en una fachada una fachada llena de documentos llena de Impact assessments de de checkboxes Ah pero en la cual muchas veces estos

documentos y esos checks no reflejan Para nada la tecnología que está que está detrás Ah se ha separado el el cumplimiento de qué tiene que hacer la tecnolog ía para Proteger personas de lo que Ah de lo que de lo que realmente dicen esos documentos yo he hecho muchísimos impactas asm en los cuales no he tenido ningún tipo de acceso a a las dinámicas de datos con lo cual eran Impact assessments que no reflejaban un sistema real y que además no generaban ninguna ningún incentivo dentro de esas organizaciones para que cambiaran Ah formas de trabajar

con esos datos con lo cual con Inteligencia artificial Ah Nuestro posicionamiento es que no nos podemos permitir el mismo problema porque lo que ocurre cuando separamos la la compliance de decisiones técnicas es que des protegemos a las personas hay sistemas de Inteligencia artificial y sistemas de datos que están ocasionando Ah problemas graves a individuos y están creando sobre todo con Inteligencia artificial una generalización de dinámicas de discriminación que no pueden ser validadas por La regulación Ah Tenemos que tener mecanismos que nos permitan realmente proteger a las personas y asegurar que hay un tratamiento equitativo cuando

est estos sistem más funcionan con lo cual con las auditorías nuestro reto Cuál ha sido Cómo podemos construir mecanismos de inspección de la tecnología que nos permitan reconciliar la compliance con el desarrollo tecnológico y la auditoría es la pieza que nos permite hacer eso es la pieza que nos permite Como transitar la última milla de la implementación de La regulación y la última milla de la protección de las personas qué ocurre entre los estándares los principios legales queremos que la tecnología no sea discriminatoria Ah queremos transparencia queremos un montón de principios que deben operativizarse en

especificaciones técnicas la auditoría valida que existen esas especificaciones técnicas para asegurar esa compliance Ah con lo cual Lo que hemos hecho estos estos 7 años es aprender del sector y crear mecanismos de inspección de la Inteligencia artificial que nos permiten realmente verificar si hay personas están siendo impactadas de forma diferente a por el hecho de tener a a de forma formar parte de alguna categoría protegida por el hecho de ser mujeres por el hecho de ser personas de color por el hecho de tener una una edad específica por el hecho de estar ubicados geográficamente en

un Sitio específico las dinámicas de discriminación que nos encontramos en los sistema Son son múltiples este proceso que hemos estado haciendo durante muchos años como con una dinámica de consultoría precisamente por el la necesidad de escalar el impacto de lo que hacemos y de hacerlo lo más lo más técnico posible desde este año Tenemos también software de auditoría algorítmica creamos tenemos una plataforma para auditar sistemas de Decisión automatizada que permite a los equipos técnicos Tener información en tiempo real de Cuál es la performance de sus sistemas en relación con esas categorías protegidas con lo cual

lo que estamos creando es un un marco de auditoría que tiene tres layers principales un layer es de governance que nos permite ver si las organizaciones cuentan con esos Impact assessments con esa conciencia de la existencia de riesgos y ese plan para Mitigarlos si cuentan con los perfiles las personas adecuadas para asegurar el desarrollo y implementación de esos sistemas de una forma Ah que sea acorde a la ley pero también no dañina para la población y no gener ningún tipo de impacto negativo sobre individuos o la sociedad con lo cual una auditoría al nivel de

governance y para eso existen además muchísimas soluciones incluso de Software que permiten a las empresas tener esa ese ese layer que es Importante pero jamás suficiente y creo es lo que nos pasó con gdpr la auditoría o cualquier inspección se queda al nivel de inspeccionar la fachada sin ver si realmente esa fachada tiene después relación con lo que existe con lo que existe detrás de la fachada con lo cual hay un segundo nivel importante pero de nuevo de nuevo no suficiente es la auditoría del modelo cuando vemos temas de métricas de modelo desde accuracy recall

Perdón que los términos son todos En inglés pero en ingeniería Ah esto en inglés accuracy recall pero también fairness metrics hay una gran comunidad de ingenieros comprometidos con temas de igualdad que llevan mucho tiempo desarrollando Cuáles son las métricas de Justicia que podemos desarrollar para hacer es ese testeo técnico de esos de esos modelos y eso es lo que esa esa auditoría de modelo la pueden realizar los desarrolladores que son los que tienen acceso a esa información de nuevo Muy importante la ley de Nueva York la la 144 que obliga a la auditoría de de

sistemas de Inteligencia artificial utilizados para la selección de personal se centra Precisamente en ese en ese layer en esa en esa capa de auditoría auditoría de modelo de de métricas clave del modelo Pero la la la capa más importante imprescindible y sin la cual las otras dos no tienen sentido y pueden llevarnos incluso a validar sistemas muy problemáticos es la auditoría de impacto Y es cuando auditamos qué ha ocurrido realmente con la de governance auditamos que tenemos tenemos los mecanismos y los recursos para abordar los problemas y el conocimiento para abordar los problemas con la

de con la de modelo nos aseguramos que ha habido un trabajo con los datos Y que el equipo ingeniero es conocedor de los riesgos y de las métricas de de Justicia las fairness metrics relevantes con impacto nos preocupamos de qué ha ocurrido Realmente quién recibió ese lugar de trabajo quién accedió a A cuál universidad cuando utilizamos Inteligencia artificial para determinar acceso a universidad quién esperó en la en la sala de urgencias más y quién esperó menos dependiendo de sus de sus dolencias Ah tenemos mucha Inteligencia artificial utilizado ahora mismo para optimizar espera en sala de

en sala de en sala de emergencias en en hospitales quién accedió a un préstamo es cuál es La decisión final y eso los los los ingenieros no tienen ninguna visibilidades cuando uno desarrolla un modelo de Inteligencia artificial lo hace en condiciones de laboratorio un poco para poner para hacer un símil que creo que se entiende la auditoría de impacto es como el ensayo clínico en cierta manera los biólogos o los desarrolladores de vacunas pueden tener resultados espectaculares en laboratorio podemos creer que una vacuna va a Funcionar muy bien porque en laboratorio nos está diciendo que

tiene muchas cualidades para funcionar donde nos jugamos Realmente si esa vacuna se puede comercializar y si tiene un impacto positivo en las sociedades Cuando hacemos los ensayos clínicos cuando vemos realmente qué ocurre cuando las personas reales juegan con ese sistema y están sometidos a ese sistema la auditoría de impacto nos permite hacer eso tanto antes del del Release antes de La del lanzamiento del sistema como después la auditoría de impacto actúa como un mecanismo de supervisión en el mercado la auditoría de impacto es una auditoría que se realiza de forma periódica y que recoge datos

de cuál es ese de cuál es ese impacto y solo juntando esos esas tres capas de auditoría conseguiremos tener un mecanismo de inspección robusto que se asegure de que se protegen derech en la Inteligencia artificial y de que las Empresas tienen incentivos no solo no solo para cumplir en el papel sino para cumplir en la práctica y cambiar los procesos técnicos necesarios para asegurar que esos sistemas impactan sobre la sociedad de formas de formas justas Pero también de formas eficientes al final si estamos haciendo que alguien espere más en una sala de urgencias por su

género y no por su dolencia estamos tomando una mala decisión y eso es importantísimo lo Que vemos muchas veces las decisiones sesgadas son malas Decisiones Con lo cual el tema que enfrentamos no es solo un tema de compliance es un tema de performance Si queremos que los sistemas de Inteligencia artificial funcionen bien la auditoría de temas de sesgo alucinación en los sistemas de lenguaje natural etcétera etcétera son temas que se tienen que abordar como como desafíos de performance de cómo funciona el sistema y si el sistema funciona bien un Sistema aliente sesgado lo que nos

encontramos normalmente la auditoría de impacto cuando nos centramos en sesgo si encontramos sesgo ese sesgo es un indicador de muchos otros errores y muchos otros disfunciones en ese en ese en ese sistema y en ese modelo y además con ese con ese ese ese enfoque tridimensional nos permite abordar muchas de las cosas que se planteaban en el panel antes no recuerdo quién lo lo planteaba decía que era Injusto a veces Que las empresas que que despliegan esa tecnología tengen que ser las que dan explicaciones cuando no tienen acceso a esa información Ah no ten acceso

a la información no es no es excusa para no cumplir para no asegurar que esas decisiones Son son justas Pero además tener la auditoría de impacto donde pone precisamente el foco es en quién utiliza Esa esa información nuestros mayores clientes no son tanto los desarrolladores como los implementadores Cuando una gran cadena como Walmart en Estados Unidos utiliza Inteligencia artificial para reclutar la responsabilidad de A quién acaba reclutando es de Walmart y si el sistema de Inteligencia artificial funciona mal la responsabilidad es de Walmart que ha adquirido un sistema de Inteligencia artificial sin las garantías necesarias

sin haber hecho el due diligence para asegurar que ese sistema que incorpora funciona bien lo mismo con un hospital Que utiliza Inteligencia artificial para temas diagnósticos desarrollado por terceros Ah es el hospital El que tiene la la responsabilidad pero básicamente porque los desarrolladores nunca tendrán acceso a esas métricas de impacto de impacto que son las determinantes para valorar realmente cómo un sistema Ah impacta sobre sobre la sociedad con lo cual lo que proponemos lo que estamos ahora mismo trabajando con reguladores en Europa y en Estados Unidos es a Plantear un ecosistema de auditoría con tres

grandes patas que nos permita abordar todos los desafíos de la implementación justa y adecuada de los sistemas de Inteligencia artificial y y Añadir igual solo un tema final porque se hizo mucho no pensaba decirlo pero se habló bastante del tema de la intervención humana en nuestra experiencia los humanos que intervienen las tomas de decisiones en lugar de mejorar esa toma De decisiones reintroduced con el human in the Loop con el humano en el bucle no es positiva lo que hacemos también con auditoría de impacto es medir qué parte de la decisión qué parte de ese

sesgo es atribuible a motivos técnicos a motivos de modelo y qué parte es atribuible a motivos humanos cuando damos por ejemplo pongamos el caso de Walmart que no es cliente nuestro y que lo podemos lo podemos mencionar si Walmart incorpora Una tecnología de Inteligencia artificial para determinar A quién a quién contrata Esa esa ese sistema que ha contratado a terceros hace una una una determinación de los perfiles más ajustados a lo que se a lo que se busca pero la decisión final en hiring siempre es en contratación siempre es una decisión humana cuando Cuando hacemos

auditorías de impacto lo que vemos es qué recomendó la máquina y qué se qué se Decidió Finalmente y ahí podemos ver si los sesgos se introducen entre training Data entre datos de entrenamiento recomendaciones algorítmicas o entre la recomendación algorítmica y la intervención humana con lo cual nos permite ver el proceso de toma de decisiones en toda la complejidad organizativa que muchas veces rodea ese proceso de toma de decisiones y que creo que es especialmente relevante en la incorporación de Inteligencia artificial En organizaciones complejas públicas Ah y privadas que son donde estamos viendo un montón de

interés por asegurarse que esa incorporación de Inteligencia artificial se hace en condiciones de seguridad y y Justicia y ahí lo dejo y estaré encantada de hablar más con el resto de ponentes y asistentes Muchas gracias muchas gracias Gema eh pasamos a preguntas Humberto sí Gema Estoy totalmente de acuerdo contigo cuando hablamos sobre el El impacto la auditoría de impacto que es esencial particularmente tenemos que valar el uso y el impacto que va a tener esa el resultado de la utilización de esos algoritmos muy interesante cuando habla sobre los resultados que han tenido Al momento de

comparar la intervención humana y lo que había sido decidido por la por la máquina eh tú colocaba el ejemplo de de Walmart habas El ejemplo en la parte médica que particularmente a mí me encanta y yo Tuve la oportunidad de participar en un estudio de aplicación de y uso de Inteligencia artificial para personas con diabetes y con como la utilización de una máquina eh controlada por algoritmos podía servir para que la persona que tuviese diabetes se recibiera la dosis de insulina adecuada y cómo se hacía ese manejo de los algoritmos y efectivamente es esencial para

nosotros poder entender Dónde está el sesgo Porque si ocurría un error en Ese momento por no haber hecho la evaluación necesaria la persona iba a recibir mayor cantidad de insulina de la que necesitaba y con eso iba a morir y entrábamos ya en un tema de bioética es conjunción entre la ética la medicina y el derecho para determinar lo que se podía y lo que no se podía hacer y también hace años tuve la oportunidad de participar en el uso de Inteligencia artificial en la industria automotiva en el desarrollo de vehículos inteligentes Y también entraba

el elemento de hasta dónde llega la responsabilidad y quién será el eh responsable directamente por los algoritmos que van a estar dentro de esos vehículos y las consecuencias que se puedan derivar de cualquiera una de esas operaciones en sí Lo que quiero destacar acá es la importancia de la transparencia algorítmica Y esa transparencia algorítmica es esencial por el uso y el impacto que tiene la Utilización de la Inteligencia artificial y la transparencia algorítmica puede ser pasiva puede ser activa o proactiva como también se conoce La idea es Qué estamos haciendo nosotros como agentes que tratamos

con Inteligencia artificial para garantizar esa transparencia al usuario final que viene a que viene a ser el el titular y cómo nosotros podemos ser responsables proactivamente en que eso ocurra muchas veces cuando estamos en la negociación De un contrato y queremos incluir cláusula sobre Inteligencia artificial realmente estamos generando un caos dentro de las organizaciones porque la otra parte Puede que no esté preparada o peor aú peor todavía como lo señala la sentencia de la corte constitucional colombiana la persona con la que estamos discutiendo la incorporación de esa Claus sola no tiene el conocimiento técnico ni

eh tecnológico para saber qué puede y que no puede Cuál va a ser el Límite de eso que nosotros pretendemos incluir dentro de un contrato y muchas veces paramos el contrato por no poder continuar adelante con ese entendimiento partiendo del hecho de que lo que ahí se escriba el día de mañana va a ser lo que determina la responsabilidad que la empresa pueda tener al momento de que esa Inteligencia artificial haya sido utilizada y se haya generado una consecuencia para el titular que ahora va a venir a solicitar Un resarcimiento por daños sean materiales o

sean daños morales derivad de lo que nosotros y si Y si teníamos o no teníamos una buena preparación un buen blindaje dentro del contrato que pudimos haber ejecutado en un momento determinado entonces con todos esos elementos indudablemente Eh me hago Eco De lo que señalaba porque Efectivamente es lo que discutimos quienes estamos en la negociación del contrato quienes estamos hablando con nuestras áreas de Negocio tú lo señalaba con la evaluación del impacto muchas veces nos piden No tú eres el delegado de protección de datos como se dice en español o el dpo o encarregado en

portugués y cuando nosotros estamos hablando con el delegado no tú tienes que elaborar el el relatorio de impacto Ah de protección de datos y yo les digo Siempre yo voy a evaluar y yo voy a emitir mi opinión indicando los riesgos pero yo necesito del área de negocios como protagonista En el llenado de ese relatorio porque es quien conoce el negocio es quien puede decirme Qué es exactamente lo que él quiere hacer porque si no como bien lo decías nosotros lo podemos completar pero vamos a estar sesgados vamos a tener una visión la visión que

como técnicos jurídicos podría os tener sobre lo que se tiene que hacer pero no la visión del área de negocio que es la que realmente utiliza los datos que es la que utiliza la Inteligencia artificial Entonces yo creo que aquí también dentro de las políticas internas que puede adoptar cada corporación es establecer esa corresponsabilidad entre todas las áreas y no dejar solo para el área jurídica de compliance o de privacidad donde sea que esté alocado ese asunto la responsabilidad la responsabilidad nace en el área de negocio y las áreas técnicas áreas de soporte estamos para

darle un blindaje jurídico a lo que ellos quieren hacer para conseguir todos Los elementos legales que necesitamos para que eso pueda seguir adelante para viabilizar el negocio que ese es nuestro trabajo pero siempre garantizando ese balance de los derechos y libertades fundamentales de nuestros titulares entonces tener un relatorio de impacto como hen bien lo decía es puede ser solamente la fachada y yo les digo yo no quiero la fachada siempre que yo estoy en en empresas o cuando estuve en escritorio de abogados yo le decía a los Clientes Yo no te voy a hacer una

auditoría solamente con lo que tú me digas yo necesito las evidencias porque una auditoría se basa en la evidencia un auditor tiene que observar tiene que poder saber lo que ahí está ocurriendo y podemos tener dos tipos de auditoría una auditoría que se quede solo en el documento la auditoría de fachada o la auditoría que realmente va a en portugués se dice mergui que va a entrar en las profundidades para poder saber lo Que está ocurriendo y ahí la evidencia es fundamental casualmente Yo revisaba hace unas horas un contrato en el que estábamos hablando sobre

una cláusula de auditoría y la parte decía es que yo te puedo permitir que entres a mi sistema para auditar lo yo per Es que yo necesito auditar tu sistema porque lo que estoy contratando es tu sistema Si tú no me permites auditar el sistema yo estoy haciendo una contratación basándome en lo que tú me dices y en la Buena fe que si bien es cierto en materia contractual la pena fue contractual existe si yo quiero ser realmente responsable proactivamente responsable yo necesito dar un paso eh adelante porque yo voy a estar cuidando la responsabilidad

de la organización yo voy a estar cuidando a mis clientes y yo voy a estar garantizando que lo que se haga cumpla por lo menos con lo mínimo necesario para un eh buen hacer de las cosas entonces esos Son elementos que tenemos que considerar todo el tiempo cuando estamos trabajando en esta área y regreso la palabra para el panel tienen preguntas dudas comentarios Ahí está bueno Gracias mi nombre es Franco soy de Access Now quería hacer una pregunta a Gema ella Habló sobre las auditorías en tres dimensiones y quisiera que las repasas si es posible

que volviese a describir Cuáles son esas tres Dimensiones Sí claro auditoría de governance de gobernanza auditoría de modelo y auditoría de impacto no sé si quieres que entren solo mencionarlas o entrar en el contenido dijo un poquito así con una sonrisa un poquito no la de governance Establece que existe una una una valoración de imp que se conocen los riesgos y que existen los mecanismos organizativos para abordar esos esos riesgos que existe Pues un a una persona responsable de la Inteligencia artificial en lo que serían protección de datos un un dpo pues existe una persona

parecida que existen esos documentos que hay una una consciencia del riesgo y una y una capacidad de de abordarlos también en ciertos casos que hay mecanismos para para buscar lo que en inglés llamamos redress Ah si un Si una persona afectada se ve impactada negativamente por ese sistema Que hay existan mecanismos para igual que en protección de datos hacemos a los derechos arco no una no me salen no me salen las palabras en castellano a la la solicitud de de de que se cambi nuestros datos o sea existen mecanismos O sea que existe como el

el eso un poco la fachada o el el andamio la estructura para abordar los desafíos éticos legales de de un de un sistema la auditoría de modelo básicamente son métricas de de modelo Ah He hablado de algunas accuracy recall y pero sobre todo las fairness metrics Hay un montón de fairness metrics que se pueden elegir si alguien tiene curiosidad la conferencia fact que además Creo que este año fue en Brasil Ah fairness and transparency algo Ah es el el punto de encuentro de todos los expertos que trabajan desde una perspectiva técnica en en el tema

de los las las métricas de modelo y finalmente la auditoría de de Impacto que lo que hace es todos esos Ah esas valoraciones y ponerlo en relación con lo que realmente ocurrió lo que hace auditoría de impacto es recoger datos sobre impacto Ah qué es lo que ocurrió Cuántas personas recibieron eso cualquier bien vinculado a esa decisión a esa decisión automatizada y si hay algún tipo de sesgo en esa la entrega de esos de esos servicios perfecto Gracias mi pergunta para tomar liberd Deun en portugués y poro a n a tradu [Música] eh mencionó a

conferencia fct fairness accountability and transparen acm por conferencia un m aquí Rio Dean y unos aad inclusive o trabalo que Gan o premio deor Trabal escrito pelo Jacob mat calf e otros justamente sobre a ley 144 de Nova York e era trabal crítico rela aa le eh dizendo que [Música] era suficiente para alcanar o objetivo que Ela buscava evitar diminuir risco de discriminación de géo y discriminación racial no uso de algoritmos para contratación de pesoas porque a ley Ela Era efic ponto de vista transparencia por fala enmos de accountability goar de Sa menciona lear de

saber a sua opini sobre sobre a le se está de acordo cona vis crítica en rela a le se permite de segunda pergunta que está ligada aa verd porque a auditoria da le 144 [Música] Eha realizada por empresas como a sua goar de de entender un poco como a sua experiencia p eh No sentido de como dieren como é Law firms [Música] como que diferencia por favor que no vas a necesitar de traducción no necesito no te Preocupes no no hay problema Ah déjame igual empezar por la por la última pregunta am Ah dos cosas

primero am nos diferencian muchas muchas cosas la primera es que nosotros somos una una una fundación originalmente incluso nuestra la empresa es una es un programa de la fundación Ah Pero es verdad que la empresa tiene inversores y tiene y tiene un objetivo del de lucro pero lo que nos Mueve es el impacto lo que nos mueve es proteger personas pero más allá de nuestras intenciones es es importante que el el el espacio de la auditoría algorítmica no no dependa de la buena voluntad de los auditores algorítmicos con lo cual lo que estamos creando son

los mecanismos para asegurar que la profesión se desarrolla en condiciones de Independencia am y aquí es muy importante la creación Ya el año pasado de la asociación Internacional de auditores algorítmicos Ah en la que está cathy oil está Jake metcalf que es un buen amigo ah está ruman chudu a las personas que en ese momento conocíamos que tenían experiencia práctica en auditar las invitamos y ahora tenemos ya como una organización profesional que lo que hace es sentar los estándares lo que hace independiente a un auditor es que el auditor no está sujeto a las demandas

o exigencias de un cliente sino a las Normas de la profesión un auditor financiero lo que tiene que hacer es aplicar una Norma y lo que lo que determina su implicación con el cliente es la el cumplimiento de esa Norma con lo cual el cliente no puede decir No quiero que audit esto estás contratado para auditar y Hay un procedimiento que hay que seguir lo que estamos haciendo con la i triplea esta organización internacional es crear precisamente Cuáles son las obligaciones de los Auditores para que no dependa de nuestra buena voluntad o de nuestro compromiso

con la igualdad en el en el mundo sino que tengamos como profesionales unos estándares que tenemos que seguir Cuando hacemos eso trabajo ese trabajo para que ningún cliente nos pueda decir esto que has identificado que me en lo que quedó mal quítalo del informe el informe estamos diseñando precisamente un un formato de informe muy claro unas exigencias de transparencia de partes de Ese de ese de ese de ese informe que el objetivo es que no sea el auditor el que decide sino que lo que decide es nuestra profesión cómo hacemos ese engagement con nuestro con

nuestro cliente con la principal diferencia de éticas ahora mismo es que formamos parte de una organización que nos que nos nos hace responsables a nosotros it holds Us accountable Nosotros somos accountable a la a la i tria que es la que crea ese ese ese ese marco después el tema de de La 144 yo estoy muy de acuerdo con el el enfoque crítico de de Jake y el resto de autores no Comparto el análisis que el análisis que hacen mi análisis y nuestro análisis y para mí la 144 fue un me abrió los ojos a

a la necesidad de separar métricas de modelo de métricas de impacto nosotros hasta entonces lo hacíamos conjuntamente hacíamos modelo y impacto y le damos le dábamos bastante valor a las métricas de de modelo Y Desde ahí nos separamos totalmente de ese camino y separamos la son dos auditorías diferentes y la importante es la es la de impacto lo que hace la la ley 144 es elegir una una fairness metric que se llama disp Impact impacto dispar que es una es una una una una métrica de Justicia que está plenamente plenamente aceptada que lo que establece

es cuando uno toma decisiones en base a una base de datos a las personas seleccionadas con atributos diferentes a La atributo mayoritario deben ser incorporadas como mínimo en un 80% de la ratio a la cual se incorpora os lo voy a explicar con un ejemplo si tenemos Si estamos haciendo una decisión de contratación como es la ley 144 lo que dice es si el sistema algorítmico selecciona recibimos 1000 currículums de esos 1000 currículums seleccionamos a 500 blancos los negros tienen que ser seleccionados en un Porcentaje que no sea el 80% menos de la selección de

los blancos es decir tenemos 1000 currículums 500 personas blancas el 50% de ese 50% de blancos seleccionamos a 50 pues la cantidad de personas negras por ejemplo que seleccionamos o podemos utilizar hombres y mujeres cualquier atributo no puede alejarse de ese 50 de es esa cifra de 50 en menos del 80% es decir tenemos que seleccionar como Mínimo a 40 personas no blancas no sé si se entiende es una fórmula ática tiene mucho sentido y lo que permite es que a nivel de métricas nos aseguremos que la distancia entre personas blancas y negras o entre

hombres y mujeres o entre lo que sea no está no está mu No está muy lejos qué ocurre esa métrica no tiene visibilidad sobre quién recibe el trabajo y lo que nos dice al final es que si inicialmente recibimos muchos currículums de personas blancas Imaginemos recibimos a un a a a 100 currículums de personas blancas y seleccionamos a 50 y dos currículums de personas de personas negras y seleccionamos a uno estamos seleccionando el 50% de ambas muestras Pero al final estamos seleccionando a 50 personas blancas y una persona negra con la ley 144 eso sería

justo con una auditoría de impacto eso no es justo porque los negros si en la población americana son el 20% los negros deberían Acercarse al 20% por de representatividad entre los contratados no entre lo que predijo el modelo que iba a ocurrir entonces hay una hay una hay una diferencia clave entre lo que la visibilidad que tenemos Cuando hacemos métricas de justicia en el modelo y lo que ocurre finalmente en el mundo real y esa distancia puede estar determinada por temas Ah de presupuesto por incorporación del human in the Loop por temas de supply Chain

porque hemos Utilizado una tecnología de terceros para hacer la primera la primera la primera selección y después tecnología de otro tipo para hacer la segunda selección que acaba con el resultado final lo que nos permite auditoría de impacto es medir los atributos de las personas que forman parte del proceso de toma de decisiones medir su relevancia en diferentes modelos y establecer cuándo están perdiendo esa relevancia y ahí poner la responsabilidad del Cumplimiento en en en una fase concreta que puede ser técnica sociotécnica o totalmente social y y organizativa mi gran crítica con con la ley

144 es que da un certificado de justicia de fairness de equidad a sistemas que pueden ser profundamente Ah no igualitarios como el caso que he comentado tú puedes contratar a 50 personas blancas y a una persona negra y con la ley 144 puedes tener un un certificado de de justicia y equidad Estamos medio sobre la hora pero una pregunta más por ahí que no preguntaron Hola eh muy breve para no quitar mucho tiempo eh quizás para Mercedes pero si alguien más quiere lo puede responder y es si es que dentro de esta mirada comparada que

han tenido eh han encontrado eh Ya deberes de transparencia eh algorítmica puestos de manifiesto quizás no si si no legislativamente por lo menos de casuística que ya que ya se haya Producido Hola e no puntual o sea yo por lo menos no he visto en protección de datos personales es un algo que nos quedó por fuera del slide porque nos pasamos pero vemos s mucho ahí proyectos de Inteligencia artificial que por el momento propio de la región creo yo eh nunca terminan de probarse o no siguen pierden estado parlamentario entonces más en el marco de

Inteligencia artificial se reclama como est de forma específica talz principio transparencia Algorítmica eso sí lo yo lo he visto en en el proyecto de Argentina creo que está en en Brasil bueno en Brasil y creo que en Perú hay una hora que también eh si no me equivoco Exacto sí totalmente o sea yo comparto con vos tal vez Gema o Humberto nos pueden tal vez aclarar algo tal vez su experiencia también en cuanto a que era un poco también mi pregunta que después avanzamos pero a Gema y a Humberto Porque creo también que en toda

esta Discusión es muy de como el mundo de lo que deberíamos hacer y lo que hacen las empresas como que nos cuesta hacer como una sinergia entre respetar los derechos 100% que Los vemos en papel no no de forma peyorativa sino tipo que estudiamos y lo que las empresas hacen o están dispuestas a hacer porque también podríamos decir que hay empresas que podrían hacer más y no lo quieren hacer o es un no sé eligen llevar así sus negocios pero justamente Con la transparencia algorítmica creo que es algo que nos lleva a ese a esa

duda Okay Está en la ley y me obligan a tener transparencia algorítmica cómo lo cómo lo implemento Cómo hago sin dejar sin Mostrar secretos comerciales sin estar no sé incumplir un contrato con mi proveedor de servicios eh creo que es un des que tenemos para adelante también peroo s si gem Humberto tal vez nos pueden decir algo también que es lo que hacen sí Mercedes eh Gracias eh para la Persona que preguntó casualmente en Colombia se ha utilizado mucho la Inteligencia artificial en la administración pública como lo señalaba existe una agenda Nacional de Inteligencia artificial

dentro de la Administración pública y casualmente hay un artículo que fue publicado en diciembre del año pasado llamado transparencia algorítmica y estado abierto en Colombia de Juan David Gutiérrez y Michel Castellano Sánchez Que presenta varios ejemplos bien interesantes sobre cómo garantizar la transparencia algorítmica ellos hacen una diferenciación entre transparencia algorítmica activa y transparencia algorítmica pasiva y lo que debe ser exigido al al respecto en otras latitudes fuera de América Latina encontramos todo el avance que ha tenido eh También España al respecto eh una visión que eh podría ser todavía mucho mejor pero como lo ha

señalado eh hecma Tenemos varios niveles de auditoría en lo que estamos haciendo sin embargo la agencia española de protección de datos tiene una guía sobre Cómo realizar eh auditorías Para agentes de tratamiento que utilizan o emplean Inteligencia artificial no en tanto es importantísimo no en tanto sin embargo es importantísimo dejar sobre la mesa como bien lo señalado hna Existen tres niveles de auditoría y ahí tendríamos que ver exactamente qu queremos evaluar Lo que sí es importante y recomiendo es lo que se ha hecho acá en en Colombia siempre señalado a Colombia como uno de los

países con mayor nivel de Progreso en esta materia en la región y en ese sentido podríamos tener varios elementos para eh replicar en cada uno de nuestros países Sí yo solo aportar como como como referencias en transparencia algorítmicas es un temazo es decir cómo aterrizamos esa transparencia algorítmica la buena noticia es que Cuando trabajamos de forma técnica muchas veces vemos que necesitamos menos de lo que pensábamos es decir para auditar por ejemplo ejemplo No necesitamos acceso al código que es un gran mito con lo cual muchas de las cosas que están protegidas por por IP

en las empresas en realidad no nos interesan para nada Son son partes de la construcción que a mí no me aportan valor para entender cómo ese sistema impacta sobre la población con lo cual Muchas veces cuando vemos transparencia de forma concreta vemos que es mucho menos exigente Ah en relación con las con las con las empresas como material de referencia Por una parte hicimos para el gobierno de España Reguló la transparencia algorítmica en las relaciones laborales y realizamos el la guía para el cumplimiento la guía del Ministerio de trabajo Ah para la transparencia algorítmica cre

se llama guía de información algorítmica Ah que Incorpora una serie de preguntas que los agentes sociales sindicatos y trabajadores pueden utilizar para saber qué es esa esa transparencia algorítmica y para preguntar a esas empresas y además recientemente el european de protection Board Ah hizo público por fin un trabajo que realicé con ellos el año pasado en el que hicimos una una checklist de auditoría algorítmica a es un trabajo antiguo pero creo que puede ser útil Pero hay dos cosas más hay una Hay una guía para de de scoring de algoritmos para crear una especie como

de nutris cor sellos visibles de cumplimiento Pero además uno sobre prospectos algorítmicos el prospecto algorítmico es es una idea que cogimos de del del ámbito médico Cuando uno coma compra un medicamento el medicamento viene con un papelito que Define a sus componentes clave el tipo de de de prueba que se han realizado Cómo tomarlo Qué hacer si algo va mal si Lo tomas y te encuentras te encuentras mal información clave para el farmacéutico y para el usuario para tomar esa medicina en condiciones de seguridad pues hemos replicado un poco lo mismo y en esa guía

del european Der protection Board que salió hace nada dos semanas hay una primera propuesta de ese prospecto algorítmico que lo que estamos viendo Es mucha hay mucha demanda por parte del regulador pero también muchas veces en relaciones b2b es decir la Primera víctima de la falta de transparencia algoritmo son las empresas que compran Inteligencia artificial no tanto el usuario como un gobierno o una empresa que quiere incorporar Inteligencia artificial para seleccionar personal Cómo sabe si su proveedor ha tomado las las acciones necesarias para asegurar que es sistema realmente funciona y que no le genera obligaciones

o liability legal Pues ese prospecto es ese ese mecanismo que facilita la selección de de proveedores con lo cual está viendo ya muchos pasos en transparencia algorítmica y yo creo que los ese esa idea del prospecto algorítmico de un de una una herramienta estandarizada que que Ah proporcion información clave sobre Cómo funciona un sistema sin entrar en detalles protegidos por propiedad intelectual creo que es el camino el camino a Recorrer genial gem Muchas gracias creo que está buenísimo y es muy importante que eso sea más conocido también porque es como decí alguien escucha eh transferencia

algorítmica y es el fin del mundo tengo que Mostrar todo voy a perer toda mi Inteligencia artificial como todo todo mi mi conocimiento lo escuchamos muchísimo Entonces está buenísimo que contemos esto y que cada vez sea más conocido y que tome más protagonismo Qué es efectivamente Y qué Necesitamos que No necesariamente es Mostrar todo mi Eh mi software o mi mi algoritmo sino cosas específicas y útiles Así que buenísimo Muchas gracias Bueno si no tenemos más preguntas estamos pasados 10 minutos y tenen que tomar el café y y pasar al otro panel Así que Les

agradecemos a todos y a los expositores Muchas gracias gracias a todos fue un gran placer Gracias Humberto Gema an