Inteligência Artificial na União Europeia: segurança, responsabilidade e limites

[Música] Olá sejam muito bem-vindos ao espaço Union um repositório eletrônico onde são disponibilizados conteúdos relacionados com o direito da União Europeia este repositório está associado a revista Union publicada pela hominho Editora em acesso aberto bem como ao centro de Excelência jamoné em cidadania digital e sustentabilidade tecnológica City Um centro de ressonância que nos foi atribuído pela comissão europeia em outubro de 2022 e que tem o gosto de dirigir no âmbito deste centro de excelência jamonet serão desenvolvidos e divulgados conteúdos sobre cidadania digital sobre sustentabilidade tecnológica sobre proteção de direitos fundamentais Na década digital sobre a

inteligência artificial etc o formato que vão acompanhar hoje intitulas Júniors no Âmbito do qual um jovem investigador convida dois especial para com eles dialogar sobre o seu objeto de investigação o Júnior de hoje chama-se Thiago Cabral está aqui à esquerda E tem desenvolvido investigação em Inteligência Artificial e proteção de dados pessoais o Thiago Cabral é doutorando em direito na Universidade do Minho também leciona e exerce advocacia atualmente em Bruxelas sobre esses temas e convidou para dialogar com sobre o seu Tema de investigação convidou dois professores da Universidade domingo o Episódio de hoje intitulas inteligência artificial

na União Europeia segurança responsabilidade em limites porque o Thiago Cabral está preocupado com a regulamentação da Inteligência Artificial e com a proposta de regulamento da União Europeia neste sentido e portanto tem como convidados o Professor Francisco Andrade da escola de direito da Universidade Da Escola de Engenharia São relacionamento conhecidos o Professor Francisco Andrade dirige o mestrado em Direito em informática E além disso é o responsável local pela organização da conferência internacional sobre inteligência artificial e direito e caiu que vai acontecer pela primeira vez em Portugal de 19 a 23 de junho de 2023 ficam já

todos convidados e o Professor Henrique Santos é presidente da comissão técnica CT 136 segurança em Sistemas de Informação que ele também pode nos explicar do que que se trata e é presidente da associação portuguesa para proteção de dados a PPD appd é assim muito obrigada a todos e também e quem nos está a acompanhar eu vou passar a palavra o protagonista do dia que é o Tiago Cabral e por James Se necessário na minha qualidade de moderador e orientadora do Thiago Cabral coisa que faz Com muito gosto Thiago por favor muito obrigado Professora Muito obrigado

Ilustres convidados por partilharem esta conversa certamente muito interessante que vamos ter eh sem sem mais demoras eu lanço já o primeiro desafio que é Um Desafio amplo de saber o que é que os senhores professores consideram relativamente a regulamentação em sentido amplo no fundo Quais são os princípios norteadores partindo do conceito da Inteligência Artificial de confiança que consideram que devem estar na base daquilo que é Regulamentação da inteligência artificial em limite Se quiserem ter uma opinião menos Ortodoxa Será que precisamos de nova regulamentação sequer passo a palavra aos senhores professores sobre esta difícil automática posso

começar eu vou começar por quebrar aí uma expressão que eu disse falou em Inteligência Artificial de confiança e eu vou partir isso é em duas partes de um lado artificial e depois Saber se é de confiança ou não obviamente que nós andamos a falar da Inteligência Artificial e muitas vezes nem sabemos exatamente o que é que andamos a falar e o que é que é inteligência artificial Eu por exemplo no meu no meu automóvel tem uma característica muito simpática já não tem como preocupar com as luzes porque quando fica mais escuro entram ou não ele

acende as luzes mas isto é inteligência artificial não isto não Sensores são sensores Portanto o conceito interrogação especial para mim é outro necessariamente Terá que se relacionar com o facto determinados programas ah terem uma perceção de um determinado ambiente ter entrado os objetivos atribuídos e em Face em função dessas objetivos eles vão atuar eventualmente estratégicamente para atingir esse objectivos com conjunto de capacidades e uma delas eh é fundamental Para mim que a questão da Autonomia e se quiserem dar aprendizagem eh nós temos hoje uma proposta de regulamento eh para a inteligência artificial que tem a

vantagem de ser uma proposta Até voltar a ser uma proposta e é bom que aparece uma proposta de regulamento artificial têm a vantagem de trazer algumas ideias muito interessantes até a vantagem de apresentar uma definição de intolerância artificial que me parece que é uma definição um pouco vaga um Pouco genérica baseada abrangente não faz aqui aquela extensão que eu costumo fazer entre aquilo que é um paradigma de computação estás Agentes do software que tem a tal autonomia tal capacidade de aprendizagem a tal capacidade de atuar de acordo com os seus objetivos para atingir também os

objetivos eh não distingue isso dos meros objetos de programação enfim eu vou sempre o exemplo de um objeto de Programação o célebre no comércio Eletrônico em que eu mais a tu não é célula ferramenta do intercâmbio eletrónico de Raso e ideário eletrónicas que já existe desde os anos 90 século passado e em que efetivamente a máquina à toa de acordo com premissas Ah se acontecer isto então ah consequência é aquilo Ah e e a toda de acordo com o regras do programação que foram definidas à partida e não se afasta dessas regras ah a questão

social não é Isso entre as artificial tem efetivamente a tal sociedade de aprendizagem e de adaptação e vai evoluindo eu posso ter dois programas exatamente iguais no primeiro dia e a partir do segundo dia de acordo com a experiências que eles vão tendo e as aprendizagens que vão fazendo podem ter comportamento totalmente diferenciados e portanto vamos ter que nos habituar a Viver a viver com eles é possível regular é possível regular Alguns aspectos E desde já depois vamos falar pensa que vai falar mais tarde sobre isso há aqui alguns aspectos em que ah a proposta

do regulamento é positivo é claramente positivo nenhuma ele quando me falam na confiança eu não tenho confiança nenhuma artificial eu acho que nós vamos ter que viver com ela e vamos ter que ter alguma regulamentação relativamente a ela a regulamentação tem que ir mais além e a comissão pessoas perfeitamente E isso Tem que ir mais além do que esta proposta do regulamento artificial e aqui um aspecto que é absolutamente fundamental que é a questão da verão um regime de responsabilidade para os atos praticados por Inteligência Artificial porque efetivamente nós aí estamos num enfim não posso

sem fundo não temos nada não é portanto obviamente que os dois regimes a proposta de regulamento e agora há uma proposta de Directiva para os atos das artificialmente complementares e tem que ser e tem que ser encarada em em conjunto Não não pode ser de outra forma ora confiança e teremos dentro do momentos um uma oportunidade para discutir a questão da responsabilidade a exaustão ah portanto Muito obrigado professor de facto uma resposta bastante esclarecedora sobreposição do professor nesta matéria eu eu vou fazer um exercício semelhante ao que fez o o meu Colega Francisco antes de

eu queria agradecer o convite é um enorme prazer estar aqui convosco é uma iniciativa muito interessante e eu acho que contributos deste gênero são fundamentais para sermos capazes de explicar melhor todos estes fenómenos não é o meu colega Francisco já deu aqui uma já fez aqui uma uma introdução bastante interessante sobre a temática eu vou também desmontar a confiança separar a confiança da Inteligência Artificial isto porquê porque a confiança eu ligo a segurança assenta muito na confiança também e a confiança é uma coisa que depende muito das pessoas ou existe custa muito a perceber o

que é que é um sistema de confiança ela é confiança para determinados se os parâmetros não estão definidos Eu Tive o cuidado eu não liso austivamente a proposta de regulamento mal de mim não tive tempo Mas eh nem nem nem nem tenho Uma capacidade para interpretar aquilo o documento daquela densidade mas o que vi eh deixou-me um pouco desconfortável porque define muitas coisas que são parmentarizadas não são definidos os parâmetros uma delas é confiança não é vamos aqui à Rua encontramos já à beira não semáforo Smart está amarelo vai passar para vermelho há duas ou

três pessoas que atravessam a estrada na mesma as outras não atravessam porque é uma questão de confiança a pessoa que Já tem mais confiança na sua agilidade na sua iniciativa ou seja o que for corre um risco maior aquela que não não tem essa essa perceção Qual é um risco menor e não não vai atravessar a estrada Isto é um exemplo muito simples não é mas que delimita muito a nossa utilização das tecnologias porque as tecnologias inspiram mais ou menos confiança e sempre que vem uma nova tecnologia embora não possamos dizer que as tecnologias seja

exatamente novas não São elas elas trazem esse esse nome não atrás portanto pessoas que vão confiar mais e vão usar mais pessoas vão confiar menos vão usar menos mas não existe essa noção de confiança em absoluto A não ser que tenha uma caracterização muito muito muito detalhada ou ou caso de aplicação muito específicos portanto eu li no rolamento a questão da confiança porque chamou-me a atenção e Fiquei sem perceber o que é que com aquilo completamente tá bem a questão do regulamento a questão do rolamento para inteligência artificial é uma ferramenta e não é nova

porque ferramentas e lei que lenta lei que se todas estas plataformas tá não são mais do que ferramentas de processamento e armazenamento de informação para o outro lado o que é que precisa de regulamentação é a ferramenta ou Material a matéria com que a ferramenta trabalha porque assim artificial que está a fazer é conseguir relacionar dados mas que são Dados estão aí esses dados são legítimos eles deviam ter sido tirados eles deviam ter sido armazenados a inteligência artificial que está a fazer em relação muito mais depressa do que aquilo que nós imaginavamos mas qualquer pessoa

poderia fazer essa relação será essa relação já Sendo aos dados que as ferramentas de Inteligência Artificial são a sede Então tá aqui um problema de falta de regulamentação é nas infraestruturas de dados que nós nos habituamos a recolher trazia aqui um exemplo que foi foi mesmo ontem e ainda falta de regulamentação é evidente um colega meu fez-me uma experiência interessante iguaizinhos sem qualquer diferença esteve a analisar a atividade destes Computadores assim que foram iniciados o Windows XP acedeu a um site de update supostamente já não estaria a trabalhar mas ainda trabalha o Windows 11 acedeu

a centenas ou milhares sites para os quais trocou a informação que informação mas claramente aqui uma teia de informações que estão a ser partilhadas e a ser acedidas e onde é que está e depois vamos querer que as ferramentas Não aceitam isto elas não acedem de uma forma ou de outra chamem Inteligência Artificial sai melhor inteligência ou especulação artificial é melhor mas essas ferramentas vão aparecer portanto regular a ferramenta sem regular sem organizar o que está por trás da frente porque é um perfeito disparado mas enfim é apenas a minha a minha opinião em permitam-me

que em teoria teríamos alguma regulamentação Com base no Regulamento geral sobre a proteção de dados mas que nós sabemos que muitas vezes fica a quem na prática Mas podíamos falar aqui mais do que ora sobre isso portanto Agradeço também eh sobretudo Thiago se me permite porque o regulamento geral de proteção de dados regula sobretudo os dados que são facultados pelo titular dos dados não regula os dados em feridos é uma coisa completamente diferente o nosso grande problema hoje são os dados em feridos a Partir das pegadas digitais que nós vamos deixar E isso não tem

absolutamente contra nenhum por enquanto e o rgbt tentou regular de alguma forma as decisões automatizadas no seu artigo 22 mal não está a funcionar e portanto é um problema ou seja temos a ilusão de regulando os dados isso em última análise fica tudo tratado não é verdade precisamente por isso que estava o Professor Henrique a falar Posso Quando eu falo que é positivo uma proposta de regulamento temos aqui que considerar um conjunto de realidades e de propostas e de soluções eu não estou só a pensar nos lados Isso é uma outra questão que é fundamental

aqui uma questão de quase não se fala que e que é determinado que a qualidade da informação que chega né mas eles nem sequer estava a pensar nisso estou a pensar eu não conjuntas outras questões enfim que teremos aqui oportunidade de Falar como por exemplo a questão do princípio da Transparência que realmente me parece muito pertinente mas isso o professor sabe que a qualidade dos dados raramente se fala mas nós vamos falar dela aqui já na próxima pergunta sempre sempre é Inovar porque de facto como como professor acabou por por bem avançar Ah o regulamento

a proposta do regulamento sobre a inteligência artificial efetivamente não tem algumas normas sobre a gestão de Dados sobre data 7 sobre conjuntos de dados eu vejo vejo vejo que provavelmente propostas não inteiramente populares eh mas uma uma das propostas que é a proposta de regulamentação ou seja eh nos traz é que os datas 7 têm que ser por exemplo isentos erros e representativos isto tem sido francamente criticado por ser impossível na prática e por serem impossível de garantir para qualquer entidade com recursos ilimitados Portanto vamos falar Um bocadinho se calhar aqui dessa questão Como podemos

garantir a qualidade dos dados Sempre escrever aquilo que é e realista digamos assim eu tenho muita dificuldade é é responder esta questão mas acho que há aqui uma distinção que claramente tem que ser feita [Música] uma primeira fase essa sim relacionada com o produtor original da ferramenta em que infelizmente a toda Uma fase de testes ensaios e de informação que é introduzida na máquina E aí obviamente que quando a máquina é lançada quando a ferramenta é lançada no mercado para ser comercializada pelos futuros proprietários ou titulares de direitos de utilização sobre a marca essa ferramenta

especial nesse primeiro momento da produção original é possível fazer um conjunto de teste e verificar os dados e verificar a Qualidade e ter a certeza que tá todo dia acordo e que todo o funcionamento é um funcionamento correto relativamente ao fim a que sucedena a partir do momento em que será a entrada no mercado para mim é é claro e que tem consequências em termos de responsa nsabilidade é que o produtor perto completamente contra máquina passa a ser utilizadas pelos seus novos proprietários ou ou detentor ou utilizadores eh e portanto há aqui uma Quebra essas

duas frases a fase de teste a fase original de produção original e a fase de utilização já Depois da sua comercialização devem ser separadas devem ser separadas não a primeira fase de teste é possível mais facilmente a segurar que está efetivamente que há todo um conjunto de elementos que estão a funcionar corretamente e que os dados são corretos Depois temos aqui um problema que eu costumo na brincadeira que estão a dizer ah a partir de Terminar a altura pois Nós não sabemos ah interessa artificial têm interações com muitas pessoas e com outros temas e Nós

não sabemos mais companhias ou não e portanto obviamente que isso depois não é problema de quem tem os direitos da utilização do sistema de transar social mas obviamente que a partir determinada altura há uma empresa igualdade muito maior relativamente às informações que a máquina tem eu posso falar eu estava a Falar aqui num caso que foi um caso enfim já lá vão 10 anos e e foi um bocado que foi abafado porque tinha porque por profissões brutais ah ao nível do sistema financeiro Mundial que foi o caso night captou em 2012 Ah enfim com uma

uma maquininha que comprava e vendia a ações em bolsa não é E durante três anos o capitão o grupo teve lucro da história nómicos astronômicos como nunca tinha tido para um negócio à velocidade Da luz sete dias por semana era Fantástico 24 horas por dia 7 por semana e a partir de determinada altura houve um dia de agosto de 2012 em que em 45 minutos apenas a máquina perdeu 400 milhões 400 Milhões de Dólares em 45 minutos e eu lembro de ter visto na altura uma notícia do do New York Times dizendo que a Father

e abrir um inquérito para tentar perceber o que é que o que é que o que é que o que é que tinha passado Mal o que é que tinha acontecido mal para para produzir aquele resultado exato e e eu por um lado fiquei todo contente com a notícia fiquei toda contente com a notícia porque era a prova aprovada que aquilo que eu estava a escrever não é ficção Não não é ficção científica existe é um facto curiosamente esse sistema foi falado no Brasil na na vossa São Paulo Dois Anos Depois deste desastre ah ninguém

falou do assunto Mas nós temos que falar porque efetivamente eles eu eu acho que sei o que é que se passou mal Acho que sei porque é que as coisas acontecem e têm mais uma vez com a ver com a informação que chega à máquina isso é informação for toda correta grande qualidade a máquina correto menos euros humanos se problemas com a qualidade da informação a máquina vai cometer erros e eventualmente servem sempre muito mais graves do que aquele que seriam Competidos por humanos e portanto esta é um ponto de qualquer forma isso nos levam

uma questão filosófica não é que nós estamos diante de uma tecnologia que Quem produz não a controla ou seja nem a própria Inteligência Artificial sabe como é que chegou um determinado resultado não é e portanto nós temos instrumentos para temos né para conviver com isso eventualmente temos exatamente temos eu penso que nesse aspeto Esse é um dos aspectos muito positivos da Proposta de regulamento para a intervenção artificial enfim que é a possibilidade de restariamente do funcionamento eu acho e agora para fazer a defesa da confiança entre aspas que a necessidade de se introduzir confiança nesse

discurso tem a ver com preocupações éticas não é portanto de ética aplicada inclusive mas vamos tiveram tempo ainda voltando mas de qualquer maneira só só uma crítica à Proposta de regulamento por um lado tem essa vantagem que me parece muito bem eh um princípio de Transparência de rastreabilidade das operações da máquina por outro lado ao definir eh os sistemas de elevado ao risco isto estranhamente não há uma única referência à à utilização oficial pelas instituições financeiras e e e essa própria rastreabilidade tem limites mas de todo mal ainda já é alguma coisa eu confesso francemente

cético Relativamente àquilo que é o leque de sistemas de Inteligência Artificial de elevado o risco que se encontrou hoje no regulamento mas é outra das coisas que poderíamos falar se teremos a oportunidade de falar na outra série provavelmente infelizmente mas mas passo agora o Professor Henrique porque na verdade eu estou bastante curioso de ouvir a sua opinião porque pronto é a opinião do ponto de vista técnico eu percebo eu percebo E eu também também acho que há necessidade que eu regulamento tem a borda aqui algumas questões do ponto de vista técnico são são necessárias concordo

inteiramente com isso agora mais uma vez pegando até na nesta nesta última vertente da definição da obrigatoriedade de fazer uma gestão do risco na classificação e na manutenção do sistema do sistema informático isto é uma Utopia completa e o regulamento mais uma vez a proposta de regulamento Mais uma vez é o omissa em alguns aspectos que são fundamentais porque a gestão do Risco e nisso regulamento insisto bastante na questão do valor da informação é subjetivo o valor vamos olhar aqui muito simples um número de telefone é um número de telefone tem um valor ritmo mas

o número de telefone do presidente da república e estamos a falar do número do telefone não estamos a falar de um objeto diferente Estamos a falar do mesmo objeto que tem um atributo diferente que é o dono já tem um valor completamente diferente Portanto o que é que afina o valor dos dados são a natureza dos dados ou quem eles pertencem e nisso regulamento não não rolou nada diz apenas que é preciso fazer classificar os dados como muito críticos ao pouco críticos está lá Quais são as classificações que aparecem e é preciso fazer uma abordagem

pela Gestão de Risco Estendo o risco tem duas componentes é realmente uma componente tem a ver com o valor dos dados é fundamental mas tem outra que o rolamento esquece que é a probabilidade da ocorrência de problemas incidentes ou ataques ou seja logo o que for relativamente que afetam esses dados só é a combinação da probabilidade da ocorrência de um incidente com o valor que vai definir o risco basicamente é isso e portanto a definição que é dada no regulamento Sobre o que é o risco e a classificação dos dados é é útil é necessária

mas é muito muito tá Muito muito demasiadamente ao ponto de que quem for minimamente especialista nesta área desconfia da Bondade de quem está a tentar regular uma coisa uma maneira tão Leviana digamos assim sem querer desativar de uma forma mais mais forte portanto esse aspeto da da confiabilidade e esse aspeto da Gestão De Risco sérios sobre os dados Voltamos já à primeira questão não é isso é impossível fazendo a prática nós tentamos resolver isto há 20 anos em Silver segurança ainda não conseguimos resolver temos Algumas propostas Agora falta aqui uma coisa importantíssima que eu realmente

também fala se calhar o Tiago vai voltar a falar nisso mas que está relacionado com isto que é certificação porque aí sim aí isto era muito Importante e aliás normalmente fala nisso também também invoca mais uma vez que é necessário pô mas quem anda na certificação percebe uma coisa que é fundamental e que saí isso não existe certificação são métricas nós temos que saber de vir alguma coisa para poder restringir para poder regular nós temos que saber medir ele até mesmo para monitorizar um sistema informático normal tem cerca De meio milhar de métricas possíveis que

podem ser medidas para inferir sobre o funcionamento do comportamento do sistema vamos pegar as 500 métricas que estão disponíveis e tentar fazer delas entre essencial pode ajudar a equipa Porque tem uma capacidade muito mais rápida de relacionar mas sem sem sabermos O que é que vamos medir e para que que vamos medir Vamos andar aqui um bocadinho Ok é uma definição política Se quisermos É uma obsessão muito geral muito genérica sobre a coisa mas depois na prática na área da Medicina na área de direito na área administrativa na área privada vai ter que ser regulada

outra vez e isto vai causar aqui um hiato tempo enorme não sei quanto tempo é que isto vai demorar a acontecer não é relativamente ainda só para terminar as tecnologias usadas em em social o rolamento também não parece que faça uma separação Evidente entre o que é o que São os temas que exploram conhecimento e aqueles que apenas apoiam a decisão porque que aos que apanhou a decisão E que se fazer baseios muito em dados que aliás realmente refere como estatisticamente significativos só existem em factos que são frequentes que acontecem sobre esses é que existe

estatística sobre os outros dados que são de natureza probabilística não há dados estatística portanto significativos e portanto não podem ser Usados no entanto as ferramentas da Inteligência Artificial estão preparados para usar alguns algoritmos ou seja algoritmos que provavelmente numa área da saúde já são usados vale a pena penso que não eu não vou cometer aqui nenhuma nenhuma realidade se eu disser por exemplo na na na na área onde os resumientes entram naquelas o estado crítico daquelas naquelas áreas mas nas unidade intensivos à máquinas que avaliam o estado os sinais indicadores Fisiológicos as pessoas indicam se

vale a pena ou não manter ligadas tipo assim é é perigoso porque deixa atrás parecer uma ideia de que estamos dependentes uma máquina não a máquina que faz uma uma análise daqueles dados e dá uma sugestão Mas há um médico responsável que vai tomar a decisão não vai ser a máquina que vai tomar essa sessão acho eu espero eu e e assim espero que continue não é mas estes dados são estatísticamente e aqui é Possível recolher a informação estatística objetiva mas não consigo lembrar de 1001 situações em que isso não existe não é e eu

não sei exatamente como é que isto vai encaixar num regulamento desta maneira não consigo ver isso Sinceramente não consigo portanto Resumindo e continuamos a ser algo de decisões desta natureza cotidianamente agora Resumindo a natureza da função da intercessão artificial se ela for só de Apoio à decisão ou se for explorativa então isso deve ser roubado de uma forma ou melhor aí sim eu penso que deve haver limites à utilização sem dúvida outra coisa que é a natureza impositiva ou a natureza colaborativa do sistema de Inteligência Artificial se ela for colaborativa eu olho para o resultado

E por exemplo posso pegar na máquina ou sei lá uma máquina diz lá onde é que eu devo passar as férias e ela me faz mal eu não vou nada é uma decisão minha mas Eu não vou é completamente diferente da máquina de dizer assim olha vocês esteve ontem no banco de Portugal então tenho aqui uma impressão biométrica sua falar comigo e eu digo desculpa alguém por trás que me diga assim Eh pá não podes dizer que não porque a máquina diz sim claro estiveste eu aí vou questionar a máquina e vou questionar a máquina

e todos os princípios estão subjacentes e a utilização da máquina Será que ela tem dado suficientes para inferir que eu estive lá será que é que eu tenho eu tenho testemunhas que não estive Isto vai levantar um problema desse desconfiança na tecnologia e na hora não é portanto há aqui muitos limites que tem que ser assumidos agora ele quer que eu tenho o que é que eu tenho esperança bom eu tenho esperança que realmente a razão cai sobre os seres humanos e que percebam duas coisas fundamentais nós Estamos a regular um bocadinho ao lado regular

os dados do que as ferramentas ponto número um ponto número dois eu nunca consigo falar disso sem me lembrar de uma uma informação que eu tive acesso e que achei interessante lindíssimo 50 anos ou sete anos depois quando o primeiro carro foi foi criado o primeiro automóvel onde a altura as pessoas colocavam-se com carroças cavalos e carroçinhas o Primeiro acidente de automóvel o estado comentado o primeiro acidente mortal primeira vez que um automóvel escolheu uma pessoa e matou e nessa altura os jornais E todos os temas de informação vieram colocar em causa a perigosidade dos

automóveis e o fabricante os automóveis o principal fabricante nos Estados Unidos veio a Paulo fizeram descansados nós vamos rever isto tudo e vamos garantir que isto nunca mais vai acontecer Faz sentido Não é faz sentido hoje nós vivemos com os automóveis com todos os acidentes que temos diários que nem vou invocar o número porque era uma forma de começar a ver mas convivemos com isto naturalmente qualquer problema nós começamos por regular os dados através do rgpd na União Europeia depois percebemos que isso não basta e portanto fomos fomos fomos regular os modelos de negócio outra

vez Do regulamento dos mercados digitais e serviços digitais etc mas o que é que o Henrique está aqui a dizer que é preciso regular a tecnologia em si mesmo é infraestrutura é isso a tecnologia tem que ser certificada ela tem que ser certificada sobretudo estivermos a falar de coisas com mas a certificação obriga a ter objetivos muito bem definidos ela tem que ser assim não vale a pena regular não vale a pena ela tem que ser certificada não é Isso é um costume dizer na minha opinião é o que deve ser feito agora esta outra

questão de nós termos que encarar o futuro uma forma diferente hoje estamos aqui a falar sobre isso se calhar daqui a 5 anos demos aqui falar de outra tecnologia qualquer e a inteligência artificial já está já está entre nós a cometer os enganos que supostamente vai cometer e que já toda a gente convive com eles naturalmente não é portanto são dois é o aspecto de Habituação que nós o ser humano tem essa tem essa capacidade não é isso é um aspecto outro aspeto é sobretudo em Sistemas críticos Obrigado já à saúde Obrigado já as Finanças

ligados a muitos deste aspectos Aí sim a certificação é muito importante saber até onde eu consigo e aquilo que eu não sei certificado deve ter ou humildade dizer não é que não vão meter porque o isto não sou capaz de certificar e seria muito interessante Perceber neste momento com o conhecimento que existe porque o certificado não não para além do conhecimento da ferramenta e das tecnologias obrigam o conhecimento do fundo do contexto esse conhecimento Não está não existe não existe Aliás quando começamos a falar sobre existirem dados cuja natureza cuja influência cuja o conteúdo não

são sobrejamento conhecido não é estamos Exatamente a falar sobre isso outros conhecimentos sobre o contexto como é que eu vou certificar uma coisa sobre a qual eu há uma parte que eu não conheço eu não tenho se eu tivesse solução nos últimos anos na comissão técnica tínhamos feitos normas e tínhamos feito normas a certificação ou pontapé não é isso são coisas que vão evoluindo naturalmente e portanto aqui também vai haver agora eu gostaria muito mais interessado do lado da comissão europeia Numa Norma não rolamento em direção à certificação do propriamente em direção à relação de

uma ferramenta ou no contexto das utilizações do sistemas que não podem ser regulados haveria também a necessidade de aceitação social de um risco nós não temos as métricas nós vemos que estes podem ser os benefícios vamos ter de aceitar um nível de risco superior é de facto interessante até do ponto social e do legislador de pensar de pensar nessa Nessa questão eu vou passar para a próxima também é uma questão bastante interessante e e difícil e sei que que é uma questão que é caracliarmente ao Professor Francisco que é a questão da responsabilidade mas será

o Professor Henrique a começar a responder eh vamos aqui vamos aqui trocarmos aqui trocar trocar a ordem Ah para para termos uma resposta de cada um mas como nós sabemos ou uma das questões Que foi mais explorada e que foi explorado mais a exaustão e a mais tempo Porque o Francisco Andrade fala dela há décadas dos Pioneiros Ah foi no fundo da questão da responsabilidade pelos danos causados pela Inteligência Artificial E permita-me aqui as aspas pelos sistemas de inteligência artificial várias propostas foram aventadas umas mais realistas que outras desde responsabilidade da entidade fornecedor desenvolvedora ah

ou à empresa à Entidade a organização que utiliza os sistemas de Inteligência Artificial utilizador até a responsabilidade da própria máquina do próprio sistema a união europeia veio recentemente complementar o regulamento inteligência artificial com uma proposta de directiva sobre a responsabilidade no conjunto no contexto da Inteligência Artificial que vem também atado uma nova proposta diretiva no contexto da responsabilidade do Produtor A questão é como regular esta questão Quem deve ser responsável devemos aqui limitar de alguma forma responsabilidade por exemplo das entidades fornecedoras que desenvolvem de forma eh não criar um desfile infecto um efeito regressivo na

inovação há aqui uma solução na vossa opinião eu vou fugir essa pergunta e vou deixar que seja o Francisco responder no entanto porque isso é alguém que ele se sente Muito mais à vontade do que eu mas vou vou simplesmente e até para para preparar a resposta dele vou complicar um bocadinho mais a pergunta mais ainda complica ela mais porque é assim eu vou juntar a isso essa preocupação da responsabilização Uma clarificação De quem é o responsável OK poderá ser o responsável pelo sistema que é tão complexo que ninguém percebe como é que ele funciona

Vamos tentar desmontar isto rapidamente Francisco é só dois minutinhos e que é assim eu hoje ainda hoje ainda ontem estive com os meus alunos eles estão a fazer estão a acabar um sistema de Trekking fazer o tracking pessoas através do vídeo através do através de vídeo portanto há uma câmara de vídeo uma pessoa entra na cena é feito o tracking que sabe exatamente onde é que ela foi registrado depois com isso eu consigo saber quantas pessoas entraram saíram Quais foram os percursos são repararam não pararam tudo a noramento atenção na privacidade tá garantida não é

reconhecimento facial é para quem pessoas mas não é isso é eu contei e porque a minha preocupação é isso segurança portanto não é tanto nessa componente mas o problema é o mesmo eu contei cerca de 200 bibliotecas que aquele sistema integra e que vai em quatro lados do mundo quem é que é o responsável por isso quem Pode ser o responsável por isto é que os temas informáticos que nós temos hoje não foram feitos mesmo que seja feito pela Microsoft tem componentes que a Microsoft não faz ideia nenhuma de onde vocês podem dizer assim então

paramos separamos vamos comprometer um princípio fundamental da engenharia que é não Reinventar a rosa é que se vamos cada vez construirmos um sistema vamos voltar a criar desde o princípio nunca mais saímos aqui A própria inovação assenta muito nesta reutilização Ok mas como é que é sistemas que nós estamos a herdar com 200 bibliotecas como é que eu garanto que eles fazem aquilo que se diz que faz é impossível não há forma de fazer isso e as técnicas têm evoluído nos últimos 50 anos nesta lógica portanto as duas ou dizemos assim este princípio de evolução

não é válido para sistemas muito críticos e portanto não vai ser Usado Então vamos pôr do lado da Inteligência Artificial e tudo mais para sistemas críticos já então vamos aceitar o risco E aí a responsabilização vai ter que ser devidamente eu não sei resolver isto sinceramente Tiago não sei tenho a minha opinião mas até vou omitir um dia a dizer porque a minha a minha opinião está está já está já condicionada porque em Silver segurança eu sou muito crítico muito crítica e eu tenho muita Dificuldade em lidar com alguém numa profissão em que há supostamente

um conjunto de valores éticos alguém que faz um produto que sabe que vai para o mercado com erros que é o que acontece os utilizadores vão são eles que vão detetar esse gelo e mandam para trás para ser corrigido isto é uma lógica de funcionamento que é para mim bastante bastante crítica E é assim que a coisa funciona não é Inclusive ela não vai ser exceção porque ele tá a usar sistemas de informático que se fazia Nos vemos no princípios e só juntar mais uma o Francisco há bocadinho referir bem que os temas quando são

construídos social são metidos no mercado e mudam de estatuto blá blá blá blá blá só que hoje nós temos Graças temos os serviços de Claude em que nós podemos ter um prestador de serviços Inteligência Artificial apressaram o Serviço é outro quem quer responsável Eu não sei responder e passa passa a palavra ao Francisco que aqui tem muito mais autoridade do que eu mas é é um problema interessante o eterno o problema do parafuso que falha no avião e é um basta um elemento para criar de facto um erro e de quem é responsável por São

Francisco o palco por dizer que efetivamente enfim começamos aqui a falar Da intervenção artificial não estavas a falar nem de automóveis nada a ver estavas a falar embora os automóveis começa a integral também como é evento há aqui um aspeto que efetivamente foi muito Ah o que Tornado Muito mais grave não é isso é esse teu Alerta muitíssimo mais grande uma questão que foi muito debatida e contra a qual eu sempre levantei enfim que a determinada altura quase que se dizia que O produtor tinha que ser responsável mais ninguém era o produtor que tinha que

ser responsabilizar e eu sempre tive a opinião de que efetivamente o produtor pode efetivamente ser responsabilizado por aquilo que é o estado ah da máquina antes de ser colocado na comercialização pois a partir do momento em que passa a ser utilizado por terceiros que o produto totalmente desconhece não fazem minima ideia enfim Em que companhias é que anda à máquina não é é evento que aí comecei começamos a ter um afastamento cada vez maior do do Produtor roteamento ao comportamento da máquina e à respetivas consequências e pronto eu entendo que há aqui toda uma cadeia

que tem que ser tido em conta e que engloba o produtor na fase inicial depois o proprietário titular dos direitos da atualização da máquina como é evidente supostamente a pessoa que está mais em contacto com a máquina Mas depois há todo um conjunto de outras pessoas de outras utilizadores ou até externos de outros sistemas artificial com qual aquela máquina vai também vai vai interagir aqui toda uma cadeia de intervenientes que tem que ser analisado e eu entendo que deve efetivamente houver essa possibilidade de se considerar qualquer um dos intervenientes como eventualmente Responsável ora Qual é

a ideia fundamental aqui quer da primeira da resolução de 2020 do Parlamento europeu sobre a responsabilidade social quer agora esta mais recente do ano passado a proposta diretiva para a responsabilidades artificial aqui uma ideia muito clara a ideia de que há que garantir aqui um certo equilíbrio entre a satisfação dos direitos das vítimas Dos anos causados por intervenção artificial que tem que ser indenizado ou tem que ter a possibilidade de receber essa indenização Mas por outro lado o cara ter também que do lado da indústria que não há aqui um um regime que por isso

simplesmente impeça a Inovação ou ou ou leva os produtores a dizer se nós somos sempre responsabilidades somos só nós então mais mais lá no Pelo menos nada e ficamos por aqui e não ser nova não se Desenvolve mais nada essa essa é uma parte de fundo parece Claro há um equilíbrio que é difícil mas tem que ser tem que tentar atingir obviamente em termos de responsabilidade civil há aqui uma ideia de certa forma de aplicação tocou da responsabilidade pelo risco o proprietário O titular dos direitos de exploração da máquina utiliza a sua máquina utiliza máquina

seu benefício deve ser Responsabilizado por aquilo que aconteceu de corrente das utilização da máquina enfim e estás quase outra vez a equiparar aqui a utilização de produtos em todas as artificial com os automóveis os tratores enfim todas essas máquinas umas mais perigosas do que outras e a imensas contra atores Ah e mas não estávamos a falar da mesma coisa não estávamos a falar uma coisa De acordo com a minha visão dos aspectos positivos da propostas positivos claramente tem a proposta de regulamento artificial e onde ela já aqui falamos enfim essa questão da qualidade das interações

da máquina que não é total não é absoluta mas se existir pode ajudar pode ajudar bastante eu defendo o impensável ele defendo um esquema nem de responsabilidade Total responsabilidade pela culpa que muitas vezes o nexo Causalidade entre a intenção humana e a todos na máquina não é possível estabelecer nem de apenas recurso a responsabilidade numa responsabilidade pelo risco normalmente a cargo do titular direito da utilização artificial nos casos em que todo não se consegue descortinar porque é que a máquina a todo também da maneira Mas defende que deve ser possível Isto é mal para o

produtor para o proprietário para o titularização da máquina deve ser possível através da rastreabilidade das interações que a máquina teve deve ser possível utilizar esses dados para a pessoa sobre quem iria à responsabilidade de poder vir dizer a responsabilidade não é minha porque a máquina interagiu com o sistema a b c ou com a pessoa a b c e aqui claramente informações que foram introduzidas na Máquina que determinaram que terminar essa atuação no fundo uma presunção de responsabilidade iludível e obviamente que eu defenda a responsabilidade o que me chocou mais foi ver em alguns diploma

ganhar os documentos da União Europeia uma proposta quase uma responsabilidade pelo risco sem possibilidade de líder essa responsabilidade e portanto a minha posição é essa sempre que for possível através dos registros de terminar o que É que motivou a atuação na máquina quem transmitiu nomeadamente informações erradas à máquina porque por vezes existem e no caso nesse caso da bolsa Nova Iorque eu tenho quase a certeza que houve informações erradas que foram transmitidas à máquina que motivaram aquele desastre todo deve ser possível ir atrás dessas informações erradas e descobri quem é quem é que as introduziu

no sistema porque aí a questão da qualidade da informação tem que Funcionar ao contrário se a informação não é correta porque é que não é correta é quem é que isso se deve a pessoa ou ou entidade a quem se deve deve ser eventualmente responsabilizar há uma outra questão aqui enfim agora vou chocar todo o mundo porque tudo isto obviamente ah assentam numa ideia da responsabilização com uma noção de atribuição atribuir resultados da atuação da intervenção artificial a alguém Que não é a parte dos cara não faz ideia nenhuma porque é que a máquina toda

aquela forma mas mesmo no caso da atribuição porque enfim não estamos aqui eh deve dizer que eh em algumas recomendações do Parlamento europeu de 2016 e 2017 enfim inventava-se a hipótese de um estatuto jurídico para os robôs ou Estatuto dos jurídico próprio eh foi nesta proposta de regulamento nem sequer é considerada essa hipótese foi Completamente postulado não sei se disponibilizariamente definitivamente vamos ver mas foi para este lado mas mesmo no caso da atribuição eu penso que era muito útil algo que é muito difícil e que só será possível com uma interação entre juristas e engenheiros

da informáticas que é mesmo em relação à atuação da máquina poder atribuir Ou poder ser avaliado um determinado grau de culpa na atuação da máquina eu sei que andar muito tempo a falar do serviço vontade de software e as pessoas acham uma coisa um bocado estranha e Eu agora falo nos graus de culpa do software isto também é estranho mas às tantas era importante mesmo para defesa das pessoas a quem a responsabilidade é atribuída e que enfim podem estar até completamente inconsciente relativamente adquirir vida própria não é assim da tua Cabeça não é assim então

adicionar aqui 30 segundos são mesmo eu sei que já estamos com em cima do tempo Ah reforçar um bocadinho esta a importância desta clarificação até por uma própria natureza da daqui se tivesse espaço que nós temos Vamos chamar que que é na transmissão de responsabilidade Eu por exemplo um exemplo muito simples há uma máquina que está que eu sei que está Tratado de um processo qualquer eu Aqui de minha casa deixam instalado na universidade no meu gabinete na universidade qualquer na universidade entra nessa nessa VPN e começa a mandar dados viciados A partir dessa máquina

no fim de fazer isso de ter provocado os danos que provoquei Limpo completamente os blocos daquela máquina que eu posso trazê-lo conclusão alguém a polícia judiciária ou até Interpol vai conseguir Rastrear a operação até a máquina não enxerga agora quem comprou aquela máquina na universidade e mais responsabilizar a universidade é evidente dissemos assim ai a universidade não deveria ter permitido VPN mas pá mas a gente usa o VPN para 30.000 coisas assim contexto da investigação é uma ferramenta Ah que existem com capacidade para fazer isto ou se compacto a todos quer dizer ah aqui esta

ligação entre as pessoas e O estado ainda aqueles exemplos de biometria preocupa-me particularmente porque o não pude a enviar é um é um problema terrível não é mas a liga esta Esta falta de ligação entre os dados e as pessoas é quase impossível a não ser só os cuidados pronto mas essas também provavelmente não causam os danos agora o crime informático maior parte das vezes é impossível temos temos tempo pouquíssimo tempo mas logo Dois minutos para cada um para finalizar aqui para uma última pergunta que também é uma pergunta não não tão complexa com umas

restantes que no fundo no fundo estamos aqui falar do regulamento falamos da proposta diretiva falamos de regulamentação e abstrato mas eh regulamentação na verdade é necessita também de informe cita de ser efetivamente aplicado e nós temos visto com a regulamentação das novas Tecnologias que tem havido alguma dificuldade Nesse contexto Ah para os professores quais serão os maiores desafios das entidades administrativas Independentes dos tribunais em aplicar aqui as novas normas sobre a inteligência artificial de forma muito lata muito muito lata porque também poderíamos falar disso o resto do dia Ok então pronto é assim tão rapidamente

eu eu sem pensar muito na questão não é assim a flor da pele mesmo eu diria que Há aqui duas ou três dimensões que são bastante complexas Primeira heterosidade porque não só pelas pessoas nós temos pessoas com que compreendem que entendem que são capazes de interagir com as coisas e usá-las de forma adequada misturada com pessoas e elas não estão não estão não estão identificadas quando não se ele na testa a dizer Este tem competências aquele não tem competência portanto misturado Mas esta é heterogeneidade vai criar Problemas enormes porque há contextos em que a utilização

até pode ser revelada controlada e certificada há outros em que não claramente portanto é Um Desafio enorme depois é hipócrina do mercado que nestas todas estas coisas há bocadinho o Francisco também referiu e e e bem o Sapp playcente que nós temos a cadeia de de valor que temos hoje à volta da informação é muito diversa é muito é muito como é que eu vou atuar Em todos Estes níveis da cadeia de valor associada a estes temas também não também adivinho aqui uma série de dificuldade para quem vai tomar conta destas coisas ao nível ao

nível e sobretudo os lobs que vai ter que vencer não é porque é assim se eu fosse dono de uma empresa lá e ti e me disse assim ah você não quer desenvolver para aqui um um sistema inteligente para o carro da voz eu digo Ok até que ponto é que vocês querem que ele seja inteligente e seguro E eles dizem assim até ao máximo Ok então preparem-se vão apagadas ou três milhões de euros eu consigo fazer aquilo Atenção se eu quiser fazer uma coisa de raiz não vinha toda verificada toda testada para aquela finalidade

só vou gastar é uma pipa de dinheiro e agora os consumidores vão estar disposição certeza que não portanto há aqui um equilíbrio tem que se encontrar e o Regulador vai ter imensa Dificuldade em fazer o que é que é exigível Faça aquilo que é necessário para simultaneamente proteger e manter um negócio viável portanto Isso vai ser ui meu Deus vai ser uma dificuldade eu acho que isto vai acontecer isso vai acabar por ser reativo e não preventivo vão acontecendo as coisas vão se vai se reagindo E vais fazer também Francisco bom obviamente que antes vejo

Muitas dificuldades em termos da existência de uma autoridade independente possa ter uma atuação efetiva penso que mais uma vez enfim podemos separar aqui a fase a fase inicial da produção e dos Testes E aí pode haver algum acompanhamento ou alguma necessidade enfim de notificação a autoridade Independente com os resultados dos testes para poderem ser Verificados aí pode haver um um trabalho interessante de garantir enfim que quando o produto é lançado no mercado há há um mínimo de segurança o produto isso pode ser um um aspecto interessante depois na fase da utilização Ah será muito mais

complicado a uma intervenção útil por parte da da talidade Independente que ela é mais vai ter que ter aqui ah sabemos aquilo que acontece quando começa na sala de proteção de lados ah Neste caso teríamos um uma obrigatoriedade de ter recursos qual e Meios técnicos extremamente prendiosos que vai ser extremamente difícil que essas autoridades têm efetivamente o recurso para poderem ter uma atuação uma atuação eficaz há aqui uma hipótese que foi levantada que é interessante até certo ponto relativamente às métricas de eficácia determinados produtos e todas as artificial ou seja De garantir que nas suas

intervenções tiveram 90 e tal por cento do Sucesso nas nas tarefas que desempenharam mas como se vê no caso night capturar o grupo não é um um um um uma máquina que durante três anos tem níveis de sucesso brutais arrependemos de mental livre disso depois há aqui um outro aspecto uma parece que já ultrapassa a questão das autoridades independentes e que vais já mais para a questão dos tribunais da Justiça da prova ah e Da proteção Ou seja a todo um trabalho e todo um debate que tem que ser feito e já tinha que ser

feito sobre a necessidade de revermos as disposições de prova em Tribunal e a descoberta eletrônica de prova e a descoberta da prova eletrónica e descoberta da prova relacionada com a atuação dentro das artificial E isto é monumental Mas vai ter que ver essa essa esse debate e essa alteração das regras processuais Relativas à prova tu vai ter que ser feita como é evidente e cada quanto mais tivemos intervenção artificial atuar no nosso no nosso dia-a-dia mais vamos ter necessidades que é efetivamente a possibilidade enfim que não podemos descartar destes positivos Inteligência Artificial recolherem dados pessoais

e transmitir-nos a terceiros e portanto também da responsabilidade da cidade de sancionar os comportamentos Da máquina obviamente que também temos que ter as mesmas possibilidades de haver enfim o mínimo da possibilidade defesa eh dos titulares direito eu lembro de um caso muito interessante que se passou nos Estados Unidos há uns anos atrás e que motivou já um até uns uns papers académicos sobre questões de direito da concorrência porque havia uma concentração de preço de várias empresas e enfim e as autoridades comportantes ah Questionaram ah os os os diretores dessas empresas Ou seja há há há

andam a fazer catalisação vocês andam a fazer conservação a falar com o outro para terem sempre aqueles parece ali alinhados eles diziam nem falamos com os outros não falamos não falar de forma foram máquinas que enfim entenderam que faça a conjuntura e as notícias que tinham no mercado o preço indicado era aquele e alinhavam todas Por todas elas e foram as marcas que fizeram a caracterização e e vamos ter que ter eh isso em atenção como Evidente vamos estar sujeitos cada vez mais a situações em que as máquinas atuam automaticamente e vão provocar situações que

têm impacto nas nossas vidas Como dizia o Henrique é tempos há mais hoje há mais equipamentos ligados à internet hoje do que indivíduos não é e portanto Este é o grande problema ah interagir com a internet das coisas Absolutamente incontrolável né e os senhores Muitíssimo obrigada por esses esses momentos extraordinário desde que tenha começado a estudar estas questões relacionadas com tecnologias digitais tem dito sempre que nós só avançamos quando os engenheiros informáticos e o juristas sentarem-se para conversar e portanto Muitíssimo obrigada pela vossa disponibilidade Tiago obrigada pelas suas preciosas questões aqui sobre a nção do

Japonês este pai Fundador da Integração europeia para quem não sabia é mesmo jamoney que está que esta foto é uma homenagem centro de excelência de mulher Muitíssimo obrigada a todos e até uma próxima oportunidade [Música]