Inteligência artificial: a importância da governança e da gestão de riscos | | KPMG Risk Journey #6

Olá pessoal boa noite bem-vindos ao KPMG Risk Journey de 2024 chegamos acho que finalmente aqui no nosso último dia né boa noite Eli bem-vindas a nossa apresentadora aqui que todas vocês conhecem aqui junto comigo Coutinho não não poderá est presente hoje aqui mas Eli como todos sabem aqui nosso especialista em governança sempre trazendo os temas aqui Tudo Bem Tudo bem Diogo Boa tarde pessoal Espero que todos estejam bem é é hoje que a gente vai ter aqui aquele monte de de de de respostas pras perguntas que a gente teve nos cinco dias anteriores né então

Eh e lembrando aqui que você me lembrou um pouquinho antes pessoal podem colocar as perguntas e respostas aqui durante a apresentação em algum momento se aquele tema tiver sendo falado naquela hora a gente pode puxar pergunta durante a apresentação também não Precisa deixar até o final né E aqui pessoal Chegamos no no último dia aqui tá o QR Code de todas as apresentações eu mandei e-mails para maioria de vocês que que participaram aqui né Chegamos no último dia começamos falando com o Leandro aqui de risco cibernético falando da importância de como evoluiu os ataques aqui

como Inteligência Artificial é importante como o seu relacionamento com terceiros é relevante como o terceiro acessar o Seu sistema ele tem seus riscos como você trata terceiros de segurança depois V aqui o lado a Camila e o Marcelo de falando das das transformações que a gente teve especialmente nas funções de grc e falaram muito de Inteligência Artificial e algumas perguntas eu até falei não não vamos deixar pro pro nosso último dia que que acho que é hoje aqui e depois a gente teve o Ito aqui trazendo os estudo né que a gente teve aqui dos

formulários de referência né Quais são os riscos que as companhias estão estão reportando um pouquinho de diferença das visões desse risco que mudou um pouquinho aqui e do mercado né da responsabilização de que o que você coloca no formulário de referência o que que a gente espera para para 2024 também depois a gente sempre traz um tema de SG aqui a gente teve a a Tamara e o winter e o Emerson aqui falando um pouquinho de direitos humanos especialmente a parte de trabalho escravo né como como a Existe a lei Mas como ela pode ser

interpretada Mas como que você cria um programa né para fazer se existe algum risco de trabalho escravo né E aqui muito com terceiros a gente vê que o risco de imagem é muito grande mas ele tá muito relacionado e a gente V que os ichos eles estão relacionados com terceiros normalmente que não tem muito controle à companhia e a gente tratou bastante de como que a gente pode criar um programa para fazer esse tipo eh de Avaliação e na terça-feira nós tivemos aqui uma uma um uma apresentação específica aqui eh pro time de Financial service

né a gente falou um pouquinho dos riscos as operações digitais no mercado de Financial o nosso o Fábio que era do Banco Central trouxe o Beline que é do Banco Central aqui né el foi uma apresentação aqui super dinâmica era os dois aqui com batebola o Fábio já é um apresentador Fantástico com o Belini também foi foi muito legal né a gente T Presença maciça aqui do pessoal de de de Financial service e Hoje finalmente a gente chegou no dia que a gente falou a gente vai deixar tudo pro último dia que a gente vai

falar um pouquinho de Inteligência Artificial a gente falou Teve muita pergunta de governança teve muito pergunta de risco como sei que isso funciona como que eu testo isso como que eu acredito nisso né pessoal e quem que a gente trouxe para falar disso aqui é o Santana Aqui é o Ricardo Santana que é o nosso sócio responsável por Inteligência Artificial mas antes de passar para você eu esqueci eu vou voltar aqui que eu pulei o slide eu sempre esqueço desse slide que sempre a gente traz alguma coisa aqui Santa isso aqui a gente tá fazendo

uma apresentação para falar o que tá acontecendo no mercado né e a gente tá trazendo alguns treinamentos que a gente tem relacionados aos temas que a gente tá falando e aqui tem dois né que a gente Vai fazer você tem um workshop de Inteligência Artificial que vai ser feito em maio dois dias que já foi feito alguns né ao é muito legal aqui com casos práticos aqui eu acho que tem uma para para você abrir sua mente é super relevante mais do que você aprender mas abrir a mente e o Risk University aqui também que

a gente tem um pouquinho de Inteligência Artificial também né o Santana tá unipresente hoje em dia a gente brincava que era o Leandro que a gente falava em todas as apresentações até o ano passado agora Santana Parabéns você é o cara mais comentado em todos os dias do do Risk Santana obrigado pela presença eh boa apresentação obrigado obrigado Diogo Mais Uma Vez pelo convite Eliete não me abandone chat PT aqui que não me não me esqueça para que eu possa responder essas perguntas com com assertividade né quer dizer na verdade boa noite já né Para

todos que que nos Escutam Eu Preparei um material especial desta noite aqui pra gente encerrar essa jornada onde eu quero falar muito mais de oportunidades e Desafio né Lembrando que essas imagens aí foram geradas pela Inteligência Artificial pessoal então vamos falar das oportunidades que sondam dentro da função de Rc mas também os desafios né os riscos como é que eu governo como é que eu controlo como é que empresas já estão auditando modelos de Inteligência Artificial emplacando nos seus planos anuais de auditoria esse risco que segundo grandes pesquisas é o top for né de hoje

grandes pesquisas apontam o desafio de governar essa inteligência artificial Mas vamos lá vamos falar um pouquinho aqui quais são essas oportunidades eu separei aqui sempre com com casos de uso mais prático relacionado à nossa função tá também trouxe algumas pesquisas e essas pesquisas né uma delas foi da KPMG foi a DNA survei onde ela trouxe isso é super relevante para nós que auditamos né ela trouxe um Panorama muito interessante relacionado que como a ia tá transformando as funções de negócio e se os negócios estão sendo transformados a gente tem que se adaptar porque os riscos

são novos os riscos são diferentes eu tenho que me adaptar todas as essas mudanças então se eu pego aqui setor de propaganda e publicidade segurança design de produtos né a Generativa tem de Fato impactado muito esses setores da nossa economia trouxe mais uma pesquisa aqui destacando a função de Risk in compliance onde ele mais uma vez e outra fonte de informação trata o impacto né que é i generativa vai trazer nesta função de Risk in compliance né afetando aí em torno de 15% né o percentual gasto e mais ou menos uma Estimativa de investimentos nesta

função adicionando aqui a nossa o nosso Contexto né eu diria que existem inúmeras oportunidades inúmeros casos de uso tanto da Inteligência Artificial clássica quanto da Inteligência Artificial generativa né até interessante a gente dividir esses dois Dois Mundos né porque é a mesma inteligência porém só pra gente ter ali uma uma diferenciação de modelos de oportunidades eu diria né pegando aqui um extrato dessa pesquisa tem o link Dela aqui nesse material que vocês vão receber revisão de documentos legais tradução de texto elaboração de respostas sumários de grupo né eu tenho visto né empresas fazendo toda uma

revisão de matrizes de riscos e controles através da ia generativa leituras de documentos sumários preenchimento de controles internos então tem muita coisa acontecendo na nossa função e as pesquisas trazem né esse esse Retrato bom dado isso eu trouxe aqui uma uma ideia tá eh seja é um vídeo conceitual mas pra gente começar aqui a driv as possibilidades eu vou pedir aqui pro Lucas colocar um vídeo é um vídeo conceitual mas que interessa muito das oportunidades de uso de ar generativa em canais de denúncia por favor Lucas [Música] Good morning Laura Thanks for joining let's see

whether There is anything of Interest from the whistleblowing hotline this month whistleblower ai Could you please talk US through the cases received in the last month let me check that For You Only five cases Have been received in the last month two through the telepone hotline One by email and chot these for Toti hrct and HR te One related Toti Financial wher ai please provide more details let me for you an anon Mage sent by email to the confidential wher inbox We have sent aut to requ fur informs to be from aor Emil we assil

thees wareh procurement Tech incl conc aake supper that's interesting Laura What are your thoughts I agree that's interesting structured data ai in the last 12 months What Supplies have the Warehouse team been using let meck that for you the Warehouse procurement Million United States as to 9 of toal and open source ai what can you tell me about these 10 suppliers let meck that for you I can find a Website for of the suppliers the 10 supplier dod ltd does not Look to have a Website open source ai What the Corporate reg Record say relation

doit let me that you the owner and mastermind it was incorporated nearly Years ag There is a Flag against do ltd that it has been declared a dormant Company that has Not yet filed accounts structured data ai how long have we been trading with do Limited for and How much have we spent with them let me check that for you the first invoice recorded in our accounts payable system is from Two Years and n months ag in Total we have spent Million United States doar with do Limited unstructured data ai can you tell is corresponding

do Limited let meck that for you searching compy off 365 mail boxes on the keyw do two user mail boxes have 90% of the traffic for hits do The users are John assistant and Jane accom HR ai in which team these indiv let me that for you John assant and Warehouse procurement team I need to drop for another Call Laura keep diing into dod Limited and let Take a closer look at the other nine Key suppliers report ai please summar the initial findings On dod Limited Into A report for me I'll need to take this

to the head of compliance let me work on that for you estimated completion time two minutes It Will then be sent tobox excellent Good work laur not ideal that we have an issue but least we have a Hand [Música] Então veja assim quanta oportunidade a gente tem de usar e generativa de Interagir com Business Corpus né ali cada vez mais existe uma possibilidade da gente treinar I com a nos as nossas políticas os nossos regulamentos os anteriores imagina uma ia que consiga treinar os seus novos colaboradores os novos profissionais da área de compliance de riscos

imagina alimentar essa inteligência artificial com os riscos dos setores riscos de pesquisas que foram apresentados aqui e fazerem projeções Então existe uma Infinidade de possibilidades de consumir dados abertos dados estruturados não estruturados Olha que sonho né construir um relatório enquanto a gente toma um café Então abriu-se um leque de oportunidades paraa Nossa função ser transformada e quando eu vejo as pesquisas que eu mostrei aquele percentual de mudança de impacto eu diria que é de 35% para cima o ganho de eficiência quando a gente inicia a aplicação e o uso da Inteligência artificial então vejo aí

grandes oportunidades muitos benefícios tanto na área de surveillance aqui eu trago outro demo usando técnicas de processamento de linguagem natural e eu vou pedir mais uma vez Esse vídeo é mais rápido paraa gente discorrer aqui um pouquinho sobre os desafios dessa implementação as empresas de telefonia possuem uma grande quantidade de contatos todos os Dias e lidar com tantas informações pode ser desafiador para facilitar a interpretação das ligações de telemarketing esta solução classifica e identifica diversos fatores nas gravações das ligações realizadas teremos uma compreensão melhor da demo com as funcionalidades a seguir reconhecimento automatizado da fala

nesta primeira etapa é feito o uso de uma ferramenta que transcreve os Áudios para texto extração de palavras chave as palavraschave são identificadas e separadas por categorias isso possibilita a identificação de diversas informações e sua interpretação de forma mais eficaz essa funcionalidade também permite a identificação da menção a órgãos regulatórios ou empresas concorrentes detecção de silêncio a função de detecção facilita o reconhecimento da troca de falas entre o cliente e o atendente numa Ligação adesão ao script as palavraschave também possibilitam identificar se os atendentes estão seguindo o script estipulado pela empresa para que haja um

padrão adequado em todos os atendimentos análise de entonação de voz através do Tony analer o Watson analisa a entonação de voz total da chamada identificando os sentimentos das P Além disso ele também detecta se houve alguma mudança de sentimento durante o Atendimento analisando diferentes Sensações apresentadas na ligação e permitindo identificar o que motivou essa mudança classificação das intenções a partir da necessidade da empresa as intenções são pré-determinadas e a solução as identifica na ligação no gráfico podemos ver alguns exemplos das razões pelas quais os clientes entraram em contato telefônico seja para fazer uma reclamação tirar

dúvidas ou solicitar alguma alteração no plano Integração com a base de dados as informações coletadas são enviadas para uma base de dados integrada para que tenham acesso a ela se necessário a partir disso é possível fazer uma análise Geral de todas as chamadas bem como analisá-las com mais detalhamento podendo assim compreender a origem de cada informação recebida com isso o processo de análise se torna mais rápido e eficaz auxiliando a empresa a melhorar a qualidade de seu Atendimento através da interpretação detalhada das ligações aumentando assim o nível de satisfação de seus [Música] clientes toda vez

que eu assisto esse vídeo eu lembro de um projeto que eu fiz junto com Diogo Dias onde nós íamos a lojas próprias desse desta empresa dessa operadora e a gente fazia um trabalho de cliente misterioso a gente precisava de gravar todo um atendimento e após esse atendimento que geralmente levava 15 Minutos a gente precisava de analisar se eventualmente aquele vendedor utilizou ou não palavras proibidas no Script e gastava se um tempo a gente tinha que escutar o áudio né eu vendo hoje como evoluiu a tecnologia uma atividade de compliance uma auditoria eh Bem Mais Simples

né com a aplicação dessas tecnologias enfim são inúmeras oportunidades de fato para que possamos aplicar Mas será que são confiáveis Essa é a grande questão que gira em torno dos conselhos que gira nas nossas rodas de discussões será que é confiável a gente fez uma pesquisa com a Universidade de queensland para fazer o mapeamento e eu tenho um retrato do Brasil eu trouxe para vocês esse recorte na Essência eu tô usando uma outra tela aqui para facilitar a minha leitura na Essência o brasileiro tá muito confiável pessoal eu diria que 84% acreditam que a ia

é confiável ou Seja essa pesquisa revelou que os países emergentes estão talvez ansiosos pelo uso e pelo ganho de competitividade pela qual ela promete Essa é a grande promessa então expectativas são altas né por outro lado Existem os riscos né no Brasil 66% acreditam que podem ter sim problemas de segurança problemas de privacidade existe um certo receio em relação à perda de emprego porque isso acaba otimizando o ganho de eficiência gerado é muito Grande então apenas um recorte essa pesquisa no QR Code quem quiser acessar vou deixar aqui um pouquinho mas uma pesquisa Global ela

envolveu centenas de executivos e ela fez uma cobertura muito grande do Panorama Ok mas eu trouxe só pra gente iniciar essa discussão sobre é confiável ou não né que é bem interessante que afinal existe um desafio enorme na sua implementação Por que que existe desafio Porque é uma tecnologia emergente ela falha né a gente viu casos aqui no Brasil problemas de reconhecimento facial problemas do treinamento de fato problemas em traduções o palestino foi preso por uma tradução do Facebook uma tradução errada do seu Bond dia falta de explicabilidade é outro imperativo do uso da ia

a Todo modelo tem que ser explicável então assim notícias que chocam a comunidade científica é verificar que um modelo Consegue prevenir mortes com exatidão mais que uma equipe médica Mas como ele chega nesse diagnóstico nessa prevenção então explicabilidade é um elemento de a responsável já já eu passo um pouco qual seria talvez ali uma recomendação de um grande Framework para governar essa inteligência artificial é por enquanto aqui alguns fatos outro tema que trouxe à tona sobre ia generativa o fato dela gerar uma informação dela ser criativa pode causar Alucina nesse exemplo aqui que vocês veem

é um exemplo onde a gente estava discutindo né com uma empresa de transporte onde a gente começou a forçar um pouquinho a barra da Inteligência a gente perguntava através do uso de prompts né prompt é basicamente uma pergunta elaborada que eu faço para I generativa trazer uma resposta trazer uma imagem trazer uma geração de ou geração de texto nesse caso a Brincadeira era Qual será o meu próximo público alvo e quando a gente começou a aumentar pedir me dá mais 50 exemplos ela começou a alinar ela começou assim talvez né para essa empresa de transporte

o novo público seja Viajantes interplanetários né marcianos fãs do Iron maidan E por aí foi né então existe um cuidado que a gente tem que ter com essa nova tecnologia que são as alucinações Eis um belo exemplo aí com vocês e Outros que eu trouxe no mundo inteiro né Bots que com um dia de implementação tiveram um viés tremendo através de injeções de falácias dentre outros casos aí que vocês podem ver o grupo euras ele traz então como Stop risks essa falta de governabilidade da ia então por isso que é um tópico a ser discutido

nessa pauta nessa casa e nesses fóruns outro outra fonte também o próprio Diogo comentou né capmg no seu Instituto acici tem apresentado né uma a última pesquisa apontou no recorte Brasil 83% estão preocupados sim com a complexidade dos negócios bem como a complexidade das tecnologias emergentes como Cyber segurança Inteligência Artificial Então pelo menos são dois grandes motivos né pra gente olhar um um pouco mais a fundo entender um pouco essa tecnologia entender Qual é a contrapartida que controles eu posso Implementar nesta tecnologia aqui que eu trago aqui também alguns exemplos né de falhas de segurança

talvez temas sobre propriedade intelectual dilemas éticos que foram muito discutidos né essa propaganda da comercial da Volkswagen onde foi recriado né imagem da Elis Regina com inteligência artificial no final o Conar decidiu né Por arquivar esse processo mas é um dos dilemas discutidos sobre Geração de imagem geração de vídeos e É ISO que surgem uma série de regulações sobre o tema a gente tem a acompanhado tem feito parte das discussões no Brasil tem um projeto de lei 2338 que vai regular o uso da Inteligência Artificial então é algo que a gente tem que estar preparado

paraa adoção do uso Dea nesse projeto de lei além das multas ela exige um processo uma governança um Estabele ento de avaliação de riscos e controles ela vai regular o uso Não a tecnologia Esse é o lado positivo né do nosso projeto de lei muito discutido principalmente com a promulgação do ai Act A gente prevê que próximo passo é preparar as nossas organizações então Principalmente as funções de grc tem que estar preparadas né para entender para implementar os controles exigidos e mitigar o risco de uma multa que pode Chegar 4 6% do faturamento anual da

companhia então aí eu trouxe Talvez um um apanhado né das diversas legislações basicamente quem é da área de risco sabe que tem muita coisa na inteligência artificial que é difícil enxergar principalmente os modelos que são chamados de Black Box redes neurais mas existem técnicas para validar a sua assertividade muito embora difícil de re executar mas existem formas de observar de monitorar de Acompanhar bom aqui eu deixei alguns desafios né eu fiz até uma pergunta pro próprio chat GPT mas eu diria que Equidade ausência de viés é um grande problema em modelos de Inteligência Artificial né

os erros que podem causar os danos né Eu até gosto de comentar um caso que aconteceu comigo onde eu fui numa loja uma operadora eu queria comprar um plano pós-pago e eu até brinco aqui na kmg que eu sou o único sócio que tem carteira Assinada porque eu também eu sou professor de uma de uma instituição eu tenho carteira assinada eh mas eu dou poucas aulas Então o meu salário por serista também ele é muito pequeno e esse modelo de análise de crédito não possibilitou a minha aquisição desse plano pós-pago então esses danos são tratados

na no projeto de lei né como sanar que outra forma eu teria então de provar talvez a minha capacidade creditícia para Adquirir um plano pós-pago privacidade acessibilidade confiabilidade responsabilidade Olha que interessante nesse caso que eu comentei eh sorte que a gente tem amigos né quem é o risco é a operadora aquela loja que poderia ser uma loja credenciada ou a empresa que presta serviço de análise de risco para aquela operadora então esses temas A Lei e o projeto de lei Ele é tratado eu tenho que definir a responsabilidade da Empresa é quem está aplicando no

seu negócio então o tema Da Responsa ilidade ele se torna um pouco mais claro né mais Tácito então é importante né então procurem aí projeto de lei que regula o uso da Inteligência Artificial eu acho que é um bom tema um bom Norte uma boa diretriz para implementação de controles E aí o que que a gente vê a gente tem aí eu fiz uma coletânea dos casos né da reunião falsa muito comentado né por todos nós mas acho que vale a pena né Usando técnica de Deep fake a criou uma reunião falsa o diretor financeiro

de uma multinacional transferiu 129 milhões a criminosos então cada vez mais existe uma necessidade da gente capacitar as nossas pessoas pela arte do possível né como a engenharia social pode ser aplicada usando essas tecnolog né a gente viu ali a grande terça-feira né a possibilidade de uso de Deep fake para influenciar as eleições tanto norte-americanas tanto no Brasil então é Algo importante pra gente se ater né Eh próprio Poxa um vídeo falso aí do Celso Russomano né gerando uma imagem e voz do apresentador enfim tem muitos casos trouxe aqui muitos golpes usando Deep fake é

muito fácil eu vou mostrar num vídeo rápido como isso está nas nossas mãos antes de entrar nesse exemplo eu vou pedir pro meu amigo Lucas colocar um próximo vídeo que retrata a facilidade né a gente encontra até em vídeos de tiktok pessoas Ensinando como fazer um Deep fake vamos ver aqui isso que você tá vendo agora é o meu clone feito 100% por Inteligência Artificial e o mais legal é que depois de criar ele eu só preciso gravar um áudio ou dar um comando de texto que ele vai criar um vídeo meu simulando as minhas

movimentações corporais e sincronizando a minha boca com áudio essa ferramenta é tão poderosa que além de ser possível criar diferentes Clones para tornar o Seu vídeo mais dinâmico você ainda consegue selecionar diferentes idiomas na hora ora comunic sicuramente problema solitas encender la Cámara una vez para producir un sinf de contenidos de alta calido apenas o inicio Dea tecnologia poco tempo será impossível diferenciar O que é real do que é inteligência artificial e para criar o seu clone ou prestar esse serviço para outras pessoas dentro do meu treinamento Mestres da Inteligência Artificial eu te ensino passo

a passo de como clonar a imagem e a voz de pessoa de forma profissional e eu ainda te entrego o modelo completo de apresentação e prospecção de clientes só para você copiar e colar e começar a fazer dinheiro trabalhando com essa e diversas out veja né pessoal eu deixi aqui propositalmente porque é uma tecnologia que tá aí pessoas ensinando até voltando apresentação pessoas em mídias sociais Ensinando treinando a construir um Deep fake então é algo que a gente tem que tá atento eu trago aqui um exemplo e um belo exemplo ideado pelos nossos colegas de

Cyber onde nós ajudamos a clonar uma voz de um presidente de um CEO de uma grande organização e claro a gente usou uma solução de uma bigtech e para clonar voz olha que interessante as próprias soluções já t e a responsável embutida a gente só conseguiu gerar um clone com a Autorização por voz deste executivo dessa grande organização feito essa clonagem o teste que foi feito de engenharia social a gente aproveitou uma viagem internacional desse executivo e nós encaminhamos uma mensagem solicitando um relatório confidencial para três pessoas dois VPS e a própria assessora dos três

dois encaminharam por WhatsApp por mensagem o tal relatório confidencial uma percebeu a sua Assessora ela não liberou falou assim esse não é não é meu chefe né eu reconheço ele Então olha que interessante né mas os dois VPS passaram essa informação confidencial para um telefone um número diferente né um número Internacional e aí a gente viu o quanto estamos né expostos a esse tipo de ataque de engenharia social então mais uma vez reforçando né uma necessidade de treinamento de capacitação dos nossos profissionais Para manter ali o risco controlado a gente também clonou a voz de

um colega mas eu vou pular esse vídeo mas provando né que que é possível né fizemos um Deep fake mas eu atentaria aqui né Principalmente pras ameaças né o prejuízo financeiro ficou muito claro né poxa imagina numa reunião 120 milhões foi transferido é algo absurdo né danos à reputação é incrível né responsabilidade jurídica em relação a tudo isso que tem sido criado Então são temas para serem conversados né o mais legal que eu gostei aqui né Desse dessa desse recurso né que a própria ferramenta me gerou um disclosure né de de validação ou não daquele

conteúdo de aprovação ou não então cada vez mais a gente tem visto aí uma inserção de Cont controles certo controles internos bom perguntamos pro chat ept quais são Então quais são seus riscos né me diga aí né Oracle me fala aí quais São os seus riscos e ele falou dentre esses riscos Poxa a informação gerada Pode ser imprecisa né Ou seja a confiança excessiva nas respostas a gente viu a capacidade de alucinar uso inadequado proteção de dados a gente tem visto aí poxa eh algoritmos que foram treinados com imagens né foram treinados com livros e

gerando outros livros então alguns autores requisitando aí direitos autorais então tem algo bem complexo a Ser sanado em relação a isso tá então é um pouco das dificuldades de implementação em relação a ia propriedade intelectual é um modelo genérico impreciso está desatualizado geralmente com informações né a gente treina obl modelo então a gente tem que perceber que uma informação está desatualizada tem uma comparação aí entre o chat ept e um papagaio né Me disseram que o papagaio pelo Pelo Menos é fofo como bolacha né mas fica aí pra gente refletir né em relação eu tava

até numa sessão com com o pessoal e eles comentaram né poxa mas existe uma tendência de algumas alguns conselhos estão treinando inteligência artificial para participar das reuniões para participar das decisões estão sendo alimentadas com planos de negócio para que elas sugere para que ela faça recomendações já tem esse propósito né de criar uma Persona analista de risco Né gestor de risco auditor interno então já é uma tendência agora tudo que tá sendo gerado eu tenho que curar aquela informação né Qual informação estou munindo estou treinando aquela ia é muito importante né conceber isso né existem

formas existem arquiteturas seguras de eu criar um contêiner isolado e fazer com que o meu modelo aprenda apenas com informações da minha empresa Aí sim ele Responde apenas aquilo que está contido com o material da minha empresa evitando que ele faça alucinações então existem parâmetros de configuração onde a gente tem conseguido esse bom resultado bom a gente criou né resumindo tem algumas publicações importantes também ficam aí à vontade de você vou deixar um tempinho aí no car code Até o Diogo publicou aí compartilhou nas mídias sociais Esse Estudo né falando sobre riscos e Recompensas do

do uso da ia generativa uma abordagem que eu vou falar agorinha com vocês de trusted ai a maneira como a gente tem implementado governança sobre essa tecnologia emergente e alguns estudos né privacidade e o novo mundo de A então material complementar aí para que vocês possam se deleitar no fim desta quinta-feira não Brincadeira mas fica aí um bom material para vocês eh acompanharem Essas tecnologias bom mas eu escuto muito né sobre o CoPilot Nossa Santana O CoPilot e tal me fala um pouco mais o que que é isso como é que tem ajudado né eu

diria assim antes de entrar no num pequeno vídeo que eu trouxe para vocês eu diria o seguinte pessoal CoPilot tem gerado 35 a 50% de efetividade no Dia Dia das pessoas é impressionante impressionante Como a ia tem nos ajudado nas tarefas do dia dia Eu até brinquei mas é muito sério né eu gerei muitos slides muitas figuras foram geradas com ia Do que vocês estão vendo aqui eu vou pedir mais uma vez pro Lucas você tem um vídeo aí do colpar aquele mais curtinho só pra gente contextualizar Obrigado vamos lá [Música] [Música] [Música] [Música] C

[Música] [Música] [Música] [Música] bom eu diria que primeiro nome né copiloto então é algo que tá ali te ajudando no dia a dia a ser mais eficiente a fazer tarefas como Poxa eu não faço mais a de reuniões no teams imagine eu ter uma Tecnologia acoplada que ela transcreve ela resume ela gera listas de ações Então tudo isso a gente tem usado aqui na kmg apresentações com questões de segundos eu faço eu importo o material ele gera uma apresentação ele me sugera outros designs no Excel no power Bi eu clico com o botão direito e

peço para obter insights ele gera gráficos gera análises sugestões recomendações eu diria assim a Produtividade tem sido Absurda absurda né então porém como toda oportunidade a gente tem os desafios da implementação de uma ia uma delas eu diria que o CoPilot Deixa eu só voltar um slide né imagina o seguinte a ideia do CoPilot é que quando você disponibiliza na sua empresa essa inteligência artificial vai conseguir acessar qualquer arquivo que você tenha acesso então Exige uma governança na empresa por exemplo se eu sou uma Empresa que tem um sharepoint tem uma série de portais eu

preciso qualquer arquivo publicado nesse sharepoint tem que ter permissionamento se eu publico é uma empresa que usa muitos dados tem uma série de dashboards no power Bi e usa algum serviço minimamente o r level Security nesses arquivos publicados tem que ser considerado Porque a partir do momento que você disponibiliza se se tiver algum arquivo imagina um Arquivo de folha de pagamento que não tem permissionamento que não tem uma segurança no nível de linha se eu fizer uma pergunta sobre qual o salário do Diogo e da eliet ele vai me trazer essa resposta porque ele vai

entender que você tem acesso Então eu peguei um exemplo de implementação onde eu preciso de ter de fato uma avaliação uma revisão uma restrição desses dados eu preciso de testar se de fato Aquilo tá seguro Aí sim colher os benefícios por último eu deixo aqui qual seria a nossa ideia né de uma ia responsável temos esse Framework e aqui eu vou me ater pelo menos alguns minutinhos com vocês então vamos lá na linha de cima desse Framework que pode ser uma sugestão aí para quem tá iniciando na governança tem basicamente quatro imperativos eu preciso de

implementar uma ia que seja íntegra não pode ter Viés explicável não pode ter Bias ela tem que ser escalável eu não posso colocar um leitor de um documento onde ele lê processa três contratos e eu coloco em produção para uma grande empresa em 1000 ele não vai conseguir dar conta de processar de gerar de manter a mesma assertividade Então imagina o seguinte eu tenho quatro grandes imperativos no círculo quando eu chamo De soluções aqui a gente faz referência a uma metodologia antiga mas muito robusta que é crisp crisp DM é uma metodologia de mineração de

dados mas muito aplicada em construção de soluções de a porque ela cíclica o conceito de a que ela tá sempre em evolução eu estou sempre melhorando o meu modelo mas começa-se tudo lá em cima na governança na aprovação do investimento na seleção do Problema definido isso eu entendo a necessidade de negócio eu verifico se tem dados disponíveis eu vou fazer um modelo seja generativo ou clássico para aquele tipo de problema eu vou treinar a inteligência artificial eu vou avaliar pelas métricas se ela é assertiva a ponto de eu colocar em produção ou não e evoluir

Então existe um ciclo OK agora imagine o seguinte para cada parte deste processo para cada etapa eu tenho que pensar o Seguinte Beleza se eu estou querendo esse imperativo de integridade lá na parte de estratégia e governança Quais são as políticas sobre ia que métricas quando que eu coloco o modelo em produção quando ele tiver 80% de assertividade 85 Qual que é a diretriz então a gente preparou claro que isso aqui é um resumo Da metodologia mas a gente estamos entregando aqui para vocês algumas diretrizes né fase a fase na fase entendimento e desenho explicabilidade

Ok metadados dos dados de Treinamento que dados são esses Qual é a linhagem da onde que vem que fonte segura ele tem uma amostra estatística significativa E por aí vai ou seja existem formas de validar um processo de Construção de modelos de Inteligência Artificial eu até deixo uma perguntinha aqui para vocês Será que vocês sabem Hoje quantos modelos a sua empresa a sua organização está usando nesse exato momento quantos modelos de I estão em produção quantas ferramentas em quais áreas por quantas pessoas começa daí a governança Como está sendo usado qual o risco de H

na sua empresa Você sabem Exposição se tem algum modelo que que foi colocado em produção que o nível de assertividade é mínima então a construção desse Framework dessa jornada eu só passando aqui as outras os outros imperativos da ia é isso que a gente se propôs a sugerir como plano e números eu sei que a gente gosta né de números de matrizes e tal esse aqui é uma prática na nossa experiência de Implementação talvez ali desses quase 80 controles pelo menos metade tem sido implementado pelas empresas e eu preciso de monitorar a grande dificuldade é

quando eu coloco o modelo em produção como é que eu monitoro ele em tempo real como é que eu verifico se ele perdeu a precisão o risco de drift risco de viés eu aí sim eu preciso de um de um ferramental de observabilidade Para calcular essas métricas para entender que novos dados estão entrando nesse modelo e que pode causar um viés imagina um modelo de classificação ou modelo até de recomendação de crédito se por alguma Aventura estou recebendo apenas informações ou procuras de uma região do nosso país Ele vai enzar eu tenho que estar atento

para retreinar para ele ser genérico Imagina eu estou ali com um sistema de Recomendação se ele regionalizar que vai enzar Então esse é o cuidado que a gente tem que ter isso nós vimos talvez a gente pode até colocar esse vídeo aqui mas é muito interessante né na febra Ban A gente já viu pode dar um play esse não tem áudio bo pode até tirar o áudio Na verdade eu vi eu achei bem interessante tô dividindo aqui com vocês Né mas o Banco do Brasil Soltou o Maia Olha a preocupação né que é um modelo

de validação de métricas de ia então assim ó pô mas como é que eu valido né o modelo de Inteligência Artificial né existem métricas tem como eu pegar um relatório eu validar e isso eu vi né no na fe para bantec desse último ano Achei bem interessante a preocupação né a visão né que uma instituição financeira do porte do bebê trouxe para todos nós sobre Governar cuidado zelo em relação à implementação de Inteligência Artificial eu achei bem interessante eh para mim foi um dos pontos de destaque assim neste tema né Eu até brinco com meu

meu filho meu filho me perguntou ele era menor papai o que que é febraban Tech eu falei assim tipo a Disney dos bancos né então assim é algo assim maravilhoso tecnológico é fantástico tá ótimo Lucas podemos voltar pra Nossa apresentação pro nosso slide e finalizando aqui pra gente começar esse batebola aí tem mais de 200 pessoas o eu tô vendo que já tem perguntas aqui também né mas eu deixo aqui algumas algumas literaturas né novamente a gente tem escrito muito né sobre governança de I confiança enfim tem uma série de artigos bem Interessantes disponíveis né

nossos sites certo Diogo muitos assinados por você por mim pelo Leandro pela li então é algo que a gente tem trabalhado bastante muita coisa Santana eu eu vi o sei lá tem bastante vídeo né mas acho que foi o primeiro vídeo que a gente falou do canal de denúncia lá é da kmg eok se eu não me engano né a gente já tá discutindo aqui como a gente linca que a gente tem o canal de denúncia a gente tem o ai e a gente tem os rps agora a Gente precisa avisá-los que eles devem conversar

que é mais ou menos isso que eles estão faz ali né de verdade legal o s apareceu uma pergunta aqui para mim mas ela sumiu Então eu não sei onde ela apareceu Acho que mandaram só para mim aqui e eu vou eu vou te fazer a pergunta me parece que alguma alguma faculdade fez uma publicação de de nomes Quem foi convocado tudo e teve algum erro nessa divulgação a pergunta dela e ajudaria a Não ter esse erro eh ela publicou eu acho que publicou os nomes errados da faculdade uma coisa assim se eu não entendi

errado acho quem mandou Manda de novo por favor aqui aqui pra gente no público mas eu acho que era mais ou menos essa pergunta é eu não sei assim né em relação Pô eu acho que daria sempre tem um mecanismo né seja se tem um erro de publicar Imagina assim a lista dos aprov no vestibular certo sei lá eu lembro que na Minha época eu tinha escutava o rádio né Eu sou muito velho cara na federal ficava escutando rádio e depois saía não tinha nem site né eu lembro da federal lá de Minas não tinha

site mas eu penso o seguinte né Se o erro for esse imagina a frustração né entre passar ou não na Medicina né que não foi meu caso graças a Deus mas se o erro for esse eh daria para ter um nem precisa nem dear para isso né na verdade uma um simples cheque na base de dados Evitaria esse erro né Eh mas assim fica difícil para eu entender o contexto realmente fica eu eu tô com dificuldade de de entender né Eu acho assim o controle poderia ter é a gente sempre fala né a única fonte

de verdade o grande problema das organizações que a gente tem Unos dados dispersos e eu não tenho uma uma única fonte da Verdade o ideal é que eu tivesse um repositório Central onde todas as áreas pudessem tomar proveito então se eu quero Publicar quem passou no vestibular que eu consumo da única fonte não exportar para um Excel e de lá eu gerar um texto e uma comunicação isso seria errado né eu acho que chegou aqui o Diogo a pergunta da Maria Rita que foi justamente essa né ela colocou assim nessa última semana houve uma universidade

de São Paulo que fez uma convocação errada dos novos alunos devido a um erro de algoritmo esse tipo de risco pode ser mitigado com a ia Olha Eu eu acho que não viu Maria Rita por Eu trabalho com magistério tem mais de 20 anos mente assim o que que ele pode ter errado ele pode est errado na no corte da nota Isso aqui é uma regra né imagina que eu fiz ali uma uma um select fiz uma uma um né Eu fiz uma consulta no banco de dados que eu tô entendendo o erro do algoritmo

talvez foi o algoritmo de corte de nota né Talvez seja isso mas eu terei que entender né porque aí é um erro humano né um erro eu codei Errado né assim a A Iá poderia aprender que o corte todo ano é 60 por até daria para para viajar um pouco aqui viu Maria mas no momento eu quero dizer que deve ter sido algum erro lá de de typing né alguém digitou errado e infelizmente saíram nomes a mais ou a menos então talvez o algorit eu teria que entender tá e Santa Deixa eu fazer mais uma

pergunta aqui el aí você passa para as demais que a gente teve achei vários dias aqui de maneiras diferentes Que é o seguinte como que eu sei que tá certo e como que eu audito isso perfeito perfeito Ô Diogo o seguinte Todo modelo né Eu acho que para simplificar aqui todo modelo tem uma métrica de assertividade então assim traduzindo o modelo pode ser de 0 a 10 a nota dele então assim eu preciso de entrar na construção do modelo obter essas evidências de como ele foi construído e pegar essas métricas isso é gerado em qualquer

Linguagem de programação então eu consigo definir Olha você colocou em produção modelo que é CCO Então existe um grande risco de cada 10 ele vai acertar cinco então assim imagina tem um risco então assim o talvez a grande linha de de auditabilidade dos modelos é esse a outra eu posso decompondo como ele foi treinado com quais dados esses dados tinha significância estatística se não eu vou ver que tem vs Outra coisa quando a gente fala de ética de i o Banco central atualmente ele já audita os bancos os modelos de concessão de crédito eu não

posso usar um parâmetro de etnia um parâmetro de gênero para classificar isso não é ético entende inclusive até endereços se eu tenho uma região que eu tenho uma concentração maior de uma etnia nem endereço eu posso usar então tem os cuidados éticos com o algoritmo esses hiper parâmetros que são utilizados para classificar para para até fazer um modelo regressivo né olha Quanto você pode pagar então isso tudo tem uma rastreabilidade existem técnicas que eu consigo testar até I generativa né I generativa eu mesmo estou com o modelo que a gente percebeu Olha que interessante vocês

aí Ó esse modelo acertava 85% Hoje ele tá acertando 60 que que a gente percebeu pessoal chat ept 3.5 ele tá perdendo assertividade isso fo uma observação da comunidade por tá Todo mundo usando porque ele é free tá tendo muito injection de prompt ele perdeu assertividade Talvez ele tenha que ser retreinamento do 4.0 voltou a assertividade desta Nossa aplicação então o Diogo é algo que a gente tá tem que estar muito atento sabe a todo tempo para ver se ele não perdeu a a assertividade e corrigi-lo bom legal é mas Santana até nesse seu ponto

que você falou da Questão de ética né só vou aproveitar e fazer uma pergunta aqui que o luí trouxe ele coloca assim mas como que a gente consegue garantir de ética no modelo né uma vez que por mais que eu possa retirar dados geográficos de gênero mas ainda posso obter outros tipos de dados né então assim é difícil a gente falar de ética quando a gente tá tratando de um modelo né não mas até que não assim existe o o data Lineage a linhagem dos dados então eu garanto Ética primeiro sobre a concessão daquele dado

eu consigo ter todo desde que eu tenha a governança né por isso que são outros controles atrelados né então primeiro tem a governança tem esse dado eu posso usar eu tenho consentimento pode então tudo bem Então é fácil eu identificar Quais foram os dados utilizados dar um exemplo aqui para vocês né Eh a IBM tomou uma decisão no modelo deles de a generativa né o Watson x eles tomaram uma decisão De só treinar com bases de dados curada diferente do G diferente do openi a IBM Tomou essa decisão Lógico tá demorando mais tempo pro modelo

ficar assertivo mas eles estão tomando esse cuidado eles só eles não vão ter problema nenhum com propriedade intelectual eles estão curando estão verificando se tem um consentimento isso muito tempo então você vê tá todo mundo Aí as bigtec né Google Facebook e Microsoft com Open a só que a IBM agora está chegando que talvez para algumas empresas seja uma solução de problema né Eu tenho um modelo que é o único modelo do mercado hoje curado então assim Existe sim uma forma de eu garantir ética eu garanti que eu só vou usar dado que eu tenho

consentimento e que é permitido pela legislação atual local ou até dentro das boas práticas tá perfeito Santana e E aí nós temos Várias perguntas aqui no no chat mas eu queria também fazer uma pergunta aqui eh Porque durante a sua apresentação você falou muito da questão da importância da governança né E você falou inclusive que conselhos né têm cada vez mais buscado utilizar também a inteligência artifici ial no processo de tomar de decisão eh e O interessante é que tem um caso e não é recente é de 2014 de uma empresa da Ásia que chama

até anotei aqui chama Deep knowledge Ventures que é uma empresa que Trabalhava com com a parte de tecnologia aqui pro pro segmento de saúde e que lá em 2014 eles já tinham eh colocado uma inteligência artificial como um board member era o sexto membro do Conselho né Que legal é e você vê que 10 anos atrás né mas ao mesmo tempo a discussão que se tinha no mercado a época e eu acho que ainda fica Hoje é a questão de responsabilidade porque o que você falou não posso colocar responsabilidade uma hora que eu tenho Uma

inteligência artificial como board member numa decisão incorreta de uma inteligência artificial né então existe muita discussão quanto a responsabilidade então só queria aproveitar eh você disse que que enfim tem uma nova lei que sendo discutida no mercado né Mas como que essa questão de responsabilização corporativa tá sendo debatida no caso do uso da Inteligência Artificial né Excelente excelente pergunta viu Nesse caso aí quem admitiu como um um board member é o presidente do conselho certo a responsabilidade se a gente segue a linha do que o projeto prevê está na pessoa do presidente do board member

essa responsabilização pelo uso da ia é claro que hoje a gente até discutiu né E aí como é que eu vou validar uma informação gerada pela ia uma coisa que eu sempre falo a gente sempre coloca o homem no loop ou seja nós é que vamos julgar se tá certo ou se Tá errado então é muito importante isso por isso que a gente trabalhou nessa uma hora atrás falando do Risco falando do problema de Alucinação falando de viés Então tem que ter uma revisão humana eu até entendo até os o equipe médica a gente percebe

que ela usa a ia mas tem uma equipe médica também analisando aquela seja um exame de imagem e concluindo com a esses insites e a gente tem visto que isso tem aumentado a assertividade né Tem até um um estudo Esse estudo é bem legal maior médico analisador de imagem ele acerta 90% a equipe médica mais preparada acerta 92% a ia Tá acertando 94% Mas eles juntos sobem para 97% então eu entendo que a saída é essa a gente não pode ignorar a vantagem de ter ali como um board member algo que tem a capacidade de

ler de processar de resumir milhares de notícias no dia a gente não pode ignorar essa vantagem Eu acho que isso tem que ser atrelado à Minha vantagem competitiva e somar no meu processo decisório mas eu não delegaria nesse momento de maneira alguma para Iá seria um um baita de um risco Claro claro não e com certeza eu acho que a questão da responsabilidade corporativa ela tem que ser debatida de Fato né responsabilidade é da empresa é do owner do processo né enfim eh aqui eu acho que é um bom ponto e aí eh Santana tem

uma pergunta aqui que o Gabriel fez Logo no início da sua apresentação que Ele fala o seguinte né quando a gente fala de ia a gente tem uma preocupação grande com a questão de proteção de dados né né uma vez que você vai usar também isso para processos de auditoria interna contabilidade contas a pagar e outras áreas né Eh será que um caminho mais seguro né paraa questão da proteção de dados né poderia ser a companhia investir na criação da sua própria ia Como que você tem visto essa discussão e até mesmo a Claro como

que as empresas Né T TM visto essa questão da criação da sua própria a eu acho que aqui tem tem dois contextos tá Gabriel primeiro seguinte existe uma maneira segura de você não expor informação da sua organização para Open ai e outras empresas Então você consegue criar um contêiner e trazer esses modelos para dentro de casa a criação da própria ia eu acho assim impossível você criar algo melhor porque é Impossível a gente recriar um ambiente computacional necessário para treinar esses modelos bilhões de parâmetros eu acho que a gente tem que tomar proveito com uma

arquitetura segura então existem arquiteturas de referência para você manter esse ambiente seguro eu até diria nós da kmg a gente levou um ano para homologar essa ia e realmente garantir que nós não vamos Expor os dados dos nossos os clientes com uso dessa Inteligência Artificial não é fácil né Acredite Não é fácil mas tem uma arquitetura de referência sim que dá para ser usada e a e eu acho que o caminho é você tomar proveito de toda essa inovação que são investimentos bilionários que são feitos eu acho que é difícil ter como a gente diz

né bala na agulha para acompanhar toda essa inovação e não só isso você atrair os melhores talentos que eu acho que esse que é o desafio como é que você vai atrair teru poder computacional eu acho Que o caminho é uma arquitetura segura e acompanhar o melhor que tá tendo né e fazer uso eu vejo o seguinte usar essa tecnologia para criar soluções proprietárias aí é gol de placa viu Gabriel criar algo que só os seus dados TM por exemplo a gente tem aí uma um Moinho né de de de trigo que ele tem uma

um histórico de compras de trigo ele sabe o momento exato Por que não digitalizar esse conhecimento que vem de família numa Inteligência Artificial E aí sim ganhar competitividade Então eu ia nesse caminho aí Eliete perfeito Santana e aí eu acho que amarra novamente uma pergunta aqui do luí que ele falou o seguinte né e qual que é a periodicidade mínima para retreinar o modelo de a generativo generativo nossa vai depender bem do do uso viu gente a gente tem percebido aqui a gente tem treinado retre quase que mensalmente quase que Mensalmente a gente tem retreinar

significativas a gente tem utilizado né modelos que escolhem né entre o Lhama 3 que é do Facebook agora a gente incluiu o Gini é como se fosse o seguinte né eu vou analisar uma imagem né existem diferentes tecnologias de extração de ocr né eu extraio texto de uma imagem existem diferentes ferramentas a gente usa três então assim a gente usa a gente usa As três a que melhor performou a gente Segue o fluxo né então o que tá acontecendo hoje com Ativa é que quando Eu submeto uma tarefa seja ela de resumo seja ela de

leitura de um documento complexo como um edital onde eu tenho que extrair ali talvez umas cinco entidades a gente tem submetido para esses modelos e por que que a gente tem retreinar periodicamente porque eles têm evoluído por isso né Então até estabilizar a gente tá com essa Frequência bem significativa aí viu pessoal perfeito Santana eh nós temos uma outra pergunta que a Daniela eu lembro ela fez essa pergunta aqui na aula de de risco salve engano né Daniela eu acho que talvez se encaixa aqui com uma resposta eh muito conectada aqui com a sua aula

que é o seguinte eh Quais são as estratégias para fortalecer a implantação segura dos Smart contracts né contratos inteligentes por meio do uso da Inteligência Artificial não sei Qual que é a sua vivência e experiência com esse temo Sana Eu acho assim o Smart Contract por si só ele já é seguro desde que eu uso uma rede de blockchain pública ele já é seguro né então o que eu vejo aqui é uma Talvez uma combinação né eu vejo necessidades por ex de criptografia né Tem informações a gente mesmo tá passando por um processo onde a

gente tá implementando traceability né no agronegócio que umas informações apesar da gente usar blockchain público A gente vai criptografar aí sim eu uso a ia para criar uma boa criptografia para persistir nesses blocos então eu vejo que a junção de das duas técnicas eu vou garantir talvez nem segurança mas a privacidade daquele dado porque o a rede por si só é a mais segura é difícil você quebrar ali uma cadeia do blockchain Então tem que me poder computacional é gig haja GPU ali né e a gente só viu casos pelo menos que eu tenho conhecimento

né da de blockchain privada Né cor tem exemplos já mas a pública não ô Santana a gente tá falando muito aqui de Inteligência Artificial né e acho que Nem Há 3S Anos Atrás a gente estava falando de robotização certo que era automatização robotização quando que vem robô com Ai acho que já já está viu Diogo na verdade assim eh hoje as próprias soluções de automação eh a gente até tem um nome interno né de intelligent automation elas já têm inserido a Própria Inteligência Artificial então num fluxo vou dar um exemplo aqui de uma tecnologia né

sinal Power automated quando você cria um fluxo de automação ele já tem lá a leitura de contrato ele já tem análise de sentimento de um comentário já tá embutido até no power bi né se você quiser fazer uma análise de sentimento se você quiser fazer uma pergunta por um gráfico ele responde você pega um gráfico de linha hoje no power bi se teve um aumento você clica Naquela bolinha e pergunta assim por que aumentou cara impressionante se o modelo semântico tá legal do P daquele P rbi ele responde porque que teve aquela variação então a

gente que faz auditoria análise de variação Cara isso aqui é uma oportunidade que abre assim tremenda tremenda Então já está embutida né embedado né fala eh a ia em automação legal bacana Santana eh nós temos uma Outra pergunta aqui Do Gustavo que ele fala o seguinte né que pelo que foi colocado aqui durante a a sua fala né talvez fique um pouco mais claro aqui que o uso e controle né da Inteligência Artificial eles ainda talvez estejam mais focados ali na primeira e na segunda linha de defesa né então quem é que é o process

owner né quem tá realmente realizando no dia a dia ali seus processos né com os da Inteligência Artificial e a segunda linha talvez a Área de controle gestão de riscos Controladoria né na na facilitação ali de algumas atividades mas a pergunta dele é e com relação à auditoria né seria é correto né E aí talvez Vale também a sua experiência de mercado como que você tem visto isso na prá que a auditoria incorporaria uma nova vertente né para fazer o monitoramento contínuo né da da confiabilidade e assertividade eh da da Inteligência Artificial né desses desses

parâmetros Que que são criados porque a preocupação dele é com relação à Independência né se eu que sou da área queo estou validando os scripts né Quem que tá com um olhar mais independente Tendo certeza que ali a gente não tá criando algo que ilite uma manipulação uma projeção incorreta né que aí até amarra com uma outra pergunta utilização o a má utilização né da Inteligência Artificial Legal boa pergunta do Gustavo né vou trazer a experiência que a gente Tem lá com Banco do Brasil né o pessoal da audit então assim inicialmente a implementação dos

controles eu concordo com Gustavo é da segunda linha de defesa né ou seja quem quem vai cuidar disso né é uma área cífica lá eles tem um coi e a auditoria interna ela vai auditar os controles no início da implementação até se confundiu um pouco né eles cuidaram dessa desse monitoramento e depois entregaram né existe essa esse esse combinado né lá na audit eh e assim eu Vejo né mas a ideia é sempre manter a auditoria interna independente como terceira linha e deixar essa parte de controle de monitoramento para a segunda linha de defesa pode

usar as ferramentas como evidências de auditoria interna pode né ou seja eles tiveram que ser capacitados a entrar nos consoles né seja de machine learning Studio qualquer console que nos notebooks o que seja para de fato fazer As auditorias coletar as suas evidências mas no final manteve-se a independência cada um fazendo o seu trabalho e aí eu acho que entra o que você colocou da capacitação né ô Santana porque imagina o o olhar do auditor interno ele tem que ser muito mais amplo né reforça cada vez mais de você ter que ter um especialista lá

no dentro do seu do seu time né que que tenha o conhecimento além do que a gente já tinha tradicional dos ambientes de Controle Gerais de Tecnologia da Informação né você tem que ter um alguém que conheça Cyber Que conheça de novo essas novas tecnologias né entender realmente eh o uso né e e e eu fico pensando nisso Santana principalmente porque por exemplo eh em em processos de auditoria a gente fala muito de projeções financeiras é sempre uma área de risco uma área de foco né porque onde você pode ter uma projeção que leve a

uma manipulação de um número né E aí é Fácil você querer utilizar eh modelos preditivos com a inteligência artificial mas que não tem base nenhuma né E aí consequentemente enfim eu eu manipular ali os resultados Então a gente tem que ter muito conhecimento se aquilo realmente faz sentido né Eh aí eu vou fazer uma última pergunta por conta do tempo que foi feita pelo Denis que ele falou o seguinte quais processos da auditoria de ia ainda tem mais dificuldade de acelerar Ah com certeza é o momento final final né você conseguir validar o acompanhamento o

monitoramento do modelo pela necessidade de de ferramenta porque é impossível fazer na mão é impossível né é possível mas é mas é muito trabalhoso né eu garantir que o modelo não tem um drifting sabe e e hoje assim existem inúmeras ferramentas que fazem esse trabalho né de de observabilidade geração de alertas até até conectando né com as ferramentas de grc quando gera um Alerta lá de drift ele já abre um alerta já alimenta um risco já quantifica o quanto que aquilo pode gerar de impacto naquele negócio aquele modelo tá atrelado né então já vi soluções

né que que conectam isso tudo então é algo assim Espetacular o que a tecnologia também tem a nosso favor mas dentro daquele fluxo que eu comentei com certeza quando você coloca em produção né aquele implantar e evoluir é o mais eu diria né meus colegas falam mais Nervoso né de você fazer o acompanhamento sem ferramental Ô Eli deixa deixa eu aproveitar que a gente tem um ou dois minutos aqui e Santana eu acho a pergunta aqui é eu estaria do outro lado provavelmente fazendo a per por onde que eu começo com isso daqui né E

vamos pensar que aqui a gente tem pessoas a terceira linha de defesa primeira e segunda linha de defesa né então nesses nessas pessoas como que onde que eu começo o que que eu faço Qual que seria os próximos passos aqui legal legal bom acho que a primeira coisa Diogo que a gente sempre fala com os nossos clientes né a gente sempre começa fazendo um inventário Ok então como tá sendo usado que ferramentas então a gente começa com esse inventário depois com uma avaliação de maturidade a gente pega como parâmetro esse Framework do EA enrol a

gente faz um assessment para ver quais são os gaps né Aonde que tem menos Controle terceiro é implementar quarto capacitar o time para que aquilo se mantenha e quinto é monitorar então começa-se com deixa deixa só melhorar essa pergunta porque você partir de uma premissa interessante aqui você partir de uma premissa de que todo mundo já usa mas Ô Diogo é Inocência mas não éessa é uma pergunta minha também eu não sei é Nossa Inocência porque às vezes a gente não sabe e já tá sendo usado é isso exato mesmo que mesmo que não Oficialmente

certo todo mundo tá usando todo mundo eu Hoje fiz um né Fiz um uma uma uma um assessment né com alguns clientes e perguntei todo mundo tá usando inclusive assim eu não vou logicamente citar mas até o openi até tem tem pessoas assinando chat bt4 para acelerar a vida dele isso arrodo arrodo arrodo então assim Acho que a primeira coisa é o inventário outra coisa quantas Ferramentas São compradas com cartões de créditos que Fazem alguma coisa tem inúmeras Então esse Á é super importante né depois fazer um acess Beleza pode ser descentralizado né e geralmente

o uso tá descentralizado apesar de ter uma área né um coi que deveria governar mas hoje descontrolou descontrolou o processo e a gente sabe a gente viveu esse essa ansiedade até que você por algumas vias mais tecnológicas você chega a bloquear o uso de um site via regras de Fir você pode bloquear dentro da sua empresa mas Quando a pessoa chega em casa ele usa um computador pessoal e eu já escutei de diversas pessoas que usam para ler o contrato para fazer um plano de vendas né então eu acho que essa conscientização aí entra os

outros Pilares mas inventário depois fazer um acesso da maturidade de controle depois implementar esses controles né Depois se capacitar e monitorar grande né Santana porque aí você não foi você que treinou você não Sabe como que foi treinado você não sabe como que vai ser aquela conus né então é um risco aí interessante que os caras estão correndo né exato acho que hoje tá assim o caminho é você prover essa tecnologia de uma maneira Segura que foi um até um caminho que nós chegamos né a gente viu que tem que disponibilizar mas disponibilizar de tal

forma que a gente temha um controle que a informação não seja vazada que seja né um um um um chat IPT Privado não público então se a tecnologia tá aí todo mundo quer usar né o gartner apontou aí 92% dos profissionais atualmente no GL tão querendo aprender mais sobre I Então tem como evitar ah ninguém quer fazer mais trabalho braçal né Santana a gente quer ver o resultado e analisar né carig vídeo né Rep n faço por que eu vou criar todos aqu aqueles análises todas lá se ele pode entregar para mim eu mais ou

menos tomo A decisão o que aconteceu n Então acho que é mas chegou a hora s Obrigado aqui eu acho que obrigado vocês respondeu bem as perguntas que a gente temha todos os dias aqui acho que endereçou bastante a gente vai mandar o material aqui vou mandar o seu contato para todo mundo também que quiser mais conversar disso daqui a gente fala muito aqui de gestão de contratos acho que você passou por muito aqui um pouquinho mas é o tema que chegou muito pra gente Né Santana acho que essa é uma tecnologia que ajudou muito

a gente na gestão de contratos com outras soluções aí que você falou de robotização também né mas agradecer Santana Aqui pelo seu tempo apresentação foi muito boa acho que a gente fechou aqui com com com chave de ouro o tema do momento Eliete obrigado novamente aqui obrigado por todos os dias aqui a coordenação apresentação foi foi foi muito bom tê-la aqui no risky Journey 2024 e agradecer a Todos aqui pela presença nesses seis dias tivemos algumas milhares de pessoas né acho que a gente teve mais de Du ou 3.000 pessoas em todos os dias aqui

muitas perguntas a gente tá tentando entrar com as pessoas em contato com as pessoas também para ver se tem mais alguma dúvida que querem sanar e fica o nosso agradecimento aqui pela presença de todos aqui todo esse tempo tem muita gente ainda aqui online e estamos aqui disponíveis eh para qualquer dúvida que Vocês tenham espero vê-los todos os nossos diversos eventos que eu não vou citar como tem Risk Journey tem o o Eida do do Santana que a gente falou também e o nosso Rich Journey de 2025 que deve ser ano que vem um pouquinho

antes do carnaval um pouquinho depois do Carnaval Depende de quando é o carnaval que eu não sei ainda mas tá estaremos lá em 2025 pessoal Muito obrigado pela presença novamente e nos vemos Obrigado e boa noite tchau tchau tau Tchau obrig Gente obrigada