[Música] [Aplausos] B pessoal boa noite acho que a gente já pode começando ah sejam muito bem-vindas bem-vindos bem-vindos ao nosso meup de número 85 de data Science e machine learning ah hoje o tema do meap vai ser inferência calça a gente vai ter duas apresentações essa noite a primeira vai ser mais introdutória e a segunda vai falar mais Sobre inferência causal na prática hoje a gente tem dois convidados especiais a gente vai receber o Mateus facuri e o Rafael Bruce para falar desse tema pra gente e daqui a pouco eu vou passar eh a palavra
para eles mas antes disso eu só vou dar eh alguns recadinhos Então me apresentando eh rapidamente meu nome é leonardo eu sou engenheiro machine learning aqui na Bank e eu vou ser o host do meetup de hoje ah me inscrevendo brevemente eu sou homem branco cabelo e Barba pretos eu tô usando uma camiseta preta um óculos com armação transparente e aqui atrás de mim tem um fundo roxo do nu Bank onde tá escrito building nu para quem tá participando do nosso meetup pela primeira vez sejam muito bem-vindos o nosso meup já existe há pouco mais
de 8 anos e uma vez por mês as apresentações de hoje elas vão ser gravadas e depois a gente vai colocar lá no nosso canal do YouTube ah Building New então H se você tá aqui já assistindo a gravação H se inscreve no nosso canal a gente eh sempre vai postar aqui os vídeos das novas edições e você consegue acompanhar o que tá acontecendo para quem tá aqui no zoom com a gente ao vivo eu vou deixar daqui a pouco o link do do nosso canal aqui no chat para vocês darem uma olhada eh depois
ah no final das apresentações a gente vai ter um tempo dedicado para perguntas E respostas então aqui na parte de baixo da tela do zoom tem um botão de q&a eh fiquem à vontade para colocar as perguntas que vocês estiverem lá a qualquer momento durante as duas apresentações e mesmo que você não tenha uma pergunta logo de cara vale a pena dar uma olhada lá e votar nas perguntas que vocês acharem mais interessante No final a gente vai ler as perguntas mais votadas por vocês e os Nossos convidados vão responder no final do meap também
quando a gente vai encerrando deve aparecer para vocês uma janelinha do zoom com uma pesquisa bem curtinha a gente fica muito feliz se vocês poderem eh responder e hoje também a gente tem mais um um recado eh bem especial a gente vai sortear cinco cópias eh digitais do livro do Mateus facuri referência causal em Python então para você participar Você só precisa preencher um formulário a gente vai deixar o link eh no chat para vocês e nesse formulário você vai colocar o nome completo e o e-mail é importante colocar o nome completo de vocês não
só o primeiro nome Assim fica fácil a gente identificar o ganhador no final e confere eh bem o e-mail porque o livro vai chegar para vocês por e-mail a mensagem vai chegar por e-mail então o e-mail precisa est certo Ah e é isso ao longo das apresentações eu vou colocar o link para vocês algumas vezes do do formulário para ninguém eh ficar de fora então é isso recados dados a gente vai começar eh com o Rafael Bru eh Rafael o p pco é seu Opa obrigado pela apresentação Leonardo meu nome é Rafael eh só para
todo mundo ficar a parte eu sou homem branco estou de óculos eh barba para fazer cabelos caindo eh aqui no fundo eu ten homenagem californiana ponte com Niterói Francisco Eh e é isso de descrição para Cent Espero que todos estejam vindo Bem vou compartilhar a tela agora aqui ou a apresentação Então vamos lá essa apresentação aqui eu pensei ela no começo para fazer uma introdução básica a inferência causal depois eu vi que já tiveram duas ou três apresentações de causalidade aqui no que cobrir um pouco isso muito do assunto eh é coberto no livro do
paku então eu des Fazar uma coisa meio complementar então randomized tos são pensamentos aleatórios sobre causalidade como eu vejo ISO S aplicado da indústria hoje dia é coisa que eu acho muito importante na cabeça e o que eu acho que é uma aplicação interessante e que eh complementa um pouco o livro dele e complementa um pouco a própria apresentação dele hoje que é a aplicação geral a casualidade é uma coisa super interessante Eh eu vou tentar fazer o PIT de por isal vocês estudarem e talvez implementarem aí na que vocês trabalham então agenda de hoje
primeiro refletir porque saber impensa causal e por aplicar isso eh na indústria né então a gente tem seguinte questão maior questões acionáveis de negócios elas são causais né então a gente tem esse domínio de de questões correlacionais que são perguntas que a gente Seme tem na cabeça quando pensa Então a gente quer saber a chance do Consumidor não pagar sua conta eh em 30 60 90 dias a chance de uma transação ser prenta ou não Ou se ela é prenta ou não eh e qual a razão o contexto desse contatado a gente São perguntas uma
parte delas descritivas né a gente quer saber algo pegar uma informação perguntas acionáveis eu quero dizer perguntas que envolvem a gente puxar uma alavanca e saber qual vai ser a conscia dela então Eh quanto a mais Eh esse Consumidor gastaria se a gente aumentasse o limite de crédito dele is é uma pergunta cal quero saber como x apetar isso eh o quanto a atividade eh desse cliente aumenta se a gente otimizar o direcionamento de Push no celular dele na hora certa na hora que ele vai est olhando lá ou reagindo de maneira mais enfática eh
e como conversão eh desses clientes aumenta se a gente fazer se a gente decrescer a taxa de juros ofertada Para ele eh seja no no rotativo seja eh no empréstimo então assim modelos de machine learning são fantásticos para predição desse domínio correlacional questões de correlação para problemas causais são problemas eh que na minha cabeça pelo menos são as coisas que estão ali no fundo da cabeça de tá tomando Deão de negócio a gente precisa de modelos causais e de dados aleatorizados que são o o Brad and Butter assim a o insumo básico desse Tipo de
modelo Ok então tem uma uma coisa interessante por que que eu acho que é legal a gente estudar Isso especialmente dentro da indústria Tech e dentro do mercado eh apesar de assim tanto na academia quanto no de pesquisa quanto na na indústria Gentil usar dados e aplicar ensar usar estatística eh eu acho que o campo ideal para isso desenvolver é é no mercado é Uma empresa eh pesquisa assim me acadêmico matemática mesma estatística é mesma todo mundo Coda do mesmo jeito talvez a gente code mais por questões empregatícias mas as perguntas os problemas são diferentes
eu acho que os problemas eh tem muita interseção com eh coisas importantes pra gente então na academia a gente tá interessado em saber efeitos médios efeit famoso ate né efeito Tratamento médico a gente quer saber se x causa Y na média eu quero saber se dá uma vacina na média melhora a saúde de uma população quero saber se eh D rede contra mosquito eh numa população na África reduz a incidência de doença ali a pergunta é de sim ou não para decidir sobre uma política emé que a gente quer saber e na indústria a gente
quer saber eh questão de sensibilidade a gente quer saber esse efeito de tratamento médico só condicional a alguma característica Pra gente otimizar o direcionamento dessas desses tratamentos né então eu não quero saber só como se x causa Y eu quero saber como esse efeito de X em Y muda para diferentes populações da minha do meu do meu consumer baseou eh também população de dados ali eh além disso a gente tem que grande parte do desenvolvimento técnico em em per casual desenvolveu junto ali da tecnologia isso é mais recente do que a learning puro né que
já tem uma história longa com isso Eh porque na academia é um ambiente muito pobre de dados né então uma parte das técnicas são feitas pra gente eh driblar esse problema de falta de dados tem métodos aí como regressão descontínua vari instrumental de diferença que são métodos assim super bem cobertos em livos de cronometria estatística mas são métodos pensados para quem tá ali lidando com dado do censo com a penad eh ou com dado do pisa de educação uma coisa desse tipo são Assim poucas observações poucas colunas comparado ao que a gente encara no dia
a dia de uma empresa e assim e são geralmente a gente não tem muito controle sobre aleatorização quando C usar esses dados eh a não ser que você tenha a sorte de fazer uma parceria com o governo ou com órgão com o Banco Mundial tirando isso boa sorte de fazer um experimento aleatório controlado de uma população humana grande eh não é o nosso caso em Tec em tec epidemologia a Gente tem muito mais controle desse processo de gerador de dados que a gente pode desenhar ele com esse com essa finalidade eh para No final a
gente usar uma técnica e obter medidas eh eh confiáveis de de effect deito condicional certo é o que a gente quer saber e não é por falta de ferramenta que isso e não acontece a gente tem diversas ferramentas desenvolvidas por Empresas o FC é uma ferramenta Nossa bem que tá vocês podem acessar a gente tem vários módulos a que mexem com tarefas bem comuns que a gente faz aqui dentro eh que envolvem calidade tem o econel que é da Microsoft que eh tá sempre sendo desenvolvido eh baita pacote de de ferramentas de de causalidade e
também super bem documentado vez ou outra quero tiar alguma dúvida ele é um guia bem sumarizado de vários temas importantes e Tem um caus Melo p da Uber que também vem tem uma interessão grande aí com Mel então assim eh dá para fazer eh dá para usar as ferramentas no seu dia a dia eh sem você precisar fazer nada do zero tem um monte de coisas já pronta já bem feita já bem validada gente gente traz pensando eh isso se você tiver dados aleatorizados e de novo é uma condição eh bem importante para você fazer
modelos Cordais que é o nosso próximo passo que é parte da agenda que é ter dados aleatorizados é algo que na minha cabeça Pelo menos é não negociável eh eu acho que isso é pouco vendido tem uma dimensão humana que é um obstáculo humano para isso nem sempre é fácil fazer o PIT de que a gente tem que aleatorizar um tratamento aleatorizar alguma dimensão dos nossos dados para poder saber o efeito causal dela S nossos clientes mas eh a gente já faz Isso em uma pequena escala com test a mas eu vou dizer porque que
isso tem que ser idealmente ampliado eh de um jeito mais vou dizer contínuo então isso aqui eu roubei do do Neck de um colega nosso aqui o Juliano Garcia eh no crédito qu comece crédito eh esse é é um eh é um pit porque a gente quer fazer experimentos aleatórios de maneira Correta o que quero dizer correto aqui experimento aleatório contr controlado ideal na tecnologia é um teste AB ou um teste abcde com vários tratamentos diferentes que tem as seguintes características ele tem um esforço contínuo então S experimentos que rodam por um longo tempo não
é uma coisa One shot não é uma coisa nemum experimento a eh simples que o pessoal do marketing vai lá e roda e deixa algumas semanas colando depois tira e olha ali para Algumas poucas pessoas não quer pegar ali uma porcentagem da nossa clientela de um produto e naquele pensava bastante e El atualizar um tratamento relevante pra gente a gente vai querer de vez em quando voltar naqueles dados e retimar uma política em cima daquilo O Bom de ter um tratamento rodando por muito experimento rodando por muito tempo é que a gente sempre vai ter
dado não viesado e nunca vai ser pego com guarda baixo no sentido que a gente sempre pode Eh retimar eh o a nossa política dado que a gente observa nesses dados aleatorizados como são aleatorizados são não vizados is permite que a gente otimize eh algumas dimensões Como qual taa de juros dá para uma fatia de clientes ou qual eh principal de empréstimo ou qual você pode imaginar qualquer outra dimensão e qualquer outra alavanca que a gente queira puxar como uma empresa de tecnologia o problema disso e é um Problema eh político interno de qualquer isso
não é nosso é qualquer empresa que vá tentar fazer coisa é que Esso é costoso é isso é muito mais costoso do que fazer só um teste AB adoc pontual responder uma pergunta simples você espera que isso aí fique rodando alguns meses no mínimo eh e também que tenha um seja bem pensado bem discutido qual vai ser o conjunto de parâmetros testados que cobre ponto de interesse então a gente Quer saber quais coisas a gente vai querer otimizar e qual o Range de otimização a gente vai querer impor com essas coisas prange já autorização que
impor essas coisas então otimizar o passo de juros eu quero ali ver eh de quanto a quanto eu vou querer eh aleatorizar eh dentro do razoável eh no longo prazo sab talvez eu ten que subir lá pra frente para níveis que hoje em dia não parecem razoáveis ou Desc não sabemos eh Então por exemplo como é que eu posso estimar a tax de juros eh no meu npv né no meu minha política de npv para atualizar a minha minha pólice deificação então dado de taxa de juso aleatorizado para clientes a gente US esse dado para
estimar o efeito não viesado como ele aleatorizado el não correlacionado com todo o resto eh das das coisas observáveis eu posso confiar que esse efeito que eu Mesto correlação que eu Mestre tem interpretação causal correto Por ser autorizado e esse esse tipo de teste autorizado ele vem em vários sabores geralmente idealmente el seria um teste totalmente nalizado havia ali um Range de preços de 1.5% a 14.5 de juros pegava uma parte da população e sorteava esses caras cada preço para uma chance igual de ser sorteado eh você pode imaginar que virar para alguém que vai
aprovar isso e propor não parece politicamente ótimo né então nem parece Economicamente ótimo porque envolve uma perda eh de dino como o modelo causal seja Fantástico eh não é o ideal eh o que não quer dizer que não possa ser eh ajustado então uma outra alternativa eh que é menos custosa e é mais fácil de mais fácil de aprovar eh é a gente fazer um teste aleatório condonal teste aleatório estratificado então por exemplo dada alguns grupos de risco de Def né em empréstimo a gente tem uma classificado esses caras com Modo preditiva mesmo a gente
tem uma classificação de risco a gente vai alator ia ali preços dentro dessas bandas a gente tá distribuição para cada grupo de risco diferente ele é autorizado mas ele é autorizado dentro de cada Distribuição e cada dentro de cada Band de risco e cada Band de risco tem sua própria distribuição de preços autorizado certo isso parece complicado mas é fácil de resolver também já vou nesse ponto e O caso mais complexo é quando é além disso a gente não tem eh positividade no sentido de que a gente tem alguns preços eh não não podem entrar
nesse teste então eles são censurados são cortados o teste e aí complica mais um pouco eh mais difícil de usar mais fácil de aprovar pessoal vai gostar que vai ser menos arriscado toda a autorização envolve sair de um baseline que é julgado como ótimo eh Então não é o ideal mas ée é o mais Fácil de aprovar Então qual vai ser a cara desse negócio né então aqui eu tenho na coluna da direita eu tenho três eh distribuições de preço cada tom de verde aí é um grupo de risco e cada distribuição dessa aleatorização que
eu fiz em cada banda de risco isso aqui não é um dado real não isso aqui é sintético Então o que tá acontecendo aqui lá embaixo última linha ali último gráfico é o cenário ideal para alguém Que fazero casal eu simplesmente sorteei preços com a mesma distribui são distribuições muito próximas eh que não variam de bando de risco a bando de risco aqui eu tenho que a distribuição de preço é não correlacionada com a banda de risco basicamente Então tem que controlar por isso eh o outro caso o caso acima o caso do meio ali
é o caso que cada banda de risco ali cada grupo de risco tem uma distribuição uma aleatorização própria Assim grupo médico grupo Alto grupo baixo tem ali recebe sua própria se própria sorteio Zinho de de preços a serem julgados e o último ali em cima vocês podem ver que na no grupo verde claro ali tem com parábola de baixo tem um corte grande ali que tem vários preços que não são incluídos a gente tem o caso mais crítico né que é vários preços não são incluídos nessa banda de risco baixo é assim nos nos outos
casos de cima onde tem algum condicionamento a Gente teria que desar fazer o famoso debias nesse caso como que eu faria isso eh tem dois jeitos um jeito que esse nome complicado f l com um teorema que sim ele é simples Apesar do nome complicado o que eu faço eh eu rodo uma regressão do meu tratamento contra as coisas que determinam a locação de tratamento pego o resíduo disso depois eu vou no meu target rodo esse target pto essas coisas termina tratamento pego o resíduo disso e rodo o resíduo contra Resíduo eu tô matando a
variação eh correlacionada a esse tratamento a essa locação não aleatória do tratamento to deixando ele aleatório ex aleatório e tenho fazer isso com também com reponderação da amostra via peso eh via esp Então como nesse meio que a gente tá a gente geralmente tem controle do process gerador de dados a gente sabe exatamente qual foi a regra que regiu eh est de autorização Eu sei eu sei exatamente como tá lá na ET e a Probabilidade de alguém com o risco x eh receber um preço Y eu sei isso com isso eu posso desenv minha amra
só repolando ela por essa probabilidade e deixar todo mundo como se tivesse a mesma chance de eh de levar o preço Então são pequenos ajustes que podem ser usados quando a gente politicamente não não consegue fazer o caso de baixo puramente aleatório e dando um salto super grande aqui pro dando um Fast FR enorme Eh uma aplicação que eu acho que é muito relevante eh de C idade que também usa dado aleatorizado e assim eu consigo enfatizar o suficiente isso para você fazer modelo causal você precisa de dado aleatorizado alum dimensão pode ser condicionalmente atualizado
mas tem que ter eh peras causais tem que ter isso todos os métodos que eu podia ter mencionado aqui agora e que são cobertos samente documentados Então você tem Metal learners você tem Double machine learning você tem cales você tem um monte de coisa que se alguém quiser posso mandar referência vários convers PR livro a ser sorteado no mas eu vou coisa não é coberta Liv que eu acho interessante e que provoca eh alguma felicidade aem mim como economista que eu acho que é bem uma aplicação muito canônica do que a gente sabe que a
gente faz em pesquisa em Economia que é que a gente chama de modelos estruturais então eu chamo aqui de neuron Networks for domain driving causal então é como você impor conhecimento de domínio eh em um modelo causal colocando restrições a ele para você tirar coisas dele que faç sentido e OB ter parâmetros dessas formas funcionais que descrevem esse comportamento que você sabe como funciona a forma você rege primeiro é matar essa ideia eu Botei o título a pior headline que você já viu na sua vida que é uma matéria da Wire de 2008 que começo
do h de machine learning é o fim da teoria eh a inundação de dados faz o método científico obsoleto que é uma paspalhões fada eh que é uma Para Não Dizer palavrão eh que fizeram que eu acho que o a a coisa da ral ela força aplicar em causualidade ela força você pensar em Teoria de cara o que que quer dizer com isso eh tem um doento recente de vários papers super bem publicados e gente muito importante eh que trata de como aplicar a rede neural para responder perguntas causadas se você tá pensando pô Bruce
eu vi lá que tem um paper que fala que para tabular é só rodar gradient boosting só rodar o ex Boost que vai melhor que Regal verdade mas isso que é uma tarefa causal não é uma tarefa preditiva a predição realmente se Eu assim na você pensou predição pensou tabular você vai no Rent boosting na hora nesse caso não é tão direto e para esse caso específico eu quero responder aqui menos ainda nesse caso Reginal faz sentido e eu não tô fazendo nada aqui dessas aplicações hypadas de eh imagem e large language mod isso aqui
são as coisas que pagam conta efetivamente data Science dado tabul n não é post no mínimo coisa que paga tanto então é isso aqui Eh Por que usar R General então R generalis causais tem são são muito boas porque elas permitem o que a gente chama de eh modelagem estrutural permite que você imponha eh conhecimento de domínio como uma forma funcional que descreve um comportamento Então vamos supor que eu tenho uma reta uma fórmula ali a + BX ou a men BX melhor que escreve uma curva de demanda ela é inclinada assim né então quanto
maior o preço menor a quantidade Demandada eu quero saber a inclinação desse negócio eh eu sei tenho na minha empresa preços aleatorizados eh e eu tenho quantidade demandada eh assim via reged junal eu consigo de cara tirar um modelo que eu consigo prever a partir das features para cada cliente qual vai ser a inclinação essa reta dessa dessa prova de demanda certo então permite que eu imponha essa forma funcional Se eu quisesse consider outra forma funcional Se eu quisesse uma Exponencial negativa que descreve esse comportamento ou uma coisa mais fence eu também poderia fazer eh
eu posso facilmente em bed né colocar ali insites microeconômicos e restrições de positividade no nesses parâmetros na própria rede de cara né não é é só de aplicar sei lá uma um Neo de ativação um rel ali eu tô matando coisas negativas deixando S positivo aparecendo então é fácil no regen impor esse tipo de coisa então com dado elizado eu consigo Estimar esses Deep struct parameters com sensitividade a preço isso é muito similar a toda uma discussão que tá rolando em pesquisa acadêmica aí mesmo do pessoal de física que trabalha com laboratório e tudo mais
tal de physics machine learning e physics inform ne Networks porque é é basicamente você não jogar no lixo conhecimento que você tem de leis que regem comportamento eh de no caso deles de objetos ou de Tículas ou coisas assim eh e só deixar o o dado falar por si mesmo que é uma baboseira dado não falar por se mesmo a gente toma decisões de modelagem mas é tomar decisão de modelagem com eh Teoria com coento de domínio em cima não Sea nem se a teoria Econômica pode ser um insite de negócio que alguém da sua
empresa tem muito claro cara tem que ser assim se não tá vindo assim é porque tem pouco dado porque tá mal menado eh então é é um jeito fácil de você Implementar esse tipo de coisa como que é isso tô acabando já e aqui você tem a cara de uma rede um multi simples né então você tem ali no comeos input os features tem uma série de hiden layers uma série de camadas ali que vão uma fábrica de salsicha que vai processar esses caras ali no penúltimo l tem os parâmetros dessa dessa forma funcional que
você quer essa curva que vão ser jogados nessa loss function que tem o modelo Eh Y ali o output Né o tratamento que são os preços al autorizados e os parâmetros da da curva Então o que a gente quer fazer aqui nessa rede a gente quer Minimizar essa loss function determinada aqui que você se P um sei lá uma curva de demanda de um cara que comprou ou não comprou alguma coisa nãoe comprar ou não comprar uma coisa binária Então se eh essa loss function deve ser uma log loss né uma decisão eh de uma
de uma sigmoide no Final né então Eh esse tipo de coisa acho que fica mais claro né então aqui nesse caso o que ele fez ele impôs ele falou o seguinte olha essa curva aqui é linear tem um teta 1 um teta do que são função de todos os features anteriores esse T2 aqui é inclinação da reta que m implica esse preço e esse Gir aqui no caso pode ser uma sigmoide que determina se cara demandou ou não demandou isso aqui Imagina que aquele 1 sobre 1+ X elevado a menos essa xonga aqui toda entendeu
eh então isso aqui permite que eu da rede tire esse parâmetro teta 2 que a inclinação da reta que é a função desse monte de feature então para cada cliente que for aparecer para mim eu consigo pegar desse cara eh prever qual seria esse esse parâmetro profundamente causal dele ali que é a acessibilidade dele a preço o quanto ele reage a uma mudança de preço que é que a Gente quer saber depois a gente pode ordenar isso segmentar nossos consumidores e direcionar preço eh de um jeito que seja que eles convertam e que a gente
eh consiga gerar receita serja mutualmente benéfico como a gente espera que seja uma transação Econômica correto e enfim é isso acho que eu falei um pouco rápido mas espero ter deixado também tempo pro faul pode falar tá Nossa não precisava ter pressa não porque o meu é mais Talvez seja um pouco Mais longo mas valeu obrigado pela presença cheio de O bom é que você falou várias coisas que vai me ppar de ter que fazer introduções vamos lá tão vendo aí só me dá um sinal de que dá para ver as coisas Bru você consegue
ver dá para ver Valeu bom então é antes de começar um Pouco sobre mim eu eu tô usando óculos sou também um homem branco Eu geralmente não uso barba mas faz tempo que eu não tenho tempo de fazer a barba eh eu tô com cabelo curto e uma camisa preta do NOB também eu sou formado em economia eu entrei no Bank para trabalhar principalmente em modelos de crédito mas eu tive uma breve passagem por marketing trabalhei bastante em collections collections é quando a pessoa fica atrasada e a gente Tem que a pessoa e lá a
gente trabalhou bastante com eh reinforcement learning que foi que na verdade Me interessou Antes de eu começar a trabalhar com inferência causal e a gente vai falar um pouco sobre isso nessa apresentação eh depois disso eu virei um um gerente de pessoas perdi a minha humanidade A Minha Essência a minha vontade de viver aí eu voltei para trabalhar com cartão de crédito aí eu decidi que eu não Queria mais ser um Manager voltei a trabalhar mais como uma pessoa técnica assim né então começo agora eh e Ultimamente eu tenho trabalhado bastante com modelos causais para
para crédito então é basicamente esse o resumo vamos agora paraa apresentação eh eu vou dar um exemplo aqui que é um exemplo de crédito mas porque é mais fácil de eu pensar que eu trabalho todo dia mas assim só para deixar claro isso aqui é dado simulado não é nada de dado De cliente nem é assim que a gente faz no nubank é mais um problema Dame assim e acho que também é um problema uma versão muito mais simplificada do que que a gente faria aqui do que a gente faz aqui no B mas acho
que é bom ter um exemplo para tornar as coisas um pouco mais concretas Então acho que primeira etapa dessa palestra a gente vai só falar sobre o exemplo que vai ser eh entender como otimizar uma política de crédito então para entender como Otimizar uma política de crédito acho que a primeira coisa que a gente tem que entender é como que a gente perde dinheiro então o lado das despesas de um banco né então como que que um banco perde dinheiro então basicamente quando chega o dia de pagar a fatura do do cartão ou na hora
que chega o dia de pagar um empréstimo eh pagar parcela de um empréstimo o cliente Ele toma uma decisão n ele pode ou pagar pro banco ou ele pode não pagar pro Banco e a gente perde dinheiro quando o cliente toma a decisão de não pagar isso é que a gente chama de custo de risco né então eh a gente pode falar que a gente pode tentar modelar isso aqui como uma probabilidade a probabilidade do cliente de tomar essa decisão de não não se pagar né e é um evento binário ou o cliente paga ou
ele não paga e a gente pode modelar com alguma coisa como se fosse uma logística E aí se a gente tá tentando entender se a gente tá tentando Alocar como o bru tá falando o preço né que no caso o preço de um banco a taxa de juros Então se a gente tá tentando eh entender como que o a taxa de juros impacta nessa decisão do cliente não pagar a gente coloca aqui a taxa de juros é geralmente a gente coloca ela como um izinho né de interest rates a gente coloca numa pode colocar uma
logística aqui e a gente vai ter essa curva em S aqui falando que ah conforme a gente aumenta a taxa de Juros talvez a gente Atraia clientes que são só os clientes mais arriscados né os clientes bons eles não vão querer pegar empréstimos numas taxas muito muito altas e é por isso que o risco sobe conforme a gente aumenta taxa de uso e aí a gente modelou eh o principal componente de de custo de um banco que é probilidade do cliente não pagar o empréstimo eh isso aqui é é uma probabilidade Mas a gente pode
converter isso no valor Monetário né Se eu pegar esse esse risco aqui então a chance do cara não pagar e multiplicar por pela quantidade de dinheiro que ele pegou emprestado então a gente pode modelar o tanto de dinheiro que a gente vai perder simplesmente pegando a chance dele não pagar vezes o tanto de dinheiro que ele perdeu e a única coisa que se faz é sair de um eixo que era de 0 A1 para um eixo que é um eixo monetário n de zer zer a sei lá vamos dizer que esse cliente aqui ele Pegou
R 1000 então tenho aqui a a a me que o custo o lado dos dos custos da do meu problema de otimização vamos falar assim Beleza então ess é o lado do custo né Agora se a gente quiser otimizar se a gente quiser fazer um problema a gente tem que também modelar do lado das receitas né vamos manter as coisas bem simples vamos falar que a gente só tem uma receita que é a receita de juros tá eh O que que é a receita de juros é vamos supor que você tá a fim de ir
no Show da Taylor Swift e só que você não tem dinheiro para isso então você vai lá e pega um empréstimo e aí o combinado disso é que você vai pagar mais do que o que você pegou emprestado e o mais além do que o que você pegou emprestado vai ser definido por pela taxa jos eh então tem aqui uma uma equação um pouco parece um pouco complicada né então tem a taxa de juros mais um vezes a quantidade que o cliente pegou vezes eh e com um período exponencial é uma Fórmula um tanto complicada
não importa muito vocês não prão entender muito a fórmula mas basicamente isso aqui tá falando que é e esse lado eu não sei se vocês vem meu mouse mas espero que sim esse lado aqui da esse primeiro componente dessa fórmula aqui é o quanto de receita que esse cliente vai me gerar para esse imprestimo e o final dele é um menos o risco que é simplesmente a probabilidade do cara pagar a gente né então se o risco é a probabilidade de Não nos pagar um menos o risco é a chance do o cara pagar gente
eh se a gente plotar essas receitas pela taxa de juros a gente vai ter eh um um formato um pouquinho esquisito né conforme E por que que ele tem esse formato um pouco esquisito eh nessa simulação aqui é Porque conforme eu vou aumentando a taxa de juros né então se eu aumento a taxa de juros aqui eu ganho mais mais vou ganhando cada vez mais e mais e mais dinheiro né só que a partir De certo ponto se eu aumentar muito a taxa de juros lembra que a minha taxa de juros impacta o risco também
né então ache chance do cara pagar vai caindo cada vez mais conforme aumenta a taxa de juros e chega o momento que ela vai para zero receita lá F penga lá para zero porque os caras não estão pagando e o cara não paga não tem receita de juros então por isso que ela tem esse formato um pouco um pouco bizarro pronto então meio que isso Resolveu Então a gente tem o lado das despesas a gente tem os lados das receitas se a gente pegar um menos o outro e somar a gente vai ter uma função
que é em economia a gente chama de problema da firma ou função da firma Mas que nada mais é do que uma função de que diz para cada taxa de juros possível quanto de dinheiros que a gente vai ganhar né E essa função ela vai ter um ponto de ótimo e a gente vai querer dar a taxa de juros que maximiza maximiza a Quantidade de dinheiros que a gente vai dar então matematicamente isso nada mais é do que achar arg Max significa Qual que é o juros que maximiza essa função aqui e essa função aqui
nada mais é do que as receitas e as despesas conforme forma a gente viu lá nos slides anteriores eh uma coisa importante aqui tá quando a gente tá falando de taxa de juros ótimos é importante falar que isso não é a mesma para todos os clientes vão Ter clientes que são mais sensíveis à taxa de juros são clientes que são menos sensíveis à taxa de juros eh vão ter grupos de clientes né então que para o qual se eu aumentar a taxa de juros os clientes bons vão sair mais e aí eu vou aumentar o
risco dos meus empréstimos se eu aumentar muito a taxa de uso tudo isso para falar que a gente não tá falando aqui de uma única taxa de juros ótimo tá dependendo dos parâmetros Dessa função de risco eu posso ter uma ou outra eh taxa de juros Ótimo então aqui eu simulei algumas né então para todos esses empréstimos são empréstimos com 24 parcelas Só que variando os parâmetros A e B aqui da minha função risco então em Em algumas situações eu vou ter uma taxa um um um ponto de ótimo e para taxa em taxa de
juros mais altas em outras situações eu vou ter uma taxa de juros ótima mais baixa que vai ser ditado Principalmente por esses parâmetros aqui aliás esse processo inteiro ele é muito simples a gente pensar o que que a gente não sabe né então se a gente olhar essa equação inteira aqui o que que a gente não sabe na hora que a gente vai dar um empréstimo então eu sei o quanto que o cara pediu que é o amount aqui eu sei quanto de dinheiro que ele está pedindo uma coisa conheci o i é justamente que
eu quero definir né então isso aqui é a variável do problema o t que é o número De parcelas eu também sei né o cara fala quantas parcelas em quantas parcelas ele quer pagar então a única coisa que eu não sei aqui é o risco a única coisa que eu vou ter que estimar nesse problema simplificado é o risco dada a minha taxa de juros que eu abri aqui só estou Relembrando que é uma função que a gente tá falando que é uma função logística então o única variável desconhecida aqui que a gente vai ter
que se preocupar é o risco isso Simplifica bem o o o nosso problema ou seja se a gente é Beleza então vamos refrasul O que que a gente tá interessado em saber a gente tá interessado em saber o risco contrafactual e o contrafactual aqui ele tá denotado porque é o risco em função da taxa de juros né O que quer dizer que dependendo da taxa de juros eu vou ter um risco diferente Então isso que ele por isso que eu tô falando com compra Factual dependendo das características dos clientes e isso tá simplesmente me falando
que dependendo do meu tipo de cliente que eu tenho eu posso ter um o um risco que ele é maior ou menor ou ele sobe mais rápido ele sobe mais devagar dependendo de como eu varia a minha taxa de juros tá então isso que é o x tá fazendo aquilo tá simplesmente falando que dependendo do meu perfil de cliente e o perfil de cliente é definido pelas variáveis dos clientes que eu Conheço por exemplo é score no Serasa eh quanto de dinheiro tem na conta então quantidades informação que eu tenho dos clientes Então dependendo dessas
informações eu posso eh achar curvas de risco por juros diferentes Então ess isso é um problema fundamentalmente causal né Eu tô tentando entender como que o risco responde a taxa de juros dado as covariáveis do cliente Esse é o problema eh a forma que a gente tá pegando o Problema de otimização que a gente apresentou e formulando ele de uma maneira causal Beleza então a gente formulou o problema e agora a gente vai pros dados a gente vai tentar como que eu resolvo esse problema usando os dados que eu tenho né então primeiro coisa que
a gente tem que notar aqui é que se a gente simplesmente usar os dados que a gente chama de observacionais Ou seja que não vieram de nenhum experimento a Gente vai ter um problema e por que que a gente vai ter um problema porque normalmente os bancos eles cobram mais juros de clientes que são mais arriscados ou seja o banco vai esperar um retorno maior quando o risco também é maior então se a gente eh colocar num gráfico aqui né o risco o o risco dos clientes ou de um grupo de clientes dada taxa de
juros a gente vai ter esses pontinhos azuis aqui né E esses pontinhos azuis se a gente tentar Ajustar uma uma logística aqui ele tá sendo muito mais inclinada do que a curva real que eu usei para gerar esses dados que é essa curva laranja aqui né E por que que isso tá acontecendo porque os pontos azuis eles não podem a gente não pode interpretar de maneira causal essa relação entre juros e risco nos pontos azuis porque os pontos azuis aqui à direita do gráfico esses carinhas aqui aonde tenho mais juros são clientes que eles são
Inerentemente mais arriscados E por que que são mais arriscados porque o banco escolheu dar taxa de juros maiores pros clientes mais arriscados e escolheu dar taxa de juros menores paraos clientes menos arriscados então a causalidade tá meio reversa aqui né não é que se eu aumentar a taxa de juros eu vou ver esse aumento exorbitante no risco é o contrário o fato de eu ter um risco maior fez com que o banco decidisse dar uma taxa de juros maior então a gente Inverteu a causualidade isso tá causando o viés que a gente tá vendo aqui
por isso que a curva de risco ela tá muito mais inclinada do que a curva real bom isso é um problema né se a gente tá t a gente quer estimar essa curva real aqui a gente quer saber o contrafactual ou seja o que que vai acontecer com o cliente se eu pegar os juros e aumentar os juros dele e se eu simplesmente usar esses dados observacionais eu vou achar uma relação muito mais inclinada do que A relação real Como que eu posso resolver isso Ah sim antes disso se vocês gostam de grafos né uma
forma de pensar isso é que a gente tem a taxa de juros aqui sendo o i e a taxa de juros a gente quer estimar essa relação da taa taxa de juros com risco O problema é que essa taxa de juros ela não é aleatória né Ela é causada pela política do banco de como alocar as taxas de juros né então o banco define como alocar taxa de juros e essa política por sua vez é Baseada em modelos de crédito ou variáveis que a gente sabe dos clientes como renda presumida e de novo scor de
Serasa quantidade de dinheiro que tem na conta etc etc então todas essas variáveis elas definem a política de alocação de de taxa de juros que por sua vez define a taxa de juros e dado tudo isso né a gente tem o que a gente chama de um caminho não causal que ele tá fluindo eh assim por Trás por essas variáveis aqui então na hora que a gente tentar estimar a relação entre juros e risco a gente tem que fechar esse caminho aqui eh que tá o que a gente chama confundindo a gente tá causando o
viés aqui qual que é a boa notícia né se a gente olhar esse gráfico aqui a gente conhece ou supõe-se que né o banco conhece a forma como ele alocou a taxa de juros né então isso aqui é 100% conhecido né o Banco sabe exatamente Por que ele deu a taxa de juros Ah eu dei uma taxa de juros alta porque o meu minha previsão de risco para esse cliente era alta então também dei uma taxa de juros alta dei uma taxa de juros Baixa porque a minha previsão de risco para esse cliente era baixa
então dei uma taxa de juros baixa então a locação né em termos e de inferencia causal a gente fala que o a locação do meu tratamento no caso a locação da minha taxa de juros ele é Completamente conhecido né Eu não tenho nenhum que a gente chama de variável confounding desconhecida né não tem nada que eu não consigo mensurar aqui que é um confound então eu consigo observar todos eles Isso é muito bom porque isso faz com que uma das principais a gente possa fazer uma das principais hipóteses que a gente precisa para fazer esse
tipo de estimação que é a hipótese de de Cia né de de independência de independência Condicional então condicionando a política de crédito eu consigo saber estimar a relação causal entre juros e risco ou seja eu consigo fechar esse esse esse caminho né esse esse Backdoor path aqui eu consigo fechar ele controlando pelas minhas políticas de crédito Então essa é a boa notícia a má notícia é que isso normalmente é determinístico né então dado as variáveis dos clientes ou dado uma previsão de risco pro cliente a política Que vai decidir Ah para cada risco previsto o
juros vai ser alguma coisa e essa alocação de de taxa de juros ou alocação de tratamentos ela geralmente é determinística né ela não tem nenhuma aleatoriedade nisso o que que isso implica é que a probabilidade do tratamento condicionado às variáveis em termos mais técnicos ela vai ser ou ou zero ou um ou seja o cliente ele vai receber aquela taxa de juros ou ele não vai com probabilidade zero ou um isso é Ruim porque viola embora a gente tenha uma das principais a gente possa assumir e Independência né a gente sabe que se a gente
controlar pela política a gente tem Independência A parte ruim é que a gente viola outra hipótese que a gente precisa para fazer inferência causal que é positividade né os clientes não t probabilidade eh menor do que um ou maior do que zero ou seja seja o cliente ele só vai receber aquela taxa de juros ele não pode receber nenhuma outra se Ele tiver aquela previsão de risco ele nunca vai receber nenhuma outra taxa de juros além daqu A que ele recebeu então isso é ruim porque viola a positividade quando a gente tá E isso isso
faz com que a gente não vai conseguir eh estimar bem esse essa relação entre taxa de juros e risco Qual que é a saída a saída mais tradicional é ou a gente faz algum tipo de teste ou a gente usa experimentos naturais né Então por exemplo pode ser que em algum momento o banco trocou a política de taxa de juros então num dia tava com uma política que dava sei lá juros baixo e aí no outro dia tava com uma política que dava juros alto a gente pode eh usar essa diferença que é quase aleatória
né Foi simplesmente um dia arbitrário que decidiu fazer essa troca de política e usar esse tipo de experimento ou se a gente conseguir né o BR já falou de das várias dificuldades De por que isso é difícil de fazer mas só para no ar exentos vamos supor que a gente consiga aleatorizar a taxa de juros tá então vamos assumir aqui que a gente consegue aleatorizar taxa de juros só para simplificar o meu exemplo E com isso a gente resolveria os dois problemas né a gente teria os dados eh a gente teria a relação real entre
juros e risco que agora a gente alator zou e a gente também teria positividade então a gente por de de novo é aleatório né Todos os clientes têm uma chance maior do que zero e menor do que um de receber uma ou outra taxa de juros tem várias formas tem várias complicações ainda aqui né porque taxa de juros é um que a gente chama de um tratamento contínuo então ele não é um tratamento binário e fazer desenhos de experimentos de tratamentos contínuos não é tão simples né então a gente poderia por exemplo usar uma uniforme
para mostrar as taxas de juros a gente poderia mostrar só nas Duas pontas né então a mostrar a taxa de juros mais baixa e mais alta nas duas pontas E no meio enfim tem n formas eu acho que infelizmente a gente não tem muito tempo adoraria falar um pouco mais sobre isso mas o importante aqui é só dizer que a gente consegue eh aleatorizar a taxa de juros tá então vamos supor que a gente conseguiu aleatorizar taxa deo e vamos agora só dar uma recapitulada então onde que a gente tá né Beleza a gente tem
dados Observacionais e a gente vai ter muitos dados observacionais que são os dados de juros decisões de juros que a gente fez no passado então o banco já fez várias decisões de juros no passado a gente observou viu o risco dessas pessoas o problema desses dados é que eles são viesados porque o banco tende a dar juros mais altos para clientes que são mais arriscados então nos nesses dados observacionais a relação entre juros e risco ela é mais inclinado do que a Relação real para resolver esse problema a gente pegou dados em que a taxa
de juros era aleatória então a gente aleator isou a taxa de juros e com isso a gente consegue estimar a relação real entre risco e taxa de juros né a gente consegue fazer com que acertar exatamente ali a inclinação entre a taxa real eh achar exatamente a inclinação da taxa real vocês podem ver nesse gráfico aqui da direita que o se a gente ajustar uma Regressão logística aqui tá por essa linha verde ela passa bem em cima da da da relação real que eu usei para gerar esses dados então a gente já tem isso né
só que tem problema isso aqui nos dá a rel a a relação média entre juros e risco lembra que a gente não tá interessado em relação Média a gente tá interessado em relação entre juros e risco dependendo do perfil de cliente Então dependendo do perfil de cliente eu vou ter uma curva de risco mais Inclinada ou menos inclinada que vai me resultar num ponto de ótima mais à direita ou mais à esquerda então isso aqui só não é suficiente eu vou precisar achar diferentes curvas eu vou ter que estimar diferentes curvas assim dependendo do perfil
de cliente tá então só lembrando que a gente tá interessado aqui se a gente for falar Tecnicamente num problema de heterogeneidade no efeito de tratamento nesse caso tratamento é juros então tô tentando Achar clientes que respondem cujo risco muda de maneira diferente dependendo da variação da taxa de Então é isso que a gente tá Tent Interessado em fazer aqui beleza como que a gente então organiza esses dois dados né então a gente tem uma uma grande quantidade de dados observacionais e a gente tem uma pequena quantidade de dados e experimentais em que a gente alator
os juros grande quantidade de dados não eh não aleatórios e uma pequena quantidade De dados aleatórios agora os dados aleatórios Eles são muito preciosos pra gente porque a gente sabe que não tem nenhum viés neles e tem positividade então eles são lindos ótimos para estimar fazer qualquer coisa relacionada a inferência causal Então nesse caso a coisa mais sábia se fazer é vamos estimar a nossa relação n vamos modelar vamos ajustar os nossos modelos nos dados observacionais que é onde a gente tem a maior quantidade de Dados só que vamos validar nos dados experimentais e por
que isso a gente precisa confiar muito nas nossas validações a gente precisa saber que ah se eu tô falando que o meu modelo vai dar isso de dinheiro ele precisa de fato dar isso de dinheiro e a melhor lugar para fazer isso é nos dados experimentais onde a gente sabe que não tem pz nenhum onde a gente não tem que se preocupar com confound nem nada então por que a gente tem muito pouco né como A gente tem muito pouco dado inv vez de jogar eles no nosso modelo a gente vai reservar eles só para
validar Eles são muito preciosos a gente precisa confiar muito bem na nossa validação Então vamos separar eles só para validar Então beleza isso me deu o seguinte né eu ajustei um modelo para prever risco dado a taxa de juros nos dados observacionais eu validei esse modelo nos dados experimentais e eu vou usar esse modelo para locar as minhas taxas de juros Futuro uma vez que eu já estiver feliz com esse modelo já tiver validado esse esse modelo vou usar esse modelo agora para alocar as próximas taxas de juros né eu vou usar aí para definir
a taxa de juros ótim e um pequeno detour né como que a gente pode ajustar esse modelo acho que não é o o foco dessa palestra mas só pra gente ter alguma coisa para se basear é qualquer modelo de machine learning que use como variáveis as covari dos Clientes taxa do Serasa etc etc etc e o tratamento que no caso é taxa de juros eu posso usar esse modelo para fazer eh previsões contrafactuais né então por exemplo uma vez que eu treinar o modelo com taxa de juros e as variáveis dos clientes para prever risco
eu posso pegar esse modelo e falar e perguntar chega um cliente eu falo Ah modelo qual seria o risco desse cliente com a taxa de juros um qual seria o risco desse cliente com a taxa de juros dois qual Seria o risco desse cliente com a taxa de juros três então para o mesmo cliente eu posso ir variando a taxa de juros e ver qual que é a previsão que ele cola isso vai me dar uma previsão contrafactual para cada eh para cada tratamento que eu plugar nesse modelo tá então a gente vai fazer um
modelo desses Light gbm pode ser qualquer modelo pode ser uma rede Nal mas aqui vamos usar um l gbm simplesinho E além disso n a gente vai usar outro modelo né Então uma pequena melhora que a gente pode fazer nesse modelo é o seguinte a a gente sabe que esses dados observacionais onde a gente vai treinar esse modelo eles são vizados Então posso tentar desenv esse esses dados com alguma técnica de desenv momento como por exemplo um modelo de propen score modelo de propen score ele vai ser o modelo auxiliar que vai tentar prever Eh
o meu tratamento ele vai me dar probabilidade daquela taxa de juros Acontecer E aí eu consigo usar essa probabilidade para desenes os meus datos E aí eu treino no de novo eu treino um Light gbm um modelo de machine learning nos dados desenv agora e faço a mesma coisa que eu fiz com o modelo eh anterior então eu simulo várias taxas de juros pro mesmo cliente veja o que acontece no resto dessa palestra Eu Vou Chamar esse esse modelo aqui de modelo observacional ou modelo não causal e eu vou chamar esse modelo aqui de modelo
Causal porque esse modelo ele tenta desenv os dados observacionais usando técnicas de de inferencia causal né de desenes momento só pra gente ter duas coisas para comparar e pra gente começar eh Isso vai ser interessante na hora que a gente começar a falar de avaliação de modelos então beleza Fui lá peguei esses dois modelos essas duas formas de modelagem treinei nos meus dados observacionais e agora eu vou pegar esses dois modelos e eu vou fazer Previsões nos meus dados aleatórios estou fazendo previsões nos meus dados aleatórios os e eu estou computando a métrica de performance
nesse caso eu tô fazendo um R quadado eh entre o entre os meus dois modelos então tanto o meu modelo observacional que é aquele que não corrige os dados vizados e o modelo causal que usa o propen score or ou Inverse propensity Waiting por isso que tem esse iptw aqui então ess o azul é modelo causal eu Estou usando o modelo causal também para fazer previsões E aí eu tô vendo qual dessas previsões é mais acertiva e notem que curiosamente nesse caso aqui o modelo não causal que não faz nenhum tratamento nos dados ele tá
performando melhor nos dados aleatórios tá então isso aqui é validando nos dados onde eu performe o experimento onde não tem viés nenhum o que é muito estranho porque o modelo que eu treinei em dados viesados está melhor em dados não em viesados Dados atrios do que é um modelo que eu treinei nos dados enviesados corrigindo pro viés Então isso é muito estranho né Como que o modelo causal Tá performando pior do que o o meu modelo eh não causal e aqui na esquerda né Isso aqui é só previsão de risco Mas eu também posso ver
eh eu posso ver qual que seria o quanto de dinheiro que esse esses dois modelos Eles teriam gerado para mim né como eu tô com com dados simulados eu posso Fazer essa simulação e ver ah se eu usar o modelo causal para tomar decisão se eu usar o modelo observacional para tomar decisão consigo ver o que que teria acontecido eu consigo colocar os intervalos de confiança e mostrar que isso não é um fenômeno de de aleatorização de fato eh de fato aqui Ah desculpa uma coisa é se a gente pegar esses modelos e fazer isso
o que acontece é o inverso né o modelo causal Ele tá gerando mais dinheiro então tá gerando algo em torno de r$ 166 e r$ 178 para cada empréstimo enquanto que o modelo observacional tá me gerando menos dinheiro em torno de 1.010 E 10.020 então a gente tem outro problema aqui o modelo primeiro o modelo causal Ele parece performar pior em termos de prever risco mas ele está me dando mais dinheiro o que que isso significa é que eu tenho um descasamento entre a minha métrica de avaliação e o que de fato Importa paraa minha
empresa que é gerar dinheiro né então o modelo está parecendo pior Na verdade ele está gerando mais dinheiro e isso é muito ruim quer dizer que eu não posso confiar na minha métrica de avaliação porque a minha métrica de avaliação não traduz em dinheiro no final isso é uma coisa que a gente vai ter que resolver então a gente vai falar mais sobre isso agora por que que isso acontece né então o que que tá acontecendo aqui E por que Que parece que o modelo causal tá performando pior é do que o modelo não causal
mesmo que o modelo causal ele Gere mais dinheiro para minha empresa se a gente plotar lado a lado as decisões ou seja as taxas de juros que eu vou escolher usando o modelo não causal e o modelo causal a gente nota já de cara uma coisa muito interessante o modelo não causal ele tá alocando taxa de juros máxima 20% para uma grande quantidade de clientes Tá e se a gente olhar as taxas de juros nos meus dados experimentais ou seja o azulzinho a gente vê que não tem quase ninguém ali que a gente deu 20%
aleatoriamente então o modelo causal o modelo não causal Ele toma muita decisão só que essas decisões não estão sendo avaliadas nos dados aleatórios porque eu não a minha aleatorização ela não foi tão longe até o 20 por tá então pode ter ali um problema de validação porque eu estou não estou conseguindo avaliar Todas as minhas decisões né Eu só tô conseguindo avaliar aqui na região azulzinha Mas o modelo tá tomando decisões lá na frente lá no 20% né então isso talvez mostre porque que e avaliação pura nos dados aleatórios não está refletindo a performance real
do modelo e não causal já o modelo causal se a gente olhar a o o verdinho e o o azulzinho a gente vê que o verde e o azul eles estão eles TM muito mais overlap o que que Isso quer dizer que a decisão que o modelo causal toma ela está contida dentro do meu dos meus dados experimentais então a performance do modelo casual é muito mais realista nesse sentido ou seja se a gente olhar voltar aqui nesse gráfico né eu deveria confiar muito mais na performance que eu estou medindo no meu modelo causal no
azulzinho do que a que eu estou medindo no meu modelo observacional e o motivo disso é porque o modelo observacional Não causal Ele toma decisões muito fora de onde eu tenho dados experimentais para validar então isso já mostra já é um problema e a gente vai tentar ver como resolver esse problema a forma mais simples de resolver esse problema é a gente vai pegar os dados observacionais e a gente vai aplicar Inverse prop Waiting para eles também o que que isso faz é o seguinte a gente pega as a vai pegar a distribuição original de
taxa de juros e Vai tornar essa distribuição eh uniforme eu vou pegar e o o o por que que isso acontece é porque eu tô pegando todos os os dados que T baixa probabilidade de acontecer e eu tô ponderando eles para cima né então tudo que tem baixa probabilidade de de acontecer eu estou multiplicando por um peso muito grande e tudo que tem alta probabilidade de acontecer eu estou multiplicando por um peso muito pequeno então o que que isso vai acontecer ele vai achatar o pico da Essa Distribuição e alargar as bases Então se a
gente pegar os dados aleatórios e aplicar o essa técnica de Inverse propen wearing ela vai pegar essa distribuição que era antes centrada em 10 e vai tornar ela mais ou menos uniforme né Na medida do possível de como que a variação dos meus dados permitir ela vai tentar tornar esses dados o mais próximo de uniforme possível E aí eu posso voltar e refazer essa validação então vou fazer vou Avaliar os meus modelos não só nos dados aleatórios mas nos dados aleatórios reponder para parecerem que a taxa de juros foi amostrada de uma distribuição uniforme e
se a gente voltar e fizer isso aqui agora o modelo causal ele performa melhor tá então se a gente fizer isso o modelo causal perform melhor Só que tem um problema né a gente vê que tem vários eh wiggly wiggles ali várias dessas curvinhas aqui que quer dizer que ao fazer isso a gente tá Aumentando a varian do nosso estimador eu já vou falar por que isso acontece esse gráfico aqui da direita ele a gente pode ignorar ele por enquanto Beleza então a gente conseguiu corrigir a nossa métrica então agora a gente tem uma métrica
de avaliação que ela casa com que de fato eu observo né então o meu modelo casal ele tá performando melhor e ele está gerando mais dinheiro Isso é muito bom eu casei a minha métrica de avaliação com quanto De dinheiro que eu tenho o modelo que performa melhor segundo essa meta também é um modelo que gera mais dinheiro mas tem um problema que ainda tem uma grande variação né Tem muito isso aqui tá tremendo muito né vai ter um intervalo de confiança é muito grande essa métrica e a gente ainda vai falar como reduzir esse
intervado de confiança e agora a gente já tá entrando em terras de reinforcement então o que que seria Muito ótimo né então o que que seria o que que a gente vamos só recapitular o que que a gente tá fazendo aqui ao pegar a minha distribuição de dados aleatórios e reponder ela para que ela apareça uniforme o que que eu estou avaliando né o modelo que performa bem numa distribuição de juros uniforme ele performa bem para qualquer taxa de juros que eu defina tá então esse modelo que performa bem numa distribuição uniforme vai performar Bem
para qualquer taxa de juro seja 4% seja 20% porque todas elas têm a mesma probabilidade de acontecer isso quer distribuição uniforme Mas será que eu quero um modelo que performa bem para qualquer taxa de juros porque se a gente for pensar né Na hora que eu for alocar as minhas taxas de juros eu não vou alocar elas de maneira uniforme eu vou alocar elas de uma com uma distribuição meio arbitrária né então tem uma distribuição como eu tô mostrando aqui No gráfico da da direita né provavelmente eu vou ter algumas taxas de juros muito alta
algumas taxas de juros baixas e assim por diante então eu não quero avaliar o meu modelo numa distribuição uniforme eu quero avaliar o meu modelo na distribuição de juros de que ele faria né então meu modelo ele vai gerar uma distribuição de taxa de juros que são as taxas de juros que eu vou alocar Com base no modelo que eu tenho o que que isso quer dizer né Idealmente o que a gente quer fazer é eu tenho a minha distribuição de dados aleatórios Só que eu não quero avaliar o meu modelo nessa distribuição de dados
aleatórios por quê essa distribuição de dados aleatórios ela sei lá tá centrada em 10 às vezes 10 nem é a taxa de juros mais interessante interessante que eu vou dar no futuro né então não necessariamente os meus dados aleatórios eles vão casar com os dados que eu vou dar na vida real então eu quero fazer Isso quero justamente sair dos meus dados aleatórios e chegar na distribuição de decisões que o modelo vai tomar E para isso a gente usa uma técnica que chama important sampling eh basicamente consiste em ponderar todos as amostras dessa distribuição aleatória
por pesos em que o denominador é a distribuição de origem e o numerador é a distribuição de estilo é confuso mas a gente já vai fazer um passo a passo então primeiro passo né eu ten os dados Originais aqui seguindo essa distribuição de taxa de juros Primeiro passo é aplicar o Inverse prop pen weing que que o Inverse preferen weing faz ele vai transformar os dados numa distribuição uniforme a gente já viu isso acontecendo Então ele faz com que antes eu tinha uma distribuição de 10 era o mais provável e agora eu tenho uma distribuição
onde todas as taxas de juros são são iG igualmente prováveis E aí eu vou pegar essa distribuição aqui De cima e eu vou multiplicar pela probabilidade do meu modelo escolher aquela taxa de juros ou seja da minha política escolher aquela taxa de juros que é a probabilidade de eu escolher a taxa de Dad das variáveis X então aí eu saio da minha distribuição uniforme e vou para uma distribuição que é a distribuição de decisões que eu de fato vou tomar em produção e assim é um completo processo só mais uma vez dando mais um Um
um exemplo e mostrando um e e agora a gente vai entrar em o por que isso vai aumentar a vença do nosso estimador vamos supor que eu tenho esse cliente aqui que ele tem essas essa variável x não importa muito que ele é e a taxa de juros que eu dei para ele foi um 1% certo só que a taxa de juros que a minha política vai alocar vai ser 13% então o meu modelo por Qualquer motivo o modelo que eu escolhi Ele Escolheu dar 13% para esse cliente então eu tenho eu peguei esse mesmo
cliente eu gerei várias cópias desse cliente Cada uma com uma taxa de uso diferente que é a taxa de uso que eu poderia dar E aí eu vi qual que foi a taxa de juros que o meu modelo de fato escolheu então meu modelo escolheu 13% o que que significa né que a probabilidade do meu modelo escolher se é uma política determinística vai ser sempre zeros e Ela vai ser um no se ele vai ser um aqui para essa linha de 13% né porque ele de fato escolheu essa linha O problema é que aqui eu
tenho um descasamento entre o que eu gostaria que acontecesse 13% e o que aconteceu que é 1% se eu tenho esse descasamento basicamente tenho que jogar fora esse dado porque o meu modelo ele tava falando que ele queria 13% então logo a probabilidade do modelo escolher a taxa de juros um que é o que aconteceu é zero Então se a gente voltar Aqui né basicamente tá falando que o numerador aqui esse numerador vai ser zero eu vou descartar esse dado Isso vai acontecer muito né eu tô basicamente avaliando só onde colidem o que aconteceu de
fato e o que o meu novo modelo gostaria que acontecesse então isso faz com que eu jogue muito dado fora e aumenta a minha variância então outra forma de ver isso é lembra que esses aqui são os nossos dados aleatórios né a gente amostrou a Gente pegou dados aleatórios onde seguindo essa distribuição cujo a taxa de juros mais provável era 10 só que o meu modelo que eu tô querendo avaliar nesse caso aqui é o modelo não causal lembra que ele dava muitas taxas de juros lá no 20% só que eu tenho muita pouca amostra
de 20% nos dados que eu nos dados aleatórios que eu quero né então o que que vai qual vai ser o resultado disso eu vou dando importância Ou seja eu vou aumentar muito a Ponderação desses dados aqui no 20% Então vou pegar esse esse pinguinho de dado aqui que eu tenho no 20% e vou dar um peso enorme para eles vou falar que esse dado aqui é super importante para mim tá E isso vai ser um problema isso vai ser um problema porque isso vai dar uma baita variância isso vai dar um intervalo de confiança
enorme porque eu t dando muita importância para uma região onde eu tenho muito poucos dados né E aí se eu fizer essa dação né então Aqui o que eu tô fazendo é eu tenho os meus dados reais que são azulzinho e eu tô aplicando o Inverse o o important sampling tanto pra política do meu modelo causal que seria o laranja quanto pra política eh do meu modelo eh ao contrário Gente desculpa eu tô dando o laranja seria a política do modelo não causal e o verdinho seria a política do modelo causal E aí a gente
vê que tá dando essa grande importância ali no 1.20 e como tô dando muita importância Para um ponto onde eu tenho pouco dado eu vou ter esses intervalos de confiança São enormes aqui tá então isso é um problema mas já é uma forma bem interessante porque agora eu não estou mais validando O que que a gente ganhou com isso né antes eu tava avaliando o meu modelo em dados uniformemente distribuídos né então eu estava perguntando Ah esse modelo aqui ele vai performar bem independente da taxa de juros que eu escolher na hora que eu Estou
usando important s agora o que que eu estou falando esse modelo aqui ele vai performar bem nas taxas de juros que ele escolher então o modelo vai tomar decisões e ele vai performar bem nas decisões que ele vai tomar e a gente conseguiu fazer isso pegando a distribuição de dados aleatórios e transformando essa distribuição de dados aleatórios na distribuição de dados que o modelo vai gerar Então é isso que a gente ganhou com com important s agora a Gente tá avaliando as decisões que o modelo de fato vai tomar e não qualquer taxa de juros
a gente tá avaliando as taxas de juros que o modelo vai dar quando ele for paraa produção só que o problema disso é que a gente tem interval longes de confiança né justamente porque a gente vai ter que jogar muito dado fora na hora que a gente fizer isso tudo bem vamos supor que a gente fez isso e a a gente viu ah não a gente Baseado nessa informação a gente sabe que o modelo mesmo com intervalo de confiança a gente viu que o modelo causal ele ainda assim tá performando melhor do que o modelo
não causal Então se a gente fosse escolher entre um desses dois modelos a gente iria com causal Então beleza vamos pegar esse modelo causal de fato tomar decisões com ele só que agora eu vou olhar o meu dado de outra forma tá agora quem está tomando a decisão é o Meu modelo causal Então o meu modelo causal vai gerar os dados observacionais Eu ainda tenho dados experimentais onde eu Alert orizo a minha taxa de juros só que a grande quantidade dos meus dados vem de dados onde o modelo causal tomou a decisão de juros mas
agora em vez de tratar isso como coisas separadas eu vou tratar como um único blob Zão de de dados em que eu vou estimar e avaliar o meu modelo e isso vai me gerar a minha próxima geração de modelo causal então Nos dados que o meu modelo causal v1 gerou agora eu quero treinar o meu modelo causal V2 e como que a gente vai fazer isso tá isso permite que a gente consiga observar todos os dados como não determinístico como uma política não determinística e aí permite que a gente consiga usar os dados observacionais também
para validação Então vamos ver um exemplo de como eh isso aconteceria como que a gente consegue juntar esses dois dados para tanto treinar quanto Validar primeiro se a gente tem um dado que ele não é experimental né ou seja ele não não ele foi essa decisão foi tomada pelo meu modelo causal esse dado não veio do dos meus dados aleatórios então ele tá aqui com um zerinho no eh se ele é experimental só que a chance dele eh a chance dele dele cair no Meu experimento é 33% então a chance dele não cair no Meu
experimento é 66% Então qual que é a chance desse desse cliente aqui ele ter a taxa de juros que ele teve né Essa taxa juros de de 88% aqui a chance de juros a chance o o o propen score dele a chance dele ter essa taxa de juros é a chance dele cair no no no set que ele caiu ou seja dele não cair no experimento 66% vezes a chance dele ter aquela taxa de juros dado que ele não caiu no experimento como qualquer coisa fora do Experimento é determinística a chance de ter aquela taxa
de juros dado que ele não está no experimento é sempre um então o propen score final ele nada mais é do que a chance do cara cair no grupo não experimental nesse caso aqui 66% e no caso experimental é igual a gente tinha antes só que agora a gente vai multiplicar o propen score que a gente tinha antes pela probabilidade de Cair no experimento que vai ser sempre 33% para todo mundo só que o interessante disso é que agora consigo usar os meus dados não experimentais como se fossem dados experimentais isso é muito interessante eu
consigo colocar um propen score consigo atrelar um propen score diferente de um para dados que não são experimentais E no momento que eu tenho o propen score no momento que eu consigo esse propen score aí eu consigo fazer o Inverse prop Waiting e eu consigo fazer importance sing com os dados observacionais também o que me permite ter uma quantidade muito mais brutal de dados eu tenho agora os dados observacionais e os experimentais no mesmo dataset eu consigo fazer importance sampling com eles então se a gente pegar agora os dados observacionais e experimentais eu tenho um
pull de dados muito maior e eu consigo usar isso para Fazer a minha validação mais interessante do que isso é os meus dados observacionais Eles foram gerados pelo meu modelo causal v1 como a gente já é muito difícil o meu modelo causal V2 tomar decisões loucamente diferentes do meu modelo causal v1 provavelmente as decisões que eu vou querer avaliar no meu modelo causal V2 elas estão próximas das decisões que o meu modelo causal v1 Tomou ou seja as decisões que eu quero tomar no futuro elas estão casando com as decisões que eu tomei no passado
na maioria das vezes então não vou ter esse problema que eu tinha aqui no passado né de o modelo que tomava muitas as decisões numa região onde eu não tinha dados porque agora eu sempre vou ter não sempre mas assim é muito maior a chance de eu ter gerado dados n na região que eu quero avaliar porque as minhas decisões elas não vão variar muito de Uma versão para outra do modelo e por conta disso se a gente pegar o modelo causal e agora avaliar esse mesmo modelo causal mas usando também as decisões que ele
gerou eu consigo diminuir muito o meu intervalo de confiança E aí eu o que que eu estou fazendo aqui agora é eu estou usando tanto os dados experimentais e os dados observacionais para validar Aquele modelo causal que eu tinha diminuir muito o intervalo de confiança N e depois disso meio que é só pegar o que a gente já fez e repetir com mais eh cada vez mais e mais e mais então antes eu tinha eh o modelo causal v1 que tava tomando as decisões que tava gerando meus dados observacionais eu tinha um pequeno P de
dados experimentais mas isso vai continuar com passar do tempo tempo né Isso me fez com que eu consiga estimar o modelo causal V2 esse modelo causal V2 por sua vez vai alocar vai gerar novos dados e esses novos dados Vão ser os dados observacionais do Futuro Mas eu também vou ter um uma uma pequena quantidade de dados experimentais sendo gerado E aí eu pego essa esses novos dados que são gerados e jogo de volta ali nos no meu P de dados total que eu vou usar para minha próxima geração de modelos e isso isso agora
sim se tornou um modelo um muito parecido com uma um Framework de reinforcement learning em que eu tenho um modelo que ele é treinado nos meus dados passados e Ele toma decisão essas decisões por sua vez vão virar dados na qual eu vou gerar minha próxima interação de modelo que vai gerar novos dados que eu vou usar esses dados para gerar minha próxima interação de modelo e assim por diante Então isso é um modelo de reinforcement learning não tão tradicional no sentido que ele não necessariamente precisa ser retreinar automaticamente Pode ser que tem um ser
humano lá retreinar esse modelo a cada geração mas ainda assim o Feedback entre dados passados gerar o modelo tomar novas decisões observar o que acontece pegar esses dados das decisões tomadas colocar de volta lá no Pool de dados treinar a nova geração de modelos Esse é o ciclo que tem o modelo de reinforcement learning que é o que o modelo de forment learning ele itera né como que ele vai sempre se atualizando então A ideia é a gente consegue ver qualquer processo de a gente consegue olhar né a avaliação e o ajuste o treino A
estimação de modelo causal como simplesmente um fluxo de reinforcement learning Onde eu consigo usar as técnicas de reinforcement learning como offline policy evaluation consigo pensar em estratégias de de amostragem talvez mais mais interessantes do que puramente aleatório que foi o que a gente usou aqui então consigo usar essas técnicas de reinforcement learning para um modelo causal e outra forma também que a gente pode ver é que talvez e acho que essa é A minha visão eu acho que reinforcement learning nada mais é do que outro nome para inferência causal ou vice-versa inferência causal é outro
nome para reinforcement learning as diferenças são que em reinforcement learning a gente fala que a gente tem um um uma variável resposta que é o y a gente também tem isso inferência causal a a gente tem variáveis x que em reinforcement learning a gente chama de contexto e a gente tem a ação né que é a decisão que A gente quer tomar em reinforcement learning e na inferência causal a gente chama de tratamento Então para mim a gente tá falando das mesmas coisas simplesmente usando nomes diferentes a a gente pode pegar Mita dessas técnicas de
reinforcement learning e aplicar em modelagem causal para melhorar cada vez mais o nosso processo de tomada de decisão Então foi uma palestra mais longa um pouco técnica o código que eu usei para gerar todo isso daqui todos Esses gráficos tá tá no github e vai est disponível também no no PowerPoint do da palestra boa obrigado Mateus eh a gente tá no finalzinho do nosso tempo a gente não vai conseguir ler todas as perguntas mas vamos tentar passar por algumas delas uma duas eh e aí no finalzinho a gente faz o sorteio dos livros pode ser
Ah bom vamos lá então eu vou ler aqui a pergunta E aí Rafael Mateus fiquem à vontade para para para responder ah a primeira pergunta que eu vou ler é Pode acontecer de uma variável que tem efeito causal significativo não ser importante num modelo [Música] preditivo você quer responder ou vou eu Bruce pode começar pode pode tá pode sim e tem muito muitos casos que o tratamento que você tem tem pouco efeito tá então por exemplo vamos supor que como eu já trabalhei Collection dar um exemplo de Collection você quer fazer com que o cliente
pague o que ele tá devendo e você quer testar o efeito de 1 e mail Pô o um e mail vai ter um efeito muito fraco né Então as coisas que definem seu cliente paga é será que ele perdeu o emprego um monte de outros fatores e o e-mail vai ter um efeito muito fraco na chance do cliente pagar se a gente simplesmente pegar esse esse e-mail esse tratamento tacar no modelo causal como os que eu apresentei aqui o os modelos Que o Bruce falou eles T umas técnicas para contornar isso mas se a gente
simplesmente jogar isso no modelo e o que provavelmente vai acontecer é que o modelo de Light gbm ou qualquer modelo vai simplesmente descartar essa variável como não importante boa h para a próxima pergunta a eh vocês podem falar um pouco sobre o ciclo de vida e monitoramento de modelos causais Quais são os principais desafios E mric eh posso começar falando aqui depois o Mateus complementa é olha o que acontece geralmente com modelos causais é que a gente monitora eles usando métricas eh a gente não tem o rock LC modelo para usar né então o to
kit básico de science não seão diretamente o que a gente faz é que tem métricas geralmente na literatura de de lit né então a gente sei lá segmenta os consumidores e vê como eh o a Distribuição acumulada do target comporta para cada cada segmento daquele eh é um jeito da gente medir com bem modelo tá a gente pode observar como esse uma área entre a área acima dessa curva comporta longa do tempo se ela tá caindo se ela tá subindo eh a gente pode monitorar eh a métrica nesse sentido mas eh Não essa é uma
área muito complicada eh de casualidade eu acho que começo desse ano teve um paper que basicamente falava Olha não tem a gente não chegou Um ponto que a gente tem uma métrica eh ren Now assim eh para modelos causais é diferente geram conclusões diferentes muitas vezes então o que a gente faz a gente geralmente olha com a curva de laicidade acumulada de sensibilidade acumulada e a curva de ganho acumulado que são eh Curvas da litologia pro lif geralmente boa quer completar Mat só essa apresentação ela justamente surgiu acho que de um desconforto que o Bruce
tivemos no começo do ano que é Justamente isso tipo é muito treta fazer validação e eu acho assim eu estou querendo apostar que coisas como offline policy evaluation são muito interessantes para isso é justamente você tentar avaliar a decisão que seu modelo Vai tomar em produção Tá mas é difícil para caramba de fazer tá então embora que com dados simulados ali maravilhosos não é algo fácil de fazer mas é uma coisa muito treta Acho que sim a a validação de modelos causais Eu acho Que eu diria que é nosso maior desafio hoje em dia boa
eu vou pra próxima pergunta então aqui é em política tem o adverse selection eu consigo usar inferência causal para esse problema tem cheirinho de acho mais você eu não sei o quanto que tá eu acho que são problemas se dados né porque o o que eu entendo como adversário é o seguinte vamos supor que Você tem uma das variáveis do seu modelo que é a renda que o renda declarada você pergunta pro cliente lá Quanto que você ganha E aí ele pode mentir E aí ele pode gamificar isso ele pode mentir o quanto de renda
que ele ganha para tentar enganar o modelo tá isso parece ser o Esse é um problema que ele é igual tanto para modelos causais quanto para modelos de de machine learning tipo se o se a pessoa que está sendo escorada tá tentando enganar o modelo ela pode Enganar tanto modelo de previsão quanto modelo causal modelo causal você pode também ver ele como modelo de previsão contrafactual Então nesse sentido Eles são muito parecidos e o problema ele é similar tá tanto para modelos causais quanto para modelos de machine learning normal só complementando aqui eu concordo acho
que é exatamente isso usuário adversarial vai ter não importa eh Qual modelo que você tiver usando eh eu acho que assim não é não é algo de Modelo causal talvez tenha como a gente eh como vou dizer otimizar o jogo Tero de usal um plan dos jogos né eu passo um preço pensando que esse cara pode ou não eh mentir algum feature eh dado que ele pode mentir algum feature qual seria o preço ótimo eh tem teria como Inter analisar isso a gente teria que mapear conjunto de ações possíveis seria seria algo computacionalmente e analiticamente
Chato de fazer assim chato sentido não parece interessante mas parece eh mais complicado do que como ele dá não tem jeito dier boa eu vou Oler então a última pergunta Ainda tem mais algumas mas a gente não vai conseguir ler todas e aí a gente pula pro sorteio Beleza então a próxima pergunta eh é poderia clarificar no Framework de reinforcement learning Quais são os estados ações e as recompensas eh tendo dados passados para Decidir tomar uma decisão não fere o conceito de marcov de somente considerar dados do Estado atual bom Então nesse caso né nesse
exemplo que a gente deu o estado seria as variáveis do cliente né eh acho que uma forma se você for pra literatura de reinforcement le que é mais parecida a que a gente chama de contextual Bandit então o Estado seria variáveis do cliente como a renda que o cliente tem naquele momento eh o scord seras que ele Tem naquele momento Então esse é o estado e o as ações seriam nesse caso juros aquilo que eu falei o ação é justamente o tratamento sobre as a as ação de marcov Eu ainda tô usando dados passados né
eu sempre estou usando dado da geração anterior para gerar a próxima geração de modelo e aqui é diferente de reinforcement learning é uma versão mais de novo é uma versão mais simplificada de um reinforcement learning que a gente tá acostumado com aqu de joguinhos né se A gente vai pra literatura de contextual Band você pode também pensar como reinforcement learning que tem um único estado tá então só eu tenho só uma chance de de ganhar ou perder o jogo ten uma única ação eu decido Qual que é a taxa de juros e baseado nisso terminou
o jogo então é um jogo de uma única etapa acho que essa é a melhor forma de pensar mas de novo a literatura que mais se traduz para inferência causal é de contextual bandits não é essa de Reinforcement learning de GO ou de xadrez em que eu tenho um jogo multiestágios é um jogo de um único estado legal boa obrigado Mateus ah alguma a gente não conseguiu passar por todas as perguntas mas algumas foram respondidas por texto Então se vocês eh quiserem D uma olhada na resposta ho tá lá na ferramenta eh de q& eu
vou dividir minha tela com vocês rapidinho pra gente fazer o sorteio ah a gente teve 134 respostas no nosso formulário E aí vocês por favor me avisem quando minha tela tiver aparecendo para eu ter algum sinal beleza Ah bom então a gente teve 134 respostas a gente vai usar um sorteador online eu coloquei já aqui a lista com o nome de todas as pessoas a gente vai sortear cinco cópias digitais eh do livro E aí depois pelo nome completo de vocês a gente vai eh pegar o e-mail e fiquem Atentos atentas ao ao e-mail de
vocês nos próximos dias porque vocês ah devem receber mais informações sobre o livro então vamos lá então as cinco pessoas que ganharam o livro foram Mateus Pereira de novaz William Ramos Carlson tcio telcio Bezerra de Lima naro Rico Rama e Eduardo eh guilarduci eh fiquem atentos ao e-mails de vocês nos próximos dias a gente vai mandar eh mais informações para vocês saberem Ah como que vocês vão receber a cópia é sorteada aqui ah e é isso eu queria agradecer muito ao Mateus ao Rafael pela apresentação eh de hoje foi muito legal gostei bastante também e
agradecer todo mundo que passou esse tempinho aqui com a gente nessa noite de terça para falar sobre inferência causal Ah então é isso pessoal obrigado para todo mundo que veio Obrigado de novo e Mateus Rafael Obrigado Leonard as dúvidas que manda depois ou como é que faz mand em algum lugar eventualmente fechado Tá bom pode ser pode ser boa então fiquem de olho no Linkedin do Mateus que a gente Poa as respostas lá Obrigado Mateus Valeu gente boa noite aí para todo mundo até mais bo p n