PRODUTIVIDADE COM IA NÃO É O QUE VOCÊ IMAGINA!

E Stanford descobriu que tá todo mundo medindo errado essa tal de produtividade que os dev estão tendo com IA. Você e nós por aqui podemos contestar vontade, mas eles têm números para comprovar. >> E não é qualquer número, são mais de 600 empresas e mais de 120.

000 engenheiros de software acompanhados por pelo menos 2 anos. A diferença pros outros tipos de estudos é que esse é feito em tempo real. As empresas eles conectam ali os seus repositórios e obtém informações extremamente precisas.

>> Bom, então nós podemos refutar ou discordar à vontade. Só não dá para dizer que Stanford não tem autoridade no campo de pesquisa, né? De qualquer maneira, eles estão mostrando que depois de anos a medição de produtividade está praticamente errada.

Então, bora ver isso. >> E esse estudo já começa desmentindo que gastar mais tokens significa mais resultado. Essa comparação é exatamente como dizer que quanto mais linha de código eu gerar, mais valor eu agrego ao meu software.

Já se foi o tempo que medimos produtividade ou valor usando linhas de código. >> Pois é, acho que isso aí não deixou ninguém surpreso, né? realmente colocar ali a produtividade anexada ou sendo medida junto com a quantidade de tokens não faz muito sentido, né?

>> Mas antes de continuar, a gente precisa te fazer um convite. Ó, estamos falando de produtividade, mas a melhor forma de ganhar a produtividade é com conhecimento. >> Você já sabe que o Python é a linguagem do momento e o interessante é que ela tá sendo usada aí por vários profissionais de várias áreas, né?

Até porque ele é muito fácil de aprender e muito poderosa para manipular dados. E você, como é que tá aí o seu conhecimento em Python? Tá afiado?

Consegue criar um dashboard interativo em poucos dias ou não sabe na dica de nada? >> Olha, se gaguejou para responder, eu recomendo deveras que você se inscreva aqui na imersão dados com Python 2026 da Lura. >> Ainda vai criar um dashboard com Streamlink usando dados do mercado de IA, sem contar que a análise de dados está entre as habilidades mais buscadas no mercado.

>> Então é uma baita oportunidade que você não pode perder. A inscrição é por tempo limitado. Clica no link que tá logo aqui embaixo na descrição do vídeo.

>> E a gente vai mostrar essa pesquisa e outras também, mas a gente quer comentar muito a publicação aqui do Joel Backchat, que ele já foi CTO e hoje é CIO do grupo F Câmera, que é uma empresa multinacional brasileira de consultoria que tem escritório em vários lugares no mundo, tá? Como Portugal, Londres, Dubai e até na Holanda. E essa pesquisa de Stanford, como ele conectou ali os repositórios, ele tem os dados em tempo real justamente eh para cada comit feito pelos engenheiros, tá?

E eles pegaram justamente empresas que tinham ao menos 50 engenheiros de software ali, tá? Então é bastante gente. No caso aqui do Joel, ele fez um resumão muito legal pra gente poder entender, a primeira coisa que ele que ele colocou é justamente o gap entre quem usa bem e quem usa mal, né?

Ele começou menorzinho, até porque todo mundo usava de qualquer jeito, então todo mundo usava mal no final das contas e depois foi aumentando, tá? Então, por exemplo, ó, em 2023 a diferença entre os melhores e os piores era de 4,8%. em 2025 19%, ou seja, cresceu quatro vezes.

Então ele conclui, se você não sabe em qual grupo você tá, provavelmente você está no grupo errado. >> Ou seja, se você não sabe que tá usando e bem, não chegou perto aí desses 4% de 4% não, de quatro vezes mais de produtividade, é porque você tá no outro grupo, né? [risadas] >> É por isso que hoje em dia tem vários lugares, inclusive a gente recomenda a Lura para você aprender a utilizar da maneira correta, né?

Ou seja, tudo bem, ah, tem, mas tem a maneira certa ou não? Depende muito do caso. Então, por exemplo, se você usa para gerar código para legado ou para você criar um projeto novo, com certeza você tem que usar de formas diferentes.

Muitas vezes você já utiliza alimentando a inteligência artificial daqueles dados que estão lá. Muitas vezes você tem que normalizar o código, você tem que deixar o código mais limpo, porque se você eh seu código tá sujo, o seu código é ruim e você coloca a para tentar melhorar o seu código, cara, não tem mágica, né? >> Infelizmente ela não consegue fazer essa mágica maravilhosa e talvez ela pode estar cuspindo coisas ainda piores, né?

>> Vai propagar a a o seu código de forma pior, né? E uma outra coisa que ele chama atenção é gastar mais com IA é diferente de mais produtividade. Por que que ele tá dizendo isso?

Da mesma forma que há muitos anos atrás muita gente dizia: "Ah, isso aqui foram x linhas de código e cobrava por linha de código acredito se quiser. As pessoas cobravam assim, tá? Eu cheguei a ver pessoas cobrando assim.

Eh, hoje essa relação tá com um token. Então, se você gasta muito token, na verdade está usando bem, né, e teoricamente a inteligência artificial. >> Pelo menos está usando muito, né?

Ó, não é à toa que agora Open AI tem até plaquinha para premiar quem utiliza mais tokens da IPI deles. Tudo bem que para Open eu acho que faz muito sentido você premiar quem está consumindo mais o seu produto, não faz não, >> porque isso é mais ganho para eles, né? >> Uhum.

>> Mas tudo bem. É, é, é mais ou menos o a plaquinha de inscritos que tem aqui no YouTube, é o número de tokens que as empresas estão utilizando. Mas justamente, olha, a correlação entre tokens gastos e a produtividade é de apenas 0.

2, do, ou seja, isso não tem nada a ver com produtividade. Qualidade de uso importa muito mais que a quantidade. Não é sobre quantos prompts você manda e é sobre como você utiliza.

Da mesma forma que número de por requests. Tem gente também que coloca: "Ah, quanto mais por request tiver, é mais mudança que você tem ali no seu repositório, então mais incrementos você tem em funcionalidade. " Não necessariamente, né?

>> Não necessariamente. Você pode fazendo por request, mudando o comentário do que tá escrito lá dentro. Pronto, não mexeu em nada no código, né?

Ou seja, olha só, uma outra observação importante, ó. Código limpo amplifica os ganhos de A. Então, é o que a gente estava falando.

Se você trabalha num projeto legado, antes de você colocar uma IA para automatizar alguma coisa ou um agente, para você fazer uma migração, para fazer alguma coisa, você precisa trabalhar a arquitetura, você precisa trabalhar a a engenharia, você precisa fazer o código funcionar de uma forma correta. Então, estudar sobre DDD, algoritmo, arquitetura é o melhor caminho para você realmente colocar a IA para trabalhar de uma forma mais eficiente. >> E aí o Joel fala, né?

Times com codebase organizado, teste documentação, modularidade tem correlação de 0. 40 com ganhos de IA, o dobro de token spend. Antes de sair usando copilot em tudo, invista em higiene do seu código, ou seja, o tal do código limpo, né?

Uhum. >> Você já devem ter visto aquela simulação pegando a foto do The Rock e você pedindo explicitamente para você reproduzir exatamente aquela foto. Só que ele, você vai fazendo isso por centenas de vezes, no fim gera uma coisa muito louca assim, não, não é mais a foto, não é mais o The Rock.

Então é mesmo é a mesma coisa assim mal comparando com o código. Se você vai interando com a IA dentro do seu próprio código, chega uma hora que você para assim, pera aí, tá tá muito desorganizado. Eh, alguém vai ter que colocar a mão aqui, organizar para poder fazer o ajuste.

Então, é mais ou menos isso que você tem que ser feito para usar de forma eficiente. Uma outra coisa interessante da pesquisa é a seguinte: eles não adianta colocar a ferramenta na mão de pessoas com perfis diferentes. Os resultados são diferentes, a ferramenta não vai fazer milagre.

Então, acesso igual não garante resultado igual, né? A Dual Business Units da mesma empresa, por exemplo, mesmas licenças, mesmas ferramentas. Uma usa aviá em 40% do trabalho, a outra 15.

Não basta dar a ferramenta, tem que ensinar a usar direito. Por isso que a gente recomenda sempre lugares para você aprender de fato aqui a utilizar da forma que o mercado tá vendo como mais produtivo. >> E a gente chegou a comentar que mais PR não significa produtividade.

O estudo tem isso também, ó. Então, PRS aumentam 14%, qualidade do código caiu 9%, retrabalho aumentou 2. 6 vezes e o output efetivo não mudou nada.

>> Ah, então quer dizer que eu não devo mais utilizar a inteligência artificial? >> Muito pelo contrário, o estúdio sugere, na verdade, que até 2030 a possibilidade real de ganho de produtividade é sim muito grande. A gente tá ainda aprendendo a domar essa fera, tá?

Mas isso é mais uma prova de que a gente precisa se preparar bastante, pois a produtividade ela não vem da ferramenta em si, mas de quem tá ali pilotando. >> Agora tem outro estudo que diz ali meio que ao contrário, né, que é o estudo da Mackens, que diz que as IA generativas podem aumentar a produtividade em até 50%. Agora, esse ganho de 50%, ele foi dividido aqui em algumas tarefas e a principal ali, o que tem o ganho maior é justamente nas tarefas mais simples ali, como a documentação.

Agora, quando você chega ali em tarefas de alta complexidade, aí o ganho é bem menor, né? >> E aqui eles dividiram justamente as pessoas que trabalharam com IA e as pessoas que não trabalharam com o IA, diferentemente do outro estudo que já foi um uma análise em tempo real, onde todo mundo utilizou. Então você vê que eh uma performou mais em relação à velocidade, nesse caso aqui da Mackenzie, a velocidade e entregas e o outro foi pro pelo lado mais um pouco da qualidade.

>> E com relação ao tempo, eles cronometraram três tipos de tarefas: a parte de documentação do código e a explicação de uma funcionalidade, o escrever um código novo ali, aquele boiler plate e refatorar e otimizar o código existente. E além disso eles acabaram utilizando também o fator felicidade, né, o quanto o desenvolvedor se sentia satisfeito utilizando a ferramenta. >> E a gente vê então que o contraste entre o mercado e a academia acaba sendo brutal.

De um lado temos a Mackenzi mostrando dados de que a IA pode sim dobrar a produtividade em tarefas repetitivas e deixar o dev assim mais feliz, né, focando menos em boiler plate. Do outro lado, a Stanford, ela alerta que essa produtividade pode vir com um custo alto, a falta de determinismo e avaliações que sofrem variações praticamente assim na sorte. Parece que o segredo é usar a velocidade da Mazen para gerar rascunhos, mas manter o rigor dos papers na hora de revisar e aprovar.

E pra gente botar mais um >> lenha na fogueira. Nessa fogueira aí ainda tem aquele estudo do MIT que diz que tem os que tem o dado mais chocante, eu acho, né, que é apesar de bilhões investidos ali em A, 95% dos projetos pilotos de A falham em trazer retorno financeiro real, o ROI. >> Mas mas calma, né?

Acho nem as plataformas que de inteligência artificial generativa, eles estão dando RO ainda, né? Eu acho que a gente tá vivendo essa transformação, então é comum terem muitos projetos e muitos vão de fato falhar ao longo do caminho para que sobrevivam os realmente bons, né? >> E apesar de não ter R, o relatório até concorda que ferramentas como o chatpt e o Copalet aumentam a produtividade individual do desenvolvedor porque eles fazem as tarefas mais rápido.

O problema é que essa velocidade pessoal ela não se traduz em lucro pra empresa, não tem uma correlação direta, né? Os devers codam mais rápido, mas o produto não sai melhor, nem vende mais por causa disso. Essa é a armadilha da eficiência.

>> Relatório cita o learning gap, né, que é o motivo dessa falha tão grande das EA, porque elas são estáticas, então elas não têm a memória corporativa. Ou seja, o dev faz aqui, ajusta, cria o código e no final, quando ele precisa refazer ou fazer algo semelhante, ele tem que fazer novamente, né? Porque aquilo ali não tá na memória ali da IA.

Por isso que a adoção das inteligências artificiais pelas empresas tem que passar pelos dados das corporações. Então o, no caso, por exemplo, os agentes, utilizar de uma forma mais eficiente agente ajuda muito a a melhorar esse problema. >> Agora, será que nós estamos aí numa fase de ilusão de produtividade?

Porque o que os relatórios mostram, o que a gente comprova também junto com o mercado de trabalho, é que ganha muita produtividade quem tem muito conhecimento e quem tá num projeto que também já tá bem estruturado, né? >> No fim das contas é quem sabe o que tá fazendo, né? >> Verdade.

>> E e outra coisa, né? Esses três e essas três pesquisas elas fazem medições diferentes. Obviamente os resultados vão ser diferentes.

Então não dá para bater o martelo do tipo é ou não é mais produtivo. É para quem tem conhecimento. Então ponto.

Então tem que continuar estudando, tá? Então não adianta achar que eh ela vai fazer milagre para você. Isso mais uma vez comprova e em vários lugares se mostra isso nos relatórios, que ela é uma ferramenta de auxílio e vai continuar sendo dessa forma.

Espero que você tenha curtido aí esse vídeo. Diz aqui pra gente o que que você achou desses estudos, se você já se aprofundou em ler alguns desses estudos. Todos os links vão tá aqui, tá?

Inclusive o link da publicação do Joel. Ele também publicou um vídeo sobre isso. Vou deixar todos os links aqui para você conferir todo esse conteúdo e aí sim você estando mais embasado, comenta aqui e diz qual é o sentimento que você tem sobre inteligência artificial.

E a gente se vê no próximo vídeo.