Adoção e impacto de CRO nas organizações - Eduardo Marconi e Convidados - CRO Summit 2024

Olá vamos começar mais uma palestra Super legal aqui o tema é engajando stakeholders adoção e Impacto de C nas organizações gostaria de chamar o nosso próximo palestrante o Eduardo Macon E aí Edu tudo bom tudo jo lavre Obrigado pelo convite Agradeço também a camilos Academy a comunidade c é muito legal que vocês estão fazendo importante pra área de C ter esse espaço para troca de ideias para aprendizados Então parabéns Pela iniciativa Obrigada Edu bom o palco é seu obrigado gente então para quem e não me conhece eu sou Edu Marcone sou cofundador da Aim conversion

experts uma consultoria especializada em C em estudos de comportamento e tô aqui e com dois convidados muito especiais aqui que eu quero apresentar para vocês né tô com o Daniel Andrade do do grupo magalu e com a a Paloma Pessoa do do tudo bom pessoal boa Tarde oi a tudo bem tudo bom tudo joia para começar acho que é legal de você se apresentarem vou começar contigo pal PR se apresentar falar um pouco aí da tua área de atuação dentro do Wall E e onde que tá C dentro dessa estrutura né Tá bom eu sou

a Paloma eu sou de ah produtos digitais mas da área de growth então Eh growth e acquisition do Wall E tem uns 10 anos mais ou menos já fiz umas outras coisas mas tem uns 10 anos mais ou menos de experiência em Marketing marketing digital eh e o c tá em growth no wall né que a gente realmente é muito é logicamente focado em vendas e a gente vê o c como uma Uma não uma ferramenta né mas acho que mais até que uma ferramenta é uma necessidade né para quem tem produto digital então é

uma necessidade do mercado legal e paluma conta uma coisinha eh a área de grow tá dentro de Que estrutura tá dentro do produto de marketing de tecnologia dentro de produto dentro de Produtos digitais então sim nós estamos na diretoria de produtos digitais área de growth tá não é de marketing é de produtos digitais legal obrigado e você Dani conta um pouquinho pra gente aí como que tá hoje lá no magalu fala idu primeiro Obrigado aí pela oportunidade de est falando com vocês eh eu sou hoje group product Manager aqui no magalu né especializado aí na

metodologia de produtos digitais desenvolvimento Inovação eh hoje nosso time ele de produtos digitais tá na diretoria de canais digitais dentro do da área de tecnologia que é o luí albes aqui no magalu né Eh eu já estou aqui já há quase 5 anos né muito liderando aí iniciativa de produto e de desenvolvimento aí dos canais de e-commerce principalmente né o site do magalu o aplicativo do magalu então tem todo trabalho aí de evolução e desenvolvimento interface grande aí com Os times de tecnologia design dados e a frente de C Hoje ela está a metodologia de

C ela está dentro aqui dessa estrutura né a gente já teve times dedicados de C dentro do nosso da nossa diretoria hoje a gente tá eh disseminado com o c dentro dos times né então eu entendo que a gente não tem um time só por C em C A gente tem a a especialidade de C aqui como parte do nosso processo de discovery aqui para chegar ali na validação das hipóteses eh que vão levar A gente no desenvolvimento ali de soluções e apostas ali pro eh pro nossos canais digitais bacana legal então Eh dentro da

do Mag lup tá disseminado né você fala que tá dentro de várias áreas E aí dentro do opal Mas você também enxerga que tá mais disseminado ou ele tá dentro de grof especificamente não tá dentro de growth especificamente ainda não vou dizer que é embrionário que já faz uns anos que a Gente tá tentando investir mais em C mas eh sim é um é uma é uma iniciativa de growth tá na verdade é uma iniciativa de produtos digitais porque quem trouxe foi nosso diretor a ideia toda realmente é dele de abraçar mais c e fazer

realmente coisas com experimentos né Com resultados pra gente começar a entender mesmo eh como otimizar as nossas conversões asos nossos produtos né os nossos sites bacana e e quando se fala eh de C Focado em Grou né O que que vocês têm feito então assim qual o tipo de teste que é mais comum no dia a dia né né dentro das opções Então até para contar pro pessoal aqui um pouquinho né para contextualizar a gente costuma falar que o c ele pode ser tá debaixo de várias áreas né e cada um deles ter eh objetivos

bem diferentes Então você fala muito co de interface né voltada a layout que é muito dentro dos times de wx por exemplo eh um um C promocional né Que é mais de comunicações de campanhas Eh aí você tem o de algoritmo né que a gente tá falando mais de regras de negócio dinâmica ou de funcionalidades né em que você tá criando novas funcionalidades você tá trazendo inovações para dentro do canal olhando esse contexto eh hoje que tipo de CR que vocês fazem mais que que vocês gostariam de estar fazendo mais como que como que tá

esse esse dia a dia de vocês Isso é para mim Desculp para mim ainda tá eh a gente faz mais de interface e promocional como são produtos digitais páginas de vendas e Landing pages então a interface e promocional então teste de CTA eh disposição de texto disposição de planos qual seria o um valor ressaltar Talvez um valor mais atrativo alguma feature mais atraente né esse tipo de coisa legal e do teu lado Dani o que que você tem visto aí Feito ali no dia a dia né dentro do seg Legal se a gente for falar

como testes e experimentações eu acho que são feitos eh Muito provavelmente na companhia inteira ã porém em diferentes níveis de maturidade né existem testes comerciais existem testes de preço eh falando aqui de de varejo né e-commerce Eh mas nem todos seguem uma linha de metodologia de c né de validação de hipóteses AB né Eh amostragem com experimentação ali com tempo médio ali de de estudo né então Acho que se for falar da metodologia DC Propriamente ela está mais madura hoje do lado de canais digitais né na validação de experimentos principalmente de interface tá de evolução

dos nossos canais então na mesma linha como a Paloma Colocou também né evoluções de layout evoluções de Ah iconografia o elementos de call Action na jornada com ação de texto ou até novos formatos de componentes né já existentes da nossa experiência que a gente quer validar se vai ser melhor ou pior a Forma proposta né Além disso eu acho que uma outra também eh ferramenta que é utilizada ali para nos testes CR são os motores que alimentam a interface né então a exemplo dos motores de busca e recomendações por exemplo né que são algoritmos que

servem ali os produtos ou conteúdo na jornada né Eh quando a gente vai ter alguma melhoria de algoritmo alguma utilização aqui daquela eh daquela daquele sistema né ou daquela lógica que é entregue ali pros clientes Eh também é feito ali uma comparação a né que a gente consegue dizer eh com públicos ali semelhantes né Por período determinado qual que é o a hipótese vencedora por exemplo então tanto interface quanto motor acho que tem muita coisa ainda explorar na empresa H principalmente nesses outros tipos de testes que são feitos mas aí são testes mais simples testes

de comparação de períodos isolados que não são AB exatamente Então acho que é um pouco por Aí aqui do nosso lado legal bacana e E no momento que dentro da área de produto hoje eh lá no magalu vocês eh tá vocês estão acompanhando todos esses tipos de teste lá dentro ou isso fica individualizado também dentro de algum algumas outras áreas não necessariamente vocês estão estão vendo tudo a gente hoje como time de produto que nem eu comentei né a gente usa a metodologia de C paraa validação de algumas hipóteses do nosso Discovery né Nem tudo

é validado com teste AB acho que vai caso a caso né Vai tanto do do da complexidade do tamanho da viabilidade e do nível de incerteza que a gente tem com as hipóteses mas ã aquelas que a gente acredita que merecem ali uma validação de ab um pouco mais eh elaborada a gente acaba aplicando hoje a gente tá trabalhando em parceria inclusive com uma consultoria que é a né Eh que nos ajuda aqui também em toda essa análise de preparatório né análises Da experimentação né então acho que toda a o ferramental em torno disso a

gente acaba fazendo ali em em em parceria e isso nos ajuda muito ali a clarear um pouco ali todas as possibilidades que a gente tem ali com esses testes né a gente tem pessoas no time com níveis de maturidade maior e menor na frente de c e junto com a im a gente acaba até nivelando um pouco esse conhecimento né com experiências aí de outros testes aí então acho que a partir daí tem um Trabalho acho que dividido né entre o que o time de produto do magalu estrutura como briefing do discovery e o que

que a m ela consegue ajudar na operacionalização e análise ali das da dos Testes em produção né então a gente acaba tendo esse suporte ali para nos ajudar também na tomada de decisão ali dos discoveries é Você tocou num ponto muito legal né que é essa essa diferença de nível de maturidade entre times e na frente de C Isso é super natural assim acho que é dentro de uma corporação você vai ter squads que são maiores menores de repente tem maior facilidade de trabalhar com isso ou ainda não conseguiu de fato entrar e é importante

isso né e é e é é legal de entender também saber que é natural até de que é é assim que começa né até isso se expandir para todas as frentes é bem legal isso acho que é um ponto importante que às vezes acaba falando Não vamos disseminar E aí todo mundo entende que tá todo mundo no mesmo nível isso não necessariamente É verdade faz parte do processo então é muito bacana de você comentar isso porque é faz parte do da construção né da área como um todo e um outro uma Outro ponto que você

tocou que eu acho que é legal que eu queria saber mais é sobre essa questão do discovery né E o que vocês consideram deve ser testado ou não Então como que eh C participa do discovery então Em que Momento que ele entra nas atividades e também eh como que vocês definem né asas hipóteses Então o que testar né como que como que vocês chegam a nessa decisão fazer essa vai para mim ou paraa Paloma segue contigo aí eu pode ser para mim legal ã aqui no nosso trabalho de produtos a gente tem ali um um

fluxo de priorização que vai desde o top ali de de prioridades executivas da empresa né com todos os oars definidos ali para um determinado ciclo anual semestral ou Trimestral E aí com base nesses ards a gente vai cascateando ali eh hipóteses e apostas que a gente acredita que vão que vão mexer ponteiro nesse indicador né Eh em meio a essas hipóteses eu acho que existem aquelas que são mais claras né aquelas hipóteses que já são h a gente fala aqui no brainer né que Putz cara isso aqui acho que talvez não precise gastar tanta energia

numa validação é algo que já é batido no mercado o mercado todo faz já tem pessoas de Outros mercados que vieram para magalu que trazem uma experiência que falam cara é só fazer isso aqui não tem segredo então sempre tem aquele tipo de de iniciativa que a gente fala cara talvez gastar uma energia em validação desse ponto Eh claro que se a gente tivesse Capá infinito a gente validaria tudo para pegar resultado mas a gente precisa eh selecionar as nossas batalhas né então a gente fala pô gastar energia isso aqui para depois descobrir que deu

Certo e era tão Óbvio quanto a gente imaginava Vamos fazer algo que a gente entende que a gente tem um nível maior de incerteza né que é muitas vezes um um tabu até inclusive na empresa quando divide opiniões Sempre tem aquela coisa né Eh é uma iniciativa que às vezes é positiva para um lado de experiência não tão positiva para um lado comercial H existe um receio de um time e uma aposta de outro time como que a gente confronta isso né cara nada melhor que uma Validação uma experimentação um teste AB com as métricas

corretas para poder levar pra companhia e falar cara no final das contas eh é para esse caminho esse caminho estava certo esse caminho não estava certo e no final o melhor é isso aqui né então a gente acaba fazendo essa avaliação aí do nível de incerteza e maturidade que essa iniciativa tem para ela seguir em frente também avaliar analisar a complexidade dela né Existem algumas iniciativas um pouco mais Estruturais maiores que o próprio ã a própria aplicação de uma metodologia de teste vai ser muito complexa e às vezes a gente quer algo um pouco mais

Expresso então a gente leva isso em conta também não que a gente não teste coisas maiores Mas as coisas maiores mais expressas a gente consegue gerar ali uma validação diagnóstico mais rápido com testes até por conta da ansiedade né de quem acaba eh criando ela né então quanto menos tempo ali melhor né Eh então a gente Leva esse ponto em conta também porque falar cara vamos testar aquilo que a gente acredita que pode ser mais Expresso e tem um nível de incerteza um pouco maior então a gente acaba balizando esses pontos muito legal e com

vocês Paloma como é que como é que funciona eh essa essa discussão ali do do que priorizar e o que testar né dentro da do muita coisa a gente já veio testando de maneira mais informal eh por hipótes a Gente tem muita coisa sazonal né como algum lançamento algum algum produto alguma por exemplo a gente tem um streaming né o então uma série que vai nova então a gente eh ou UFC alguma coisa assim então a gente tem a gente quer testar CTA tem bastante concorrência também mercado de streaming tem bastante coisa né então a

gente quer testar CTA ah teste e são hipóteses de vez em quando a gente testou num e-mail numa outra coisa que não tem nada a a Gente se na web também converte né se tem o mesmo comportamento A gente levanta algumas ideias algumas hipóteses e a gente também tem a consultoria da a que tem ajudado bastante bastante mesmo a gente porque C A gente não tá estruturado mesmo no um pouquinho diferente do magalu né a gente não tá super estruturado para CR mas a gente tá aprendendo e a gente tem essa cultura sim que é

o canal é o jeito de seguir em frente é como a gente quer a gente quer Ter sim essa cultura no wall mas a gente tá super contando com com ajuda de vocês né então assim muitas vezes vocês estudando as nossas páginas levantam algumas hipóteses trazem pra mesa a gente debate Sim vamos nessa ajusta alguma coisa a gente vai a gente testa a hipótese que vocês levantaram eh e aí de repente a gente continua com o teste para testar alguma coisinha um insite que saiu daquele teste Inicial e a gente vai indo assim e tem

sido excelente pra Gente muito aprendizado muito conhecimento e e eu acho que assim tá tá sendo bem legal essa parceria pra gente tá legal Que bom fico feliz eh e quem tá envolvida eh times que estão envolvidos nessas discussões do que subir né então você falou que a área tá dentro de grow mas é a decisão é unilateral de grow do que vai ser testado ou existe uma conversa entre outras áreas lá dentro que áreas que são essas que participam do process ex nós temos por exemplo cx Participa do processo porque eles têm contato direto

também com com clientes né então cx Diretoria de negócios área de produtos claro né a gente tem growth a gente trabalha também em squads no wall então cada produto tem o seu Squad então de vez em quando vem um Insight do próprio Squad só que a gente com ajuda da a Aí sim traz para fazer um teste nessa hipótese versus fazer com com a Squad até por conta de relatoria né do do da expertise de vocês é uma coisa a Gente colocar um CTA lá e dar uma D uma acompanhada no ga sabe não é

a mesma coisa todos os todos os pontos finos que vocês trazem numa relatoria né como exatamente sendo experts né então a gente tá caminhando e super com essa orientação de vocês tá mas sim tem várias áreas envolvidas mas no final Sim passa pro grow e Diretoria de produtos digitais legal bacana pontos interessantes vou voltar Ness depois aí mas eu queria saber do Dan Primeiro numa empresa como Magal dentro de um tem mais de 2000 pessoas focadas ali eh como que funciona essas discussões entre áreas muitas vezes não estão nem debaixo de uma mesma diretoria né

E como que funciona essa decisão do que testar ou da da solução eh como que como que é o dia a dia nesse processo né da de definição ali em cima num ambiente que é tão tão grande né No final das contas que envolve muita gente Legal é não é fácil porque eu acho que cada área acaba tendo o seu a a sua visão né a sua experiência a sua opinião ali sobre determinadas ah determinadas apostas hipóteses né muito inclusive que nem eu comentei né existem quando a gente vai ter alguma iniciativa existe o time

que acredit a o time que acredita B olhando de repente o viés do seu lado e não tem certo ou errado é muito acho que ã hipóteses que no final os testes eles eles acabam sendo eh validados né quando A gente tem um formato ali que nem eu comentei com relação a alinhamento com os kares estratégicos da companhia né eh e e muitas vezes diversas áreas estão amarrados nesses oares isso acaba ficando um pouco mais fácil né porque torna eh que obriga todo mundo a olhar pelo menos tentar olhar para uma mesma direção né Então

existe um indicador existe uma métrica que Todo Mundo Quer alcançar quando a gente chega naquelas hipóteses A gente discute muito sobre Elas no nível de certeza ou incerteza né e e o nosso time aqui de produto de canais digitais como eu comentei que a gente acaba aplicando a métrica a eh a método de C mais na interface do cliente né ou nos motores que alimentam a interface o nosso time acaba tendo uma autonomia aqui de poder gerar esses eh experimentos para validar essas hipóteses em prol do cliente né então acho que esse é é um

benefício aqui de é um time que tá Como embaixador da voz do cliente aqui na experiência dos canais né então a gente acaba conseguindo orquestrar isso de uma forma gente se temos aqui um impasse uma indecisão Vamos criar um método aqui para tentar chegar nessa melhor opinião de forma isenta que no caso é o teste AB que vai comparar dois públicos e o resultado acaba sendo menos questionado né do que só opiniões ali ainda não validadas então Quando a gente tem esse alinhamento aqui pro mesmo caminho e existe essa frente que acaba olhando de forma

isenta né O que vale oo cliente e não opiniões diversas de frentes ou especialidades diferentes ali na companhia isso acaba sendo mais fácil não que à Não ainda assim não Gere um atrito não que não Gere uma uma discussão sobre seguir ou não seguir mas não me recordo de termos tido grande resistência nos testos que a gente tá tá tá querendo implacar por Exemplo né Eu acho que a gente acaba mais tendo que orquestrar e e negociar o formato do que vai ser feito do que fazer ou não fazer as experimentações legal e e Dani

Quais são os desafios que você entende ali dentro disso então hoje olhando do ponto de vista de que da da área em si né Eh o que que você enxerga como o principal desafio para testar mais Ah eu acho que existe uma primeiro uma visão um pouco que é conceitual que é um Um controle de ansiedade né com relação a às implementações né obviamente que até num segmento como varejo né que a gente tá que as coisas acontecem muito rapidamente ã existe uma ansiedade de querer colocar as coisas muito rápido no ar né e muitas

vezes quando a gente tem um nível de incerteza grande isso não é positivo e e quando a gente opta por fazer uma experimentação uma validação prévia eh que pode ser um público reduzido e que a gente precisa ter um Tempo ali ah suficiente de amostragem rodando ali em produção para um público a b c antes de coletar eh esse tipo de de aprendizado eh gera assim uma certa uma um certo desconforto né falar Putz não não vamos implementar isso agora vamos primeiro validar e se formos gerar valor Isso vai acontecer a partir de X tempo

né que pode ser 15 dias 1 mês 1 mês e meio tudo vai depender do teste da volumetria né então acho que Esse é o principal é o Primeiro desafio que a gente tem que eh catequisar né Eu acho que a gente tem que eh e isso e por aí eu acho que é bem importante o envolvimento de todas as áreas ali quando a gente vai fazer a estratégia né senão a gente acaba saindo por um caminho não alinhando bem que isso vai ser feito gera uma expectativa pô mas isso aqui eu achei que já

I pra produção nãoé um calmera só um teste sempre tem essa essa essa discussão Então acho que quanto antes isso for Antecipado e alinhado acho que é benéfico né então acho que é o primeiro primeiro ponto que a gente sofre como como desafio ã o outro ponto que eu acho que é bem importante um alinhamento é a gente estabelecer previamente as métricas corretas né então a gente muitas vezes acaba olhando uma perspectiva de uma métrica que não é aquela que a gente gostaria ou ou deveria estar olhando né então muitas vezes eu até comentei né

A Questão do carar né do indicador que é o oar que é um indicador macro da companhia no nosso exemplo a gente fala muito de conversão né e a conversão ela é algo maior né no e-commerce geral e e muitas vezes o resultado do teste que a gente tem que fazer não é exatamente a conversão e talvez uma sub métrica um subq pii que vai somar as outras e vai chegar na conversão Mas se a gente olhar por essa métrica maior a gente Talvez não tenha insights tão significativos de Um teste porque o teste tem

que responder uma outra perspectiva né Eh uma quebra ainda mais pontual seja o que for né então acho que essa é uma outra dificuldade também né Eh que a gente tem que preparar previamente isso e e garantir que a gente tem as condições de testar essa métrica né porque aí entra questões de tamento ferramenta né se a gente não definiu previamente a métrica e não garantiu que o tamento correto e se tivesse implementado para Gerar essa métrica depois que o teste fez já perdemos né então acho que esse é um outro desafio que a gente

às vezes passa né que é falta desse alinhamento do que a gente quer mensurar anteriormente e garantir que o terreno né do que tá sendo construído né pela ferramenta de de validações esteja aderente aquilo né então acho que esses são dois grandes Desafios que a gente passa já passamos mais eu acho que tem tem evoluído bastante acho que a gente Tá mais Alerta a isso agora então evoluiu bem é muito legal esses pontos que você tocou são são super importantes mesmo acho que eh para ajudar as empresas a organizarem né o processo de C eh

e às vezes quando falta comunicação entre áreas né Eh que olham por ângulos diferentes o mesmo negócio né o mesmo mesma hipótese ali o mesmo objetivo eh o impacto que isso pode gerar de repente escapar uma métrica ou de não ter necessariamente Algo bem tagado eh e aí o o resultado você vai Verê lá na frente só Néo depois que o teste Já tá pronto já teve o tempo de eh de análise ali de monitoria E aí você percebe e não tem como voltar né não tem muito como fazer iso é um ponto super importante

ali da de planejamento muitas vezes acaba escapando legal e você Paul você falou que em off quando a gente tava aqui que grow é venda né você vê um desafio diferente desse que o Dan comentou como é que Funciona não pra gente eu acho que tem tem assim um pouquinho diferente né produto digital é aquele negócio imediato né então assim você não tem a pessoa compra para consumir praticamente imediatamente você não compra para assistir depois ou para ler depois ou para bater um papo depois não você compra para consumir agora então pra gente também tem

essa ansiedade de fazer as coisas rodarem né e super imediato Então por um lado Também fazendo teste ajuda a gente a validar algumas coisas mais rápido Porém para implementar não necessariamente super rápido porque também as squads tem sim o backlog deles tem outras coisas que precisam ser feitas de vez em quando a gente também não vai implementar exatamente o que o teste apontou mas uma versão uma parte porção disso sim então eu acho que assim seria o maior desafio da gente seria realmente um pouco de ansiedade sabe e conseguir realmente Entregar aquilo a gente tem

que dar uma refinada depois do do teste para entender direitinho Se é realmente aquilo ou não mesmo tendo resultados certinhos cara é o ponto leg que você tocou aqui que é essa natureza do produto né Principalmente quando você fala de streaming né desses eh de de canais que a pessoa não necess ela contrata mas não necessariamente ela vai assistir naquele momento né então Eh nesses nesse tipo de estratégia desses Testes eh hoje vocês estão olhando mais o imediato digamos assim assinou então aí depois a gente se preocupa com o que ele tá assistindo com engajamento

ou Vocês já vão acompanhando esses indicadores de forma simultânea né a descontratação como como você que caminho que você estão indo nesse sentido para olhar para esse tipo de métrica Por inicitiva que você estão fazendo como produto a gente logicamente Não é só a venda você também quer o Lifetime né então tem essa também não é só vender você também querente noo contin forma continue consumindo os conteúdos que a gente que a gente tem né então não é só tudo bem que a gente também tem um outro cenário que alguém vai consumir por exemplo uma

luta né como hoje à noite eh vai consumir uma luta alguma coisa mais imediata um jogo uma co mais imediata mas também tem aquela pessoa Que quer maratonar uma série quer acompanhar uma série então assim Pode ser sim um um produto para consumir agora tipo quero assinar quero assistir agora ou mais tarde eu vou comprar agora porque eu tô aqui tá tranquilo eu vi mas eu vou realmente mais tarde ou amanhã ou depois eh ter eh ter tempo né Vou me dedicar para ser isso porque é uma é uma coisa pro meu lazer né ou

ler um conteúdo ler uma notícia né ler alguma alguma coisa Ou ou sabe então assim tem a gente também tem e-mail tem um monte de coisa é o w né gente tem um monte de coisa então assim eh eh mas H pra gente eu acho que é mais mesmo isso depende Depende muito do que é mas a natureza do produto digital seria meio que aquela venda de consumo imediato né perfeito e me conta uma coisa assim palon eh na no dia a dia imagina que assim eh o Dan tava comentando zis que tem os Direcionais

estratégicos da empresa então esses é mais vem de cima para baixo tipo no sentido de que cara é isso que tem que ser feito vamos indo a decisão de teste ou não testar talvez eh tem a discussão do imediatismo mas ao mesmo tempo é mais fluida porque o projeto tem que andar Então se precisa ser feito vai vai ser feito então esse é um caminho agora e o caminho inverso quando o time eh descobre ali oportunidades ou tá vendo que tem algo Claro que ele gostaria de testar que ele gostaria de validar eh como que

é feita essa discussão e como que é o engajamento com o stakholder nesse sentido né que forma como vocês chegam na na diretoria e fala tá temos interesse em fazer isso né como que é recebido esse processo dentro do Wall eh como é que funciona né quando vem de vem do time A as ideias do que fazer geralmente é recebido como vamos validar então assim a gente traz uma Ideia e vem vamos validar quer dizer vamos testar tá é super bem recebido eu acho que a gente tá é é o é o saber como fazer

fazer bem porque é como eu falei um pouco antes não é só testar Você tem um acompanhamento tem uma metodologia Então não é só mudar uma cor de Botão ou um CTA né Eu acho que o ponto é validar e validar corretamente porque senão também não tiver o acompanhamento e a metodologia também não adianta muito né mas é recebido super bem tá eu acho que Todo mundo é bem aberto mas o ponto é esse vamos validar legal então no dia a dia lá vocês T espaço dentro do do Sprint de vocês ali para trazer novas

coisas também então tem equilíbrio entre os drives estratégicos e e o que o time tá olhando tá pensando como objetivo como resultado temos porque disse são temos porque como eu disse são produtos imediat né então muita coisa pode acontecer né nesse meio tempo sabe Muisa po não é um Então a gente tem sim essa possibilidade de de mudar de de tentar mudar né e de encaixar alguma coisa que poderia ser útil sim que a gente vê que pode trazer valor Mas é por isso então a gente agora a gente aprendeu que tem que testar já

que tem a possibilidade já que dá para fazer sem comprometer tanto assim né então a gente testa para ver se vai dar o resultado esperado ou Também e tudo bem né Legal Ô Dani me conta uma coisa e imagina que tá todo mundo lá que acredita que não essa solução certeza que vai dar certo né tipo não temos dú vamos testar só para ver e o resultado não vem como que você é recebido como é que é tratado dentro da do magalu lá da empresa a essa essa polêmica que às vezes o dado gera né

quando a gente testa com cliente real Cara isso isso isso é ponto que já aconteceu e é bem complicado por isso Que eu até comentei de algumas iniciativas que o pessoal acha que são batidas a gente tenta fazer e e provar assim a gente não consegue esse waiver para testar e a gente acaba fazendo e dando certo ou não a gente descobre em produção Acho que sempre acontece isso apesar de isso mostrar que o teste mesmo com iniciativas que a gente tem maior certeza ele pode ser válido né ã Mas já aconteceu de algumas iniciativas

cara que nem eu falei que São batidas Putz A gente tava testando muito mais para entender qual seria o ganho do que validar se ganharia ou não e aí a gente descobre que não na verdade não ganhou e E aí acho que tem alguns alguns pontos assim né óbvio que isso gera uma estranheza num primeiro momento ã dependendo até do fórum que você tá tá tá tá apresentando ou discutindo a primeira hipótese é cara será que o dado Tá certo né Putz não certo tá errado vamos dar aquela revisada pô Não é isso Vmo e

tal então sempre gera essa conversa mas eu acho que pode ser algumas coisas né Eu acho que primeiro a gente tem que ter uma maturidade e e e ser bem transparente e entender que cara poderíamos estar errados né poderíamos ter estado errado e de fato não era aquilo que a gente ã imaginava um outro ponto é ã a métrica né que nem eu comentei Pode ser que a gente estivesse orando também a métrica errada né Eh E isso aconteceu Nesses casos que eu comentei né quando a gente olha tudo com com métricas muito grandes e

que são impactadas por fatores externos e não exatamente aquilo que a gente tá testando a gente pode cair nesse nesse viés né então às vezes é uma implementação super óbvia mas pô a conversão caiu mas talvez não era a conversão que ia mexer porque E aí falando de varejo né não adianta nada a gente fazer uma mudança de interface e o preço dobrar dos produtos a conversão Vai cair e não é a mudança que causou isso né e e às vezes isso interfere mesmo num cenário de ab né a gente a gente sabe E e

o outro ponto é o formato né talvez não é a a a ideia ou a solução que é inválida em si né a gente talvez tenha form eh eh tenha construído o formato errado né Tenha proposto algo que não era exatamente aquilo né então Putz às vezes é outro design outro layout outra linguagem comunicação Então a gente tem que isolar esses fatores e Eventualmente repensar Putz eh faz sentido de fato só descartar essa iniciativa como iniciativa perdedora ou revisar o teste né Putz então entendemos que desse formato não performou E esse outro existem outras hipóteses

outras formas de gente testar isso né E e aí a gente testando e fazendo um ciclo ali de evolução hipóteses Até que a gente chegue de fato num conclusão que a gente fale Putz realmente a partir daqui acho que não faz seguir então acho que é uma Maturidade também né e e entender que nunca nunca pode ser 880 né a gente tem que sempre ponderar os intermediários ali e entender cara existem outras outros Olhares Sobre o código a gente tem que olhar esse teste né então é uma é um aprendizado sim que esses testes vê

né quando acontece a gente tem tem ponderar e e pros próximos estar mais espertos né caso aconteça muito legal cara ótimo ponto eh vou fazer uma pergunta pros dois tá então pode Continuar Dani aí depois a Paloma falou também e o contrário quando um um diretor eh fala não isso aqui é no brainer cara não tem que testar isso daqui vai direto a produção e e vocês entend que deveria ser testado cara não é bem assim né Tem há polêmicas nesse assunto como que é feita essa discussão e como é compreendido isso de que forma

como vocês vendem a ideia de teste pra diretoria ali e uma situação como essa Legal que nem eu falei eu acho que existem pessoas e pessoas né e existem expertises expertises ali dentro de uma de uma empresa vai ter as pessoas mais abertas ali né é uma a cultura de experimentação outras que são mais ã um pouco descrentes ou não tão Preparadas para isso ã existe uma estratégia eu espero que eu não seja penalizado por isso que é aquilo de se você perguntar talvez você receba ou não então se você já levar um Teste pronto

com o indicador pronto Talvez isso te ajude na argumentação E aí é uma estratégia que assim eu nem acho que é inválida né muitas vezes é aquilo mesmo depende da maturidade né então às vezes a gente tem uma abordagem aqui que ã cara vamos fazer um teste e tem casos recentes que a gente fez isso antes de criar um burburinho antes de criar uma grande coisa em torno disso e na e e mesmo que isso se torne de fato uma restrição vamos estruturar pô um Prazo ali razoável que não seja muito extenso para que isso

se torne uma ansiedade também e e depois disso a gente traz um resultado já pronto e e isso vai ajudar até a catequisar a metodologia né falar pô Olha o que a gente fez né trouxe esse resultado vou te explicar agora Como que foi feito porque foi utilizando uma metodologia que usou esse período foi AB com essa esses públicos de controle né Eh todos esses times envolvidos então a gente fez Aqui esses alinhamentos em alguns times e agora a gente tá trazendo já o output Então acho que essa vem a ser uma estratégia também de

catequização da metodologia na empresa sabe eh porque muitas vezes você pergunta antes e eventualmente não há abertura para isso você já pode matar a iniciativa ali na raiz né então eu acho que é uma estratégia tá eu não acho que ela ela é maléfica né só que que não me ouam falando tanto sobre isso porque eu acho Que uma estratégia que o time de produto ou qualquer time tem que às vezes utilizar para falar cara vamos validar se existe esse tabu né se existe esse tabu e Existe uma grande descrença pra gente não ficar preso

ali em pré opiniões maiores e elas existem são naturais eu acho que a gente usa o instrumento a nosso favor sabe então acho que é uma das ideias mesmo e a partir daí eu acho que é um processo de evangelização a partir do momento que Você vai trazendo mais essa pauta vai trazendo novos testes algum ganhando alguns perdendo e e explicando a estruturação do trabalho né Eu acho que todo executivo né todo diretor ali ou camadas até maiores vão entender que cara faz sentido e existe um um um processo de trabalho estruturado que que sua

equipe tá estruturada né então acho que isso acaba sendo bem bem positivo tambémm legal Paul comar alguma Coisa o famoso topd né top mas assim exatamente de vez em quando você tem que é melhor pedir desculpas do que permissão né Você vai lá faz traz um resultado e ou não né fal Pelo menos eu tentei E logicamente se fazer negócio assim você tenta um pouquinho mais lado comedido né para não fazer um estrago grande caso não não não dê muito certo né Mas a gente a gente não tem tanto esse problema não eu eu não

vejo esse esse Problema do nosso lado tá tem sido realmente muito muito muito bem-vindo e não e não tem o por não testar né algo as hipóteses que a gente traz ou que outras pessoas trazem pra mesa né nada é uma é uma certeza né nada é uma certeza então então a gente testa e no final a gente também já teve teste que a gente fez que foi ali tão Marginal gente fal Ah mas eu gostei mais desse mesmo então vamos deixar assim então o teste pode até trazer um resultado mas a gente Acaba indo

um pouquinho contra ele porque foi tão Marginal você fala deixa assim ou tá bom vamos ver mais um pouco né ver o que que acontece mais um pouco ali emode mesmo entendeu 100% e e é isso não não é não é um grande de problema não pra gente o que que seria esse Marginal que você tá comentando né Marginal é aquele inconclusivo que é tipo assim 0,7 sabe tipo eh 49 51 ti que você fala Meu não não não tem um Claro vencedor ISO que eu quero dizer com o marginal tá não tem um Claro

vencedor é o famoso tanto faz então se é tanto faz tanto faz né mas aí o tanto faz de qualquer forma você se você deixar um pouquinho eh de repente você vai ver porque algumas coisas de repente o período não foi correto eh a gente também tem algumas coisas que são eh sazonais ou que tem um timing específico de repente o período do teste não foi o mais Adequado né então você deixando um pouquinho mais pode ser que dê certo então tem um fine tuning ali que a gente precisa fazer testa de novo também esses

que são inconclusivos de repente testa de novo num outro período então a gente é é esse o o marginal Só para tentar explicar mais ou menos não sei se foi o melhor ter termo Mas enfim não perfeito eu acho que é é é bem comum dentro da área né é um e é um resultado né você ter um teste Inconclusivo eh e muitas vezes ele acaba acontecendo porque às vezes de fato a a hipótese ela não gerou o o impacto que a gente imaginava eh dentro do do do processo então de fato é um ganho

Marginal ou uma perda Marginal e o que vai definir esse sentido se faz sentido seguir ou não é o como a gente vai enxergar o detalhamento desse projeto né muitas vezes né então assim eh por isso que é importante fazer Quebras olhar no detalhe as audiências para começar a enxergar outras nuances dentro do projeto então ponto até que o Dani comentou também de de que eh você ter olhar para perfil de cliente às vezes ou por de repente um um tráfego específico que é muito importante para para para aquele pro canal né pro negócio e

aí entender se dentro daquele universo ah dentro do experimento você consegue gerar alguns insights que você olha e Fala não tudo bem O o ganho geral não foi o que a gente imaginava foi foi inconclusivo ali não gerou resultado esperado mas que existem outros benefícios que a gente pode aprender e aí aplicar um novo teste e aí poder desenvolver né a gente gosta de muito falar dentro da da Aim nesse sentido que a hipótese né Ela é como uma fruta para fazer um suco né se você espreme pela primeira vez e sai muito caldo Você

vai continuar espremendo né você vai seguir Fazendo isso até não ter mais caldo eh é a mesma coisa com a hipótese então se você eh faz um teste e o resultado foi muito bom ou muito ruim faz todo sentido você continuar espremendo você fazer uma V2 fazer uma V3 e gerando esse aprendizado E aí no momento que você começa a bater na parede né quer ter muito teste ou com inconclusivo ou com ganhos muito pequenos Aí talvez seja momento de avaliar e fazer sentido se se aquela hipótese vale a pena seguir Testando ou não né

mas é um ponto que é é super importante vai acontecer no dia a dia da operação mesmo e aí é como lidar com isso né É como usar a favor para gerar novos insights e assim evoluir o canal como um todo então é super super legal isso e tem algum Case que vocês gostariam de trazer tipo algum algum teste que vocês lembram que fala não esse teste a gente não esperava que ia ganhar e ganhou ou de repente que gerou um ganho muito bacana Então você Lembrar de um teste que veio Qual o teste que

veio na tua mente ali fala cara esse foi muito legal aqui que deu para traduzir bem a a a metodologia ali e o por continuar testando pode começar pal mas depois eu passo pro posso começar ah eu acho que assim recentemente a gente fez um com assinatura Wall que era uma hipótese só de apresentação dos planos um pouquinho mais clean um pouquinho mais bem estruturado e uma das coisas que a gente Aprendeu com os nossos dados é que o nosso cliente ele entra inicialmente pelo mobile mas ele acaba convertendo pelo Desk eu acho que por

conta até de disposição das informações uma a página que acaba ficando melhor elabor então um dos que a gente fez recentemente foi isso só mudar a disposição um pouquinho a gente viu um ganho sim em cliques em coisas assim mas como eu falei os sucessos são sutis a gente tá molhando o pontinha do do dedo Do pé Ali para ir devagarzinho a gente tem um público um um depende do também tem muito isso né Depende muito do produto o público é um pouquinho diferente para cada um dos nossos produtos então também sendo uma área que

faz teste que cuida de tudo como você tem que também ter esse olhar um pouquinho cuidadoso para cada segmento que é um pouquinho diferente tá mas eu acho que esse assim o último foi o mais interessante pra Gente não é bem um Case mas um que foi um interessante que eu gostei do resultado e vocês ajudaram a gente aí ajudar a gente com esse teste foi muito legal boa e você lembra de algum aí polêmico ou não cara Lembro sim acho que uma uma área que a gente testou bastante ao longo dos anos foi a

nossa busca né A Busca Ela é bastante relevante aqui pro e-commerce né e e a evolução ali da Forma como é apresentada como são apresentados os produtos as informações dos produtos funcionalidades e Fer ali também na interface que ajudam o cliente elas são bem bem significativas impactantes né então a gente quebrou vários testes ao longo do tempo e foi testando um deles que acho que foi bem surpreendente é e que foi um um Dent de mercado que a gente queria validar é uma mudança de comportamento de que os os Players começaram a apresentar o resultado

das buscas em formato de lista e não de cards de produto em Grid né Então em vez de ser aquele formato ali de tabelinha de produtos começou mostrar produtos um a um assim como se fossem o os os posts do Instagram sabe ou do YouTube vídeos do YouTube sabe ele mostra produtos um a um que aí você ganha um espaço ali de de visualização de imagem das informações do produto né a gente botou para rodar esse teste acho Que um aprendizado bem legal que a gente teve a gente não esperava tanto é um comportamento diferente

por categorias né existem categorias que funcionam mais de uma certa forma né e outras que funcionam de outras né a gente conseguiu seguir esentar ali o resultado do impacto ali na conversão Ah e no nas interações né nos cliques também com os produtos por tipo de produto né e e no final a gente criou uma lógica sistêmica para aplicar esse Formato para uma categoria e manter o formato atual para outra né E isso vira um chaveamento uma pilotagem e respeitando aquilo que foi o output do teste né as categorias que ganharam viraram pro novo formato

mas não foi uma virada completa a gente Manteve as demais categorias Então acho que isso foi um um aprendizado bem legal aí existem outras funcionalidades também que a gente vem testando na busca E e essa é um trabalho que a gente vem Evoluindo até hoje né esse é um trabalho de de mais de do anos que a gente vem fazendo esses testezinho assim na nossa busca e vem incrementando acho que ela vem vem modificando aos poucos aí tem sido bem bem bacana legal bacana e última pergunta pessoal pra gente encerrar aqui né tá muito legal

o papo a gente já tá estourando um pouco tempo né da do do evento tudo é o que que vocês entendem de melhores de próximos passos na Verdade então o que que vocês enxergam ali pra área de experimentação C dentro da de cada uma das empresas como o próximo Grande passo que é que a área precisa dar para continuar evoluindo lá dentro né amadurecendo e E ajudando ali a trazer o resultado esperando pode começar Dan a depois eu passo legal como eu falei acho que a gente vem crescendo bastante à frente de cro ã cada

vez mais times estão adotando essa esse ferramental eu acho que eh Amplia ampliação disso né E que nem eu falei testes são feitos mas são testes que ainda não aplicam os métodos talvez completos ali de validação para aumentar uma assertividade né então muitas vezes ali a gente faz um teste por períodos né Eh campanhas promocionais e e quando a gente se separa por períodos muitas vezes a gente acaba não and fatores né Principalmente no no varejo que é tudo muito oscilante né então acho que a metodologia ela vem vem a ser bastante Válida para para

ser incorporada em outras frentes que ainda não utilizam né então uma delas eu acho que é toda a frente promocional comercial e de preço né Eu acho que a gente conseguindo também que que tem as suas dificuldades técnicas né e ferramentais né mas a gente conseguir variar todas as campanhas e testar campanhas de uma formato AB bem bem significativos para públicos diferentes diferenciar preço por tipo de cliente ou por públicos de Controle e e estratégias ali específicas h vai ganhar muita eh tração ali na e impacto em conversão em elementos que são essenciais ali pra

conversão né Eh quando a gente fala de e-commerce muita muito é sobre preço fret prazo né Principalmente até às vezes até antes da interface como um todo né Eh e e o quanto a gente conseguir incluir esse tipo de validação nesses elementos vão ter um um um impacto ali significativo maior até né e complementar aquilo que Já vem sendo feito né Eu acho que a interface é experiência complementar ali essa oferta de valor vai ser muito muito relevante ali para garantir uma completude ali de todo o ecossistema com a metodologia então eu vejo um pouco

nessa linha legal palou que que você acha Quais são os próximos passos pra gente eu acho que é o é isso mais times entendendo e abraçando essa cultura de testes C A gente já tem sim Alguns dos squads Como eu disse propondo testes a gente já fez até uns a gente mesmo tipo de aplicativo então pelo firebase essas coisas mas eu acho que é isso a gente vai continuar assim com a cons Oria ainda tem a a cultura tá sendo implementada está sendo abraçada porém a metodologia ainda a gente não tem essa esse no né

então mas é algo que é muito bem-vindo e e e realmente você vê que tem interesse na na empresa e isso é Legal sabe para quem tá envolvido com isso isso é bem legal você vê que você apresenta um teste um resultado de um teste o pessoal presta quer escutar quer entender então isso é bem legal apesar de ser relativamente embrionário isso é bem legal de ver que tem interesse sim e a gente vai continuar fazendo e vamos Sem dúvida tentar melhorar tá bacana obrigado gente agradeço demais pelo tempo de vocês atenção sei que o

dia a dia é super corrido é muita coisa Acontecendo em paralelo e de vocês eh pararem ess tempinho aqui para falar com a gente para poder explicar um pouco a rotina de vocês de como que vocês veem experimentação dentro das empresas é super importante tá então agradeço demais Ali pelo pelo pelo tempo Ali pela atuação e obrigado cara fazer mais vez com certeza Obrigada Paloma Obrigada Daniel por terem aceitado o convite foi um papo super legal vou tirar vocês rapidinho da tela mas obrigada tchau até Obrigado gente valeu até mais Obrigada super obrigada pelo convite

valeu Obrigado até mais B Edu obrigada por trazer a Paloma por trazer o Daniel foi um papo super legal a gente bateu um papo aqui pessoal sobre engajando stakeholders e focado aqui na adoção Impacto de nas organizações e organizações grandes em cenários muito diferentes né Edu você comentou lá no início sobre o que é a a e eu gostaria iia que você falasse um pouco mais pra Gente o que que é a Apresenta pra gente aqui legal obrigado lavca a Aim ela é uma empresa eh uma consultoria né barra agência especializada em conversão especializada em

C e A gente ajuda empresas eh principalmente grandes empresas Ou empresas eh líderes no ramo de atuação delas a estruturar operações de C para aqueles que não TM eh a ajudar na operacionalização então a gente também faz a eh a execução do processo como um todo do co e para times mais Avançados na parte de consultoria de estruturação para disseminar eh a cultura do C em todas as áreas da empresa né então são diferentes modelos e aí para cada empresa a gente pode sentar e conversar para ver eh qual que é o melhor modelo pro

momento deles né Nós temos mais de 13 anos na área eh de C então fomos O Pioneiro nesse assunto no Brasil e aqui eu coloco alguns dos clientes que a gente já atendeu né então é como um todo então vocês podem ver Aqui da diversidade do número de segmentos diferentes que a gente já atuou então Eh fiquem à vontade ali para bater um papo com a gente quem tiver interesse de conhecer mais ah que a gente pode tentar desenhar o modelo para vocês aí de acordo com cada um dos segmentos eh e aqui n olhando

aqui né Vocês atendem a eh vocês TM bastante uma estrutura muito boa né que ux marketing comercial produto fala um Pouco mais pra gente aí dessa expertise que aí tem perfeito eh quando se fala de C hoje em dia eh muitas empresas ainda colocam dentro de uma caixinha de uma área específica né então a gente até comentou aqui viu Eh algumas alguns exemplos Diferentes né de como que C tá estruturado eh mas na nossa visão como eh a área eh por si só ela pode atender diversas áreas inclusive eh ter autonomia para trabalhar e estudar

e identificar Problemas eh ao longo da jornada do cliente para ajudar no final das contas todos os times estão em busca do resultado da empresa né em aumentar as vendas aumentar a rentabilidade eh e a produtividade e é isso que a área busca como um todo também Então nesse nesse slide a gente mostra eh diferentes tipos de C né então que a gente pode estar atendendo dentro da empresa então a Mai a área mais comum ali que a gente acaba Ficando perto é dentro de uxx né Falando de interface e conteúdo então melhorias na experiência

do cliente como um todo com objetivo de evolução de plataforma mas existem também outros tipos de c né então a gente fala também do promocional que é mais voltado para comercial marketing que é para falar de preço que é para falar de estratégia de campanha para melhorar os resultados daquelas campanhas em si é do algoritmo né então o Dani falou bastante sobre isso foi bem Legal falar sobre resultado de busca vitrinas de recomendação a gente pode falar também de frete por região enfim existem vários tipos de teste AB destinados à melhoria de algoritmos Então a

gente vai tá aqui também próximo às vezes time comercial Ou times de personalização de busca Então depende da empresa esse guarda-chuva aqui ainda é um guarda-chuva que tá sendo estruturado em muitas empresas e por último dentro de produtos digitais de novas Funcionalidades né então eh aquele aquela grande próxima ação que precisa ser construída dentro do site aquele novo componente Ou aquele novo produto que vai ser incorporado dentro de um canal eh qual que é o impacto que ele vai gerar na experiência final do cliente Então como que C pode suportar nessa validação de conteúdo e

e na nossa visão o saudável é fazer um pouco de tudo então é tá o dia a dia atuando nessas quatro frentes paralelizador do Business né do negócio que tem muito oportunidade em cada uma delas Legal muito bom pessoal tô deixando aqui eh do lado o QR Code mas também eh Se precisarem ir pelo site né Qual que é o site Edu é o nosso site é a conversion então é em inglês né de Aim eh conversão inglês né conversion.com então a pode entrar lá Ou se quiser nos seguir também nas mídias sociais a gente

tá colocando muito conteúdo também no nosso link eh e no nosso Instagram També show de bola vou puxar mais uma vez a Paloma e o Daniel para eh deixar aqui também para quem quiser segui-los então o Linkedin da Paloma tá aqui Paloma pessoa você consegue encontrar ela ali o do Edu então Eh na pesquisa Eduardo Marconi mas uma no no Barra é Edu Marcone e do Daniel que é um pouquinho longo Mas você pode fácil de digitar pelo menos né Daniel Daniel Braga Andrade sigam eles entrem também no site do do do Da do do

Edu Marconi eh mais uma vez muito obrigada pela presença de vocês muito obrigado pelo pelo conteúdo que vocês trouxeram aqui foi super rico tenho certeza que quem tá ouvindo Quem tá participando do evento pode né ter muitos insights muitas dicas sobre como a gente consegue adotar as metodologias e as áreas a área de cro para dentro dos dos negócios dentro das organizações Obrigada pessoal Valente obrigado obrigada obrigado valeu pela Oportunidade mais tchau tchau é isso aí pessoal finalizamos aqui a gravação da palestra engajando stakeholders adoção e impacto do C nas organizações te vejo na próxima

tchau tchau i