Como combinar raspagem de baixo nível com Selenium/Playwright/Puppeteer #betano #bet365

E aí galera beleza aqui nossal nesse vídeo eu vou te mostrar como você pode combinar nosso novo método de acessar diretamente memória como seu método Favorito pode ser selum que não recomendo ou Selenium base que já recomendo mais que tô usando aqui ou und Chrome driver Pipe playwright o adb bluex funcionam junto com esse método você sempre vai conseguir trabalhar com esse método Coma na manga com qualquer processo não precisa ser navegador também pode ser jogo que você quiser você sempre consegue ler memória tranquilamente e usa como uma ajudinha por exemplo aqui eu iniciei isso

aqui como Selenium base já fiz várias aulas como Selenium base porque realmente é único ainda que você consegue raspar o site Patch 365 eu escolhi hoje fazer Bet para você ver também funciona com qualquer outro site não necessariamente precisa B 365 não precisa ser necessariamente web soet qualquer coisa né aqui como está vendo aqui eu ao encontrei aqui de boa osados de betano como um Jason tem um Jason giganto esse já tá formatado como Jason eu consegui conver de boa tranquilamente então você pode interagir DeBoa como Selenium base undetected Chrome Drive ou seu Favorito at

adb ou BlueStack e se você não conseguir encontrar as coisas aí você pode usar nosso novo método com nosso novo método você vai descobrir qual que é segredo lá não tem como esconder coisas é como tomar a pírula Vermelha em mattrix você vai ver tudo tudo verdade qualquer coisa eu inclusive estô usando agora hoje outro navegador Chrome para você ver é que dá para fazer de boa teve essas dúvidas aqui eu acho que não ficou muito claro para ninguém que dava para usar qualqu outra coisa por exemplo aqui menino que tá fazendo as pagens com

Java ele ainda pode usar Java ele pode combinar de boa com nosso novo método de raspar memória direto já respondi basicamente a segunda pergunta sim você consegue interagir usando seu software Favorito no grupo Nosso discord eu coloquei que era só possível como assembly porque not tinha entendido muito bem pensei que ele queria usar o mesmo método para navegar eu falar bom como sempre funciona você pode converter esse código que a gente tem lá para assembly né mas é bom nem merece na verdade é bem legal aprender com certeza mas é muito difícil difícil para caramba

ah mas bom se eu fosse jovem ainda eu aprenderia Ah bom enfim vamos dar uma olhada como a gente pode fazer isso realmente eu deixo bem simples agora realmente tirei várias coisas mas realmente só pronto para usar do jeito mais simples possível beleza vamos dar uma olhada aqui como eu modifiquei o código para realmente ficar fácil de entender importante queem me incentivou fazer Esse vídeo foi principalmente esse comentário aqui vamos ler rapidinho aqui acho que a maioria tá tendo sua primeira experiência como programação em Python e coisas básicas como lógica de programação aí vê você

fazendo automações site aposta aqui super difícil na verdade é difícil sim se você está no primeiro mê de programação porque muita gente pulou a base de variáveis if else for while funções etc algué de várias outras coisas gente agora é importante eu concordo 100% como esse menino só vocês T que entender eu falei no vídeo que é basicão Eu nunca falei que era fácil eu nunca falaria que se é fácil na verdade qu quando eu editei o vídeo na verdade quando estava gravando o vídeo eu falei sem querer aí deletei a edição falei é uma

linguagem simples mas profunda bem no final né Mas é sério agora hum eu acho principalmente mais importante é saber converter dados independentemente qual linguagem tá aprendendo converter dados binário para hexa realmente é importante é muito mais que imaginei 20 anos atrás é sério eu pensei que nunca ia usar essas coisas lá eu gostava bastante sorte minha Acho que a única pessoa na sala de aula eu achei coisa mais fascinante no mundo e alguém inventa alguma coisa agora só tem dois números zero e um não tem mais nove 8 7 os números não existem mais só

zero e 1 eu achei coisa mais fascinante desse mundo e que dá para fazer subtração com uma adição no meus pinar funciona assim achava a coisa mais doida do mundo eu queria aprender e não mudou muita coisa no meu pensamento então por exemplo eu ficava Muito angustiado que eu não conseguir acessar qualquer item de uma lista ou de um dicionário eu gastei tanto tempo para escrever essas paradas aí até hoje tem maior orgulho que deu certo mas porque sabia Eu não tô dominando esse tipo de dados eu não tô dominando dicionários eu não consigo acessar

qualquer chave que eu quisesse de qualquer profundidade não dava is me me deixava Muito angustiado aí fiz várias coisas justamente para praticar isso eu acho que é a coisa mais importante saber converter dados de um formato para outro se obviamente é uma linguagem ótima para aprender isso é uma ótima escolha realmente para iniciar sem brincadeira e foi minha segunda linguagem porque realmente você precisa simplesmente usar mais bit shifting endereço de memória converter para lá para cá n é realmente uma ótima escolha para qualquer iniciante além de você poder fazer basicamente qualquer coisa experimentar o que

você quiser acho que é muito bom eu tinha aprendido Basic antes que Basic naquela época era situação precária a metade nossa sala de aula nem tinha computador sério eu nem sei como o professor tava dando aula direito na verdade ele foi mais teoria né porque você faz o qu metade da sala não tem computador né em casa eu obviamente estudei um pouquinho sozinho né mas tava difícil naquela época vocês vivem hoje em dia no Paraíso vocês podem aprender qualquer coisa rapidinho mas chega da minha opinião mão na massa vamos pegar então os ods do site

betano hoje com acesso à memória como bônus Como já falei você pode sempre usar isso além do seu mtodo Favorito sem problemas beleza vamos dar uma olhada que eu fiz aqui deixa já tudo prontinho já vai poder usar direto as importações são basicamente as mesmas eu tirei agora C types para você ficar menos confuso certo e só Instalei aqui o Jason você não precisa mas especificamente para mas outro site também vai te ajudar é melhor que Jon normal porque ele geralmente consegue liar melhor como encoding é mais rápido é uma bi bibloteca bastante usada e

realmente recomendo minha biblioteca favorita para Jason ya como grande surpresa escrito em se né que basicamente qualquer coisa nesse mundo né No final das contas que a gente viu nos outros nos outros vídeos né bom h e aqui tem os benchmarks Eu já experimentei isso aqui Mas isso não deu muito certo para mim ele teve muitos erros de encoding mas talvez eu tenha feito alguma coisa errada beleza não vai instalar como qualqu outro tá bom olha eu parei de usar Selenium undetected Chrome driver Selenium base porque realmente adb é bem melhor mas já gravei duas

séries como raspar dados como Android mas eu entendo que ainda tem muita gente que gosta de usar se você ainda quiser usar eu realmente recomendo Selenium base É Ainda Melhor para passar a detected entendeu é importante você tem que passar que o se a true coisa legal também é que ele baixa automaticamente o Chrome driver n Chrome driver correto paraa sua versão é bem bonito Google mudou o site de baixar o Chrome driver um tempo atrás e também já escrevi um pequeno módulo para resolver esse problema pelo jeito ainda tá funcionando mas parei de usar

então não fazer mais nada lá mas se você quiser usar ainda Selenium n usa aqui Selenium base muito muito legal agora veio o momento em que eu achei que ficava claro que você podia usar isso esse código juntos com qualquer outro aplicativo Mas eu deveria ter explicado melhor vamos pensando depois olha a gente tá esperando 15 segundos eu coloquei 15 agora você também pode fazer menos como você quiser que eu odeio com Chrome e todos os navegadores eles usam um monte de processos e muitos ficam desconectados do outro detached entendeu na verdade aqui é um

doses truques porque ele fica sem ser detetado mas para a gente poder usar a leitura de memória precisamos ter certeza que a gente pegou todos os processos entendeu então por isso a gente tá domindo um pouquinho depois a gente vai fazer loop por todos os processos que tem a gente vai ver onde tem Chrome eu coloquei aqui lower né adicionei isso para paraa letra maiúscula minúscula não fazer diferença e a gente vai adicionando todos os processos e aqui vamos abrir os processos e começar a ler memória P Memory no módulo que eu escrevi que é

baseado em py mem pym é uma maravilha porque realmente um debug bem leve acho que ele nem tem dependência Se não me engano ele acessa Windows api né e acessa memória só que eu adicionei numai e pandas porque ele tá procurando por exemplo como hes na memória primeiro é com complicado porque você tem que escapar muita coisa tem que adicionar zero bytes e enfim E além disso devagar né então pensei bom eu vou usar funcionalidade de piy mesmo e vou adicionar pandas e numpy para poder procurar mais rapidamente dentro da memória é basicamente S um

debug que é basicamente otimizado para ler Strings na memória é só isso por isso você pode usar como qualquer aplicativo tá agora coloquei tudo dentro de uma função para ficar mais simples olha coloca um string que você vai poder passar que você quer procurar depois eu coloca encoding né que é geralmente aqui já utf8 Windows usa também muito utf16 L né lendan Eh Linux não usa se não me engano internamente mas mas não importa porque você não consegue usar esse como Linux Tá acessando diretamente o Win api então não dá e às vezes talvez talvez

é latim um ou acho que CP 1252 Acho que são sinônimos Se não me engano certo eu começaria sempre como utf8 se não der Aí você faz isso aqui geralmente você encontrar assim e também adicionei isso aqui out encoding replace porque seguinte se você tenta converter isso tudo ser lá para utf8 Vai ter um monte de erros porque os Strings são misturados com bytes lá no meio não é memória é crua É verdade crua Você pode passar um desses valores strict que não recomendo porque ele vai bugar para qualquer coisa ignora que a gente vai

fazer hoje certo replace aí ele usa outro karatê esse uso quando não posso perder nada nenhum bite né porque ele vai formatar desse jeito aqui aí e você pode sei lá consertar depois coisas a gente não vai precisar isso mas é útil saber é útil ter esse Geralmente eu não uso né e a partir de um certo unicode aí você usa as paradas e fica aqui também escapado mas você pode ler aqui ess paz aqui as coisas que eu já expliquei a gente vai pegar esse um8 pelo jeito todos os navegadores eles colocam assim os

dados os sites não que faz obviamente sentido já expliquei isso na outra aula eu tirei essas coisas como C de modificar o direito de memória tirei tudo isso coloquei só n que também é bem rápido eu deixei a distância em uma um Resultado positivo eu decidi mandar uma cópia porque se você quiser mexer depois aqui embaixo Você tem certeza que não vai bugar quando uma cópia porque se realmente é memória do processo e você lá fica mexendo e sei lá o quê pode bugar porque memória pode mudar né a gente já viu Então então eu

decidi aqui retornar uma cópia realmente d o jeito mais simples possível é só 62 linhas mas bem eficaz eu vou te mostrar agora como usar beleza H como eu já falei aqui a gente vai pegar todos os processos de Chrome Então ou você dá um jeito para filtrar os pits de Chrome que seu processo atual ou ser um base undert Chrome Drive ou Play rde ou puppeteer tá usando ou você simplesmente fecha todos seus chromes e pega todos os processos que eu recomendo porque ele tem tantos child processes às vezes eu acho que você não

consegue pegar uma lista inteira aqui você tem que observar eu já fiz uma coisa de da Die Selenium para basicamente matar o selenio mas não sei se ele pega tudo acho mas acho que sim mas enfim né simplesmente fecha todos seus chromes e pronto is vamos fazer agora vou fechar todos uma ajudinha a gente vai abrir aqui outro navegador no meu caso aqui Firefox Mas pode usar qualquer outro aqui não mudou nada da minha estratégia que eu sempre faço eu pego uma palavra aí eu procuro eu sempre tento pegar uma palavra única no site Eu

não colocaria futebol provavelmente muito dos outros lugares né Bel Grano provavelmente não eu tento evitar espaços assentos e qualer outra coisa que você precisa escapar é sempre tento evitar isso porque você não sabe talvez seja escapado de um jeito talvez de outro talvez nada sei lá o qu Ah e agora assumir essa parada né não daqui tá baixo ainda então vamos colocar Belgrano então Belgrano Belgrano e vamos iniciar o processo beleza tá tudo prontinho aqui né o site carregou tá perfeito ótimo a coisa boa como eu já falei na memória sempre tem a verdade a

pílula vermelha é sério é muito louco porque muita gente acha que você só consegue raspar que você tá vendo mas acessando memória é um pouquinho diferente principalmente no site de casa de apostas porque obviamente para um site de casa de apostas seria ótimo atualizar isso o quanto antes certo para cliente não reclamar por exemplo aqui Ah pensei que era 3.1 para apostar nesse sei lá time aí agora sei lá só 2.5 mas eu tenho certeza quando cliquei dava sei lá 3.1 blá blá aí o cliente fica bravo e para de apostar nessas casas de aposto

com b65 petão aí eles querem evitar isso obviamente então eles mandam o quanto antes os dados atualizados para cliente não ficar bravo né E esse aqui obviamente Nossa vantagem porque muitas vezes a gente consegue raspar coisa que a gente nem tá vendo aqui no site como eu mostrei nas aulas como raspar B 365 mas se você não tiver assistido ainda por favor assiste beleza E esse aqui foram todos esses arrays onde ele encontrou o stream Ah como é que era pel Grano eu já tinha te falado toma cuidado quando imprime aqui tudo porque talvez vai

ser a última coisa você vai faz na sua vida talvez você vai demorar para sempre mas aqui vamos dar uma olhada vamos imprimir primeiro os menores deixa eu aumentar aqui um pouquinho s e vamos imprimir só tamanho resol ar most usar aqui print a p si se aí você tá vendo aqui a maioria tá de boa mas aqui já tem umas 30 milhões de carateres boa sorte imprimir isso 16 milhões Eu recomendo para você Você sempre começa como os menores né dei uma olhada obviamente antes testei né H geralmente encontramos que a gente quer menos

de 1 Milhão carateres a gente pode fazer o seguinte Olha a menor menor de 1 Milhão Python não sei você sabe você consegue fazer aqui assim né ele vai ignorar Isso é muito bom Boa ideia então aqui a gente vai arriscar print a gente vai fazer aqui um join join a depois vamos imprimir aqui isso aqui Exatamente pra gente saber onde a gente tá na onde começa um onde termina outro tá bom vamos dar uma olhada ai ai ai a bom hein bonito só agora acho que eu vou diminuir um pouquinho porque senão não vai

dar Inclusive eu tô usando aqui console VTM e Windows terminal com esses dois eu consigo configurar meu buffer Então realmente eu coloquei muitas linhas então eu posso escolar até lá em cima acho que tem tudo você provavelmente não vai conseguir se se você usar um pyon n olha desde o começo ele vai começar a cortar mas eu coloquei meu baffa meu screen baffa muito alto né no vídeo como instalar vi code eu ensino também como configurar isso mas se você quiser assistir é rápido É realmente rápido esse VTM é uma maravilha consigo escolar de boa

pon Sem chance você não consegue mais escolar aqui tem Você nem consegue aumentar tanto o screen buffa ssó aí agora a gente vai ver a gente vai ver a gente vai ver a gente vai ver olha que a gente tem já aqui rapidinho pensei que ia demorar mais eu já tenho aqui olha bonito Olha que bonito hein tem tudo ótimo beleza grande problema aqui n a partir daqui tá tudo bonitinho né mas antes disso tem esses bites aqui né que provavelmente são imagens uma data que ele carregou eu não sei né mas a gente não

vai querer isso vamos dar uma olhada aqui tem mais porque obviamente também pode aparecer outras áreas de memória né Eu recomendo de eh desativar qualquer extenção porque você também vai ver esse código lá dentro você vai ver qualquer coisa se você procura bem você vai encontrar tamanho se seu pinto brincadeira mas é sério muito louco que tem lá dentro depois você faz isso com se navegador normal e você vai ver que coisas que lá dentro que coisa você procurou um ano atrás tipo o Google entendeu Realmente é muito louco is você acha ao que eles

Não Contam toda verdade que Eles transmitem PR servidores deles aqui tem mais coisas handicap rendering layout aqui também tem esse aqui esse aqui que eu estava procurando você amente vai precisar agora algis que você pode se orientar né pelo jeito eles comeam tudo com Sports vamos dar uma olhada que eu não testei ainda mas eu tenho quase certeza que vai dar certo vced a gente vai extrair os dados usando aqui um split bem simples coisa mais simples do mundo eu falei para vocês que eu vou deixar bem simples aqui fácil hoje é fácil antes foi

basicão mas não fácil aqui tem outro tá então vamos dar uma olhada aqui esse como Ele termina aqui Ah ele termina bonitinho aqui ótimo maravilhoso ele já termina aqui D uma maravilha tricolor paulista a gente vai fazer aqui um split olha vamos testar se tá funcionando aqui ah tem mais uma aqui olha só tem mais uma deve ser outra categoria Sports aqui ah vamos pegar isso aqui ótimo Olha a gente vai fazer aqui um split pera aí deixa eu copiar isso aqui um pouco vamos aqui para nosso editor normal não deixa um comentário aqui h

Ah isso aqui ele já tem aqui que eu fiz antes Olha então deixar desse jeito aqui eu tinha tirado isso porque o Python consegue lhe dar de boa agora como 30 milhões é só para você quando você quer imprimir o problema mais o ser humano porque se você quiser imprimir 30 milhões de caracteres ou mais né porque são várias você vai ler um pouquinho né mas agora a gente pode a gente pode fazer isso de boa Python vai conseguir lidar como isso ele vai fazer um split aqui primeiro coloca ma Split para realmente só fazer

um split uma única vez pega o primeiro por eu fiz não fiz menos um eu fiz o primeiro porque muitos me bugar aqui ele vai parar ele vai continuar vai ter aqui um erro a gente vai ver que tem e vai continuando entendeu Por isso eu coloquei um de propósito aqui depois Se der certo a menoria das vezes porque obviamente nosso string não vai aparecer em área de memória a gente nem quer isso a gente pega aqui o zero V fazer aqui um split Ok é outra parte depois já que a gente tir isso a

gente vai adicionar novamente binary toma cuidado sempre faz com binary porque o Jon consegue L super bem com binary não faz aqui Dee o Jon CONSEG li super super bem inus também n se você quiser com obv também é poss encontrar qualqu código HTML dentro e vamos aqui n se D certo a gente vai ver aqui um Jason Na verdade uma lista depende aqui erro não erro erro beleza então não deu certo mas o problema é aqui trailing data temho Jason esse aqui que a gente quer mas não está no formato correto aqui também tinha

um aqui também aqui também tinha um sem quando tem trailing data Teve alguma coisa mas no que a gente quer aqui não tinha nada beleza então vamos aqui elaborar is um pouquinho mais vamos pegar toda essa parada aqui Sports vamos deixar só dois pontos e vamos colocar isso aqui vamos dar uma olhada se dá só que agora obviamente pris adicionar isso embaixo vamos dar uma olhada agora próxima tentativa Ah aqui tin viu Agora deu aqui Market Close time tem um monte de coisa aqui e pelo jeito exatamente que você quer eu acho não eu não

sei que é tênis S José Shark aqui é que é agora você provar a gente vai querer uma coisa mais gizada né você não vai querer esse aqui a gente procurou Belgrano né mas é só paraa gente saber quais estados vamos precisar então eu já tinha feito testes aqui como display porque você tem um monte de lugares mas pode também fazer outra coisa results também pode ser não qualquer coisa a testa score talvez aqui também tem várias vezes você vê você vê aqui uma chave que sempre tem que você quer beleza de aqui vamos testar

aqui V pegar aqui uma chave geral display vamos pegar aqui display já tinha testado is deu certo então a gente vai colocar aqui agora você pode inclusive chamar de novo a função né por isso eu fiz aqui bem simples agora olha vamos testar isso de novo vamos copiar aqui có também pode depois jogar dentro de uma função né e agora vamos lá aqui ok Seconds start Total Run Ok is Ok display Order Price Talvez seja interessante também ver que esse código significa Mas aqui tem home Away second start Mas como você tá vendo a gente

consegue raspar qualquer coisa James duckworth provavelmente são os ods eu não sei sei lá que é Men 1.5 calgari Flames mas aqui você tem tudo de boa né então você tá vendo aqui dá para usar tranquilamente sempre como uma ajudinha sempre consegue a abr qualquer processo como isso menos o sistema acho que o pit z0 e pit 4 ele não deixa mas ah resto você consegue de boa mas depois você vê muito obrigado por assisti qualquer dúvida escreve um comentário é sempre bom sabe saber as suas opiniões se o menino não tivesse escrito a comentário

provavelmente nem teria feito esse vídeo n mais deixa tudo bem claro que nada difícil usar é bem sal Beleza então muito obrigado por assistir e a gente vai na próxima aula né tchau tchau