e galera beleza aqui nesse vídeo eu V mostrar como raspar tranquilamente qual S 365 no máximo 10 15 linh de código primeira partei JavaScript fazer mais S adbo vai ver muito a gente o código do primeiro vídeo dessa nova série ok a gente pega isso aqui e cria um novo arquivo se você quiseres nem precisa criar um novo [Música] arquivo beleza vamos deixar o navegador já aberto Ok se você quiser você também pode entrar no site Abrir Eu já mostrei outros os vídeos como fazer eu vou deixar aqui aberto porque provavelmente sua ideia é de
raspar constantemente esse site certo uma coisa que a gente tem que fazer a gente entra aqui só só mexe aqui rapidinho aqui e aqui Marca um ponto onde a gente sempre pode clicar no começo s para ter a certeza que a gente tá dentro dessa parada aqui pega esse ponto aqui você tá vendo aqui em cima né x 980 mais ou menos y 540 Então vamos adb cla input [Música] input 900 tem um grande problema quando tá acontecendo muita coisa na tela ele não CONSEG ele não consegue gerar o XML n simplesmente não dá é
um problema conhecido como as novas versões de Android é melhor já mas um problema conhecido e não tem solução para essa parada pelo menos não uma solução em geral mas Eu descobri uma coisa como fazer isso a gente precisa bloquear esses processos que fazem muito movimento agora é bem tarde já eu não tem muito jogo agora mas se você fizesse no sábado Ok e vai ser necessário fazer desse jeito provavelmente até conseguiria fazer agora do outro jeito olha aqui esse vamos usar e já feito para Ki se você quiser fazer seu outro processo Você tem
que ver você tem que ah usar esse comando de Linux LC off Ok e depois você cria uma expressão regular para encontrar os processos que você quer bloquear durante o Ui automator se você bloqueia o processo errado quer dizer todo o processo não vai rolar nada ok ele não vai conseguir gerar nada você tem que ser realmente ess processos que geram muita Ah muito muita coisa OK bom screenshot não vamos fazer agora não vamos precisar sende também não a gente nem vai querer clicar nada disso Beleza já vamos dar uma imprimida em toda parada h
e bora lá beleza e aqui foi e como está vendo aqui já tem tudo que a gente precisa só filtrar agora não tem tudo coloquei aqui rapidinho aqui mais um slip aqui depois de clicar Beleza então agora Grande Desafio como vamos agora ya saber o que é o qu beleza Vamos começar agora como um filtro mais geriz vamos dar uma olhada aqui aqui qual classe A gente precisa aqui provavelmente vai ser o text viw se a gente olha aqui a gente pode ver que é bem provável que seja o text Vi beleza no primeiro filtro
Vamos fazer assim pegar isso aqui passo DF l DF aqui o classe é text you é isso aqui mentar um pouquinho aqui beleza ah como já falei infelizmente tem isso aqui a gente tem que fazer aqui um unwrap toda hora um saco mais uma hora eu vou descobrir como não precisa fazer isso só e a gente pode imprimirarte tudo vai fazer un vai ser um pouquinho feio lá ah olha aqui a gente coloca df2 vamos fazer aqui uma cópia porque a gente vai precisar mexer agora com esse Data Frame é melhor fazer uma cópia senão
você pode se ferrar rapidinho como data frames coloca já no código porque is vamos fazer precisar de qualquer maneira e agora vamos colocar imprimir todos e agora fica bem feio não vou marcar isso agora tudo só uma parte aqui beleza vamos fazer mais Ah vai vamos vamos reiniciar porque por um motivo eu não sei por mas quando ele tá aqui aí ele não ele imprime direito sempree não começo tá um dia vou descobrir como fazer Prom e agora ele imprimi direitinho tudo beleza e aqui tem nossos dados agora precisamos pensar mais como a gente pode
filtrar tava olhando esses dados eu percebi que antes de cada jogo tem aqui duas linhas de espaço Aqui tem duas linhas certo aqui também aqui porque aqui aqui do lado tá um pouquinho ruim agora n text viw todos são textview todos tem a mesma coisa todos tem as mesmas características Eu também tentei aqui ordenar pro parents também não deu então e aqui também não dá porque ess esse aqui são os invisíveis lá aqui em cima são os visíveis mas eu quero t também que é os invisíveis aqui tem mais para baixo na tela né então
esse o único jeito que a gente tem que pelo menos eu descobri aqui de separar aqui em duas linhas certo aqui né E aqui embaixo esse também pramos cortar aqui a última palavra oferta em cima também tem coisa para cortar n Mas você tá vendo aqui aqui já tem aqui resultado final essa palavra que a gente não quer a gente quer a partir daqui certo então vos aqui resultado final ah ofertas lá embaixo se você fizer isso você tem que verificar isso OK eu não eu não sou muito desse mundo apostar então verifica se realmente
tá sempre aqui no final ok Senão você tem que dar um outro jeito beleza como a gente pode fazer Então olha a gente vai criar uma nova coluna vamos chamar isso aqui df2 deix aumentar um pouquinho good vamos chamar esse e vamos colocar valor Zero Certo só isso tem uma nova coluna agora com valor zer vamos já colocar isso aqui beleza agora a gente vai primeiro filtrar onde tem dois espaços certo Então olha aqui dois L na verdade aqui onde tem um espaço só só e agora vamos colocar assim a test string contains um pouquinho
mais ainda string contains e vamos colocar uma expressão regular porque pode ser que tenha uma espátula também né então a gente vai colocar assim esse quer dizer começa deixe começo aqui espaço não ah nenhum ou mais de nenhum sem limite e aqui final da linha aqui a gente coloca na fse é bom fazer isso Redex true normalmente ele reconhece Mas enfim agora já tem isso tá agora tem onde tem nada e agora podemos modificar os valores no df2 PG que a gente acabou de criar olha good é a gente vai dar agora um valor de
um a gente vai saber isso vamos copiar isso já olhando [Música] agora df2 ó fica bagunçado de novo só aqui olhando para isso a gente agora pode ver bem no finalzinho né onde tem espaço agora tem um outros tem zero nessa coluna que a gente criou beleza nos outros na oferta e também no resultado final a gente vai colocar número três daqui a pouco você já vai ver por Então vamos usar a mesma coisa certo agora vamos colocar três e aqui vamos também uma expressão regular aqui sim aqui nó vamos capturar grupo ofertas também já
temos aulas sobre expressões regulares vou deixar lá em cima e aqui resultado final eu acho que resultado final vamos imprimir primeiro sem colocar um três n aqui vamos colocar nada por enquanto e vamos dar uma olhada vamos aqui tirar o capture group aqui também só isso Aqui tem duas vezes ofertas duas vezes oferta final muito bem a gente vai coloca agora valor TRS então a gente coloca aqui Good é TR bom deixar assim muito bem agora a gente vai fazer o seguinte a gente vai agora ver onde a soma é maior que um ou seja
dois Porque lá é onde a gente quer fazer o split certo onde a gente tiver mais que1 a gente vai querer fazer o split Como vamos fazer isso bom em pandas Tem uma função bem legal um método na verdade e shift aí a gente pode fazer um shift olha aqui esse aqui o panda Shift para você ter uma ideia n você tá vendo aqui você pode tipo ya fazer um shift simplesmente né você aqui por exemplo aqui vai três mais por baixo e você coloca um F value Zero Certo e a documentação de pandas é
incrível né aqui n tem shift aí ele vai mais para baixo isso aqui vamos precisar é bem simples A gente vai criar mais uma nova coluna A gente vai chamar essa coluna good Def diferencia agora a gente coloca df2 a gente coloca good né que a gente acabou de criar mais df2 good P shift a gente vai querer fazer men1 n direção men1 e o f value a gente vai querer Zero Certo bom já vamos copiar vamos dar uma olhada que deu só aqui vamos assim copiar isso E como está vendo esse que deu a
gente dá uma olhada nessa coluna Ah ele aqui não tem auto preciso copiar aqui D um pouquinho saco ainda se acostumar nisso pera aí é como você tá vendo aqui dois 4 6 3 isso é onde a gente quer fazer agora o split dois antes de fazer isso fazer o split a gente precisa reiniciar o índice aqui do nosso dataframe porque a gente vai agora eh fazer um split com numpy e o numpy ele vai entender isso como índice absoluto não como nosso Data Frame que é DF antigo né porque lembra a gente filtrou no
começo né pelo classe texto text viw Beleza então vamos fazer isso rapidinho DF é DF ah df2 na verdade reset index drop true aqui iniciado agora índice não assim copiar ISS aqui vamos colocar assim s e olha o que vamos fazer DF l de novo agora DF df2 na verdade aqui a diferência diferência boa precisa ser maior igual 2 assim S 14 que a gente encontrou hum certo esse aqui lá vamos fazer aqui um split Bom agora vamos pegar aqui o índice esse vamos precisar aqui parada aqui e agora Eu sempre gosto de fazero que
nem é necessário mas vamos fazer aqui aray certo ess aray agora eu vamos copiar isso vari ind indimo passo num snp split NP [Música] split E como você está vendo agora tá tudo que a gente precisa assim tá tem tudo que você precisa aqui até a gente aqui tem umas coisas juntas aqui ou não ah tem aqui bom aqui você deixa como uma lição de casa você pode também colocar aqui um split aqui depois por exemplo aqui depois de float né Aqui tem mais pronto n na verdade a gente agora fez um split pelas categorias
T vendo agora né aqui tem umas categorias sempre aí você pode fazer bem simples aqui você pega aqui a categoria E eu provavelmente olharia nesses floats aqui eu colocaria aqui um split aqui n onde tem floats aí você faz aqui várias floats né em seguidas aqui também tem essa estrutura isess são iguais aí você faz o split aqui pronto perfeito ah é basicamente isso é só vamos agora cortar essa esse lixo aqui no final são só aess s as outras essas apostas bostas aqui né a gente não vai precisar hum hum beleza OK então esse
aqui são três quatro lixo cinco lixo quatro cinco e aqui em [Música] cima vai ter até aqui 1 2 3 três Lixo então a gente pode fazer simplesmente assim vamos chamar isso de e e agora vamos colocar aqui que a gente falou TRS qu Vamos colocar começar com TRS TR e a que final foi quatro e vamos dar uma olhada Ups qu cagada aqui falta mais um para tirar Então vamos fazer menos C E agora jovo paress ser mhor aqui Lácio do monto perfeito deix ver primeiro primeiro isso também tá já tem ótimo Maravilhoso se
você quiser pode também tirar isso depois aqui beleza vamos colocar no código um separada aqui só isso vamos precisar importar não p rapidinho aqui Import não p [Música] ISO S esse Bas Men fo tudo agora vamos rodar de novo vamos lá for R em result e agora vamos imprimir tudo certo não qu tá aqui ah fo s e agora foi basicamente n aqui Você tem todos os joguinhos aqui n aqui a gente peraí Barcelona é isso o último jogo né ele como tá vendo ele consegue ver tudo não precisa ser visível na tela e agora
agora você pode já cuidar um pouquinho mais disso né Você pode aqui fazer o split como eu falei nesses joguinhos não pode aqui filtrar os dados que te interessam né tem todas as outras informações também os os duplicados pode tirar né eu tem vários vídeos onde ensino isso como fazer isso com pandas H é basicamente isso acabou tá venda bem simples agora você pode deixar rodar isso no no no loop infinito basicamente e colocar aqui no loop e deixa rodar rodar rodar e ele sempre vai te mostrar aí pode salvar como Excel com várias outras
coisas já mostrei como na outra aula no na primeira série né como rasp como fazer tudo isso não vou refazer depois você assiste tiver assistido e acabou assim raspa sem nenhum nenhuma linha de selum sei lá o que bem simples beleza muito obrigado por assistir essa aula e a gente vai na próxima né tchau tchau
