Como usar a API do Firecrawl para Web Scraping

fala pessoal Professor Mateus aqui vídeo de hoje vai ser sobre o Fir craw que é uma ferramenta fantástica para raspagem de dados na web para você fazer projetos de web scrapping conseguir extrair dados ali de páginas que estão no diversos sites aí da internet de forma descomplicada tá ele utiliza um mecanismo de a aqui vai ser bem importante a gente vai est falando disso na aula de hoje antes de mais nada tá pessoal alguns recados eu queria agradecer aí que vocês estão chegando em peso nos likes e nos comentários dos vídeos tá no último vídeo que a gente postou aqui no canal bateu a meta de likes em menos de dois dias tá com mais de 150 likes E os comentários também que vocês chegaram junto Beleza então vou trazer a parte dois daquele vídeo que é sobre n8n tá eh os agentes de a no n8n Então já tô preparando essa aula e essa semana ainda sai aqui no canal Hoje a gente vai tá falando sobre o Fire Crow tá que é uma ferramenta fantástica para est raspando dados da web certo muito top mesmo eu tenho testado diariamente mas antes de começar eu também queria dar alguns outros recados que são se você não participa do nosso grupo no WhatsApp participe tá por lá a gente tem um Network intensivo mais de 2 anos com esse grupo eh tirando dúvida dos alunos ali diariamente tá todos os dias da semana então a galera tá engajada ali tá criando micras tá criando várias outras coisas coisas e você pode estar perdendo todo esse conteúdo por não participar da comunidade é totalmente gratuita a comunidade do WhatsApp tá então basta você entrar pro grupo e ficar ligado lá nos insights e dicas que as pessoas estão passando tá então se você quer trabalhar com a área de tecnologia esse recado agora é para quem quer se especializar mais e mais tá se você não sabe nada ainda quer criar chatbots agentes de a igual nós falamos aqui no canal entra pro circuito eii que é a minha comunidade privada tá completa com vários conteúdos ali para você que quer trabalhar com inteligência artificial criando agentes de a dentro do n8n dentro do Type bot eh ferramentas como Flow Wi a gente fala por lá também você aprende desde a instalação até a implementação dos seus agentes como pensar na hora de criar um projeto e vários outros conteúdos que a gente fala por lá beleza então já são vários alunos ali a aprendendo e aplicando diariamente que a gente ensina ali no circuito Beleza então o primeiro link da descrição vai tá aí para vocês também e é isso então recados passados Vamos agora para o firecrow entender como que essa ferramenta Funciona porque vai ser útil no seu dia dia Então pessoal Basta vir aqui no site do firec tá pra gente iniciar E aí o que é que vocês vão fazer vocês vão clicar aqui em signup tá Então pessoal eu estou aqui no site do Fir tá você vai clicar em signup e depois vai preencher ali o seu e-mail e a sua senha ele vai estar criando uma conta para você beleza ele te leva para essa tela ali de confirmação dizendo que no seu e-mail vai chegar ali um link para você confirmar e a conta que você criou no firecrow Beleza então você vai clicar no seu e-mail confirmar esse link como nós fizemos aí e ele já te redireciona pra página principal logado ali dentro do F CW para você poder e pegar sua chave api e também ver e os end points ali Como que você faz a chamada ali na plataforma Então pessoal vocês vão clicar aqui em playground depois de clicar em playground você vai ter acesso a essa tela E aí basta adicionar o link da página que você quer fazer o scrap né que você quer coletar os dados Então vou pegar aqui uma página que é permitida que é o site books. com pra gente fazer esse tutorial apenas a título didático aqui no YouTube Então esse site aqui permite tá eh a raspagem de dados é o books ptres crep. com é um site que foi feito para isso certo mas se vocês forem acessar qualquer outro site olhem as diretrizes antes tá se eles permitem ou não eh a prática de web scrapping para você conseguir fazer ali tudo dentro da das diretrizes do site Beleza então já deixando claro isso aqui pro YouTube e para todos vocês pra gente não ter nenhum problema com a plataforma Beleza então nosso intuito aqui é puramente Educacional e não fere as diretrizes da plataforma de modo algum porque nós estamos utilizando um site que já foi feito para o scrapping que é o books ptus crep.

com e o próprio site permite essa prática de raspagem de dados beleza então o que você tá aprendendo aqui você pode aplicar para qualquer site que você queira Mas sempre lembrando de verificar antes as diretrizes desse site Ok vamos lá e aqui em playground eu vou colar Tá vou pegar um um livro aqui dentro do site do books. com cliquei aqui num livro e vou colocar esse link para esse livro aqui no firec beleza e aí quando eu aqui o link Ó você tem a opção single URL para raspar uma única página ou cow o cow ele vai acessar os sublinks que tiver na página então se ele encontrar links aqui dentro da página que levam para outros conteúdos ele vai raspar também esses dados tá então vou raspar só os dados que estão nessa página aqui certo então vou colar o link aqui ó e vou dar um Run Beleza então clicando aqui em Run ele vai fazer a raspagem de dados ó não demora muito tá coisa de menos de 10 segundos ele já aqui ó já coletou tá as informações e já trouxe aqui em markd tá pode perceber ele traz o nome do livro tá que é esse nome aqui mesmo ó certo ele vai trazer também o preço desse livro Então se a gente for puxando Aqui para baixo ó 51,77 centavos de Euro né então a gente tem aqui certo temos aqui o stock que vem logo desse texto aqui certo então ele traz isso pra gente também aqui ele traz uma warning né que tem ali no site é como se fosse uma promoção né e deixa eu ler aqui ó fazer a tradução literal Esse site é uma demonstração para fins de web scrap os preços classificados aqui foram atribuídos aleatoriamente não tem significado real certo então para vocês verem aí mais uma vez que o site é totalmente voltado ao web scrapping beleza aqui e a gente tem um texto em inglês que é um texto referente ao livro que tá aparecendo aqui na página certo e aqui você tem o formato em markd então aqui ó perceba product information ele traz uma tabela aqui para você em formato markdown certo que é essa tabela que aparece aqui no site ó tá Exatamente Essa tabela que tá aparecendo aqui aqui e daí você pode acessar o conteúdo também em Jason que ele traz aqui o conteúdo em Jason Então dentro desse content aqui ó você tem todo o texto tá todo o texto do site ó pode ver dentro dessa chave content beleza Desde a tabela que veio ali ó dentro do markdown até tudo Tá tudo que tá dentro do site ali em termo de texto vem aqui no content tá aqui a gente tem o que tava dentro do Mark que é essa versão aqui que ele separa já tem todo o conteúdo aqui em markdown aqui os metadados do site e os links que foram encontrados dentro da página Beleza então você encontra aqui também os links que estavam presentes nessa página que você forneceu se nós quiséssemos puxar o HTML da página para procurar mais informações e outros dados que talvez ele não tenha encontrado aqui no content que é muito difícil você pode vir aqui em options tá E aqui no options é interessante que você pode excluir as tags que você não quer que sejam retornadas e adicionar as tags que você julga essencial serem retornadas ali no seu HTML beleza aqui você tem o tempo de espera que ele vai levar pra página que ele tá tentando acessar e raspar os dados carregar ali o conteúdo então você pode colocar aqui ó 7000 msos que é 7 Segundos 10. 000 msos que é 10 segundos porque tem tem site que demora bastante para carregar o conteúdo ali é em média uns 5 segundos 6 segundos aí você pode inserir aqui o tempo beleza aqui clicando em include HTML content tá e se a gente der um Run novamente ó ele vai trazer agora os mesmos conteúdos que ele trouxe só que com o HTML do site então perceba aqui ó ele traz o Mark Down aqui no json agora ele traz uma chave chamada HTML e todo o HTML da página que ele encontrou como aqui é um site simples tá pessoal que ele tá puxando que é o books ptres crep.

com pode ver que a página ela não tem muita coisa ela tem o título do livro A imagem uma descrição do produto uma tabela aqui mas não tem muita coisa então por isso que o HTML ele não chega a ser tão eh tão expressivo né não chega a ser tão ter tantas informações aqui beleza então basicamente é isso no mais é assim que você usa aqui no o firec na interface visual tá agora a gente vai entender como utilizar ele via chamada api que é o que muita gente quer tá E vai est utilizando provavelmente no n8n em outras ferramentas aí que vocês já conhecem e que a gente também fala lá no circuito ai então se eu clicar aqui por exemplo Flow Wise eu tenho o meu Flow Wise hospedado aqui na nuvem por exemplo vocês podem ver que nós temos aqui um bloco tá do Flow Wise que ele já é destinado ao Fire craw Então se eu digito aqui ó deixa eu só voltar tá aqui na parte do chat Flow vamos recarregar aqui tá servidor tá um pouco pesado tá turma então por isso ele tá demorando um pouquinho para carregar ali mas vamos vamos recarregar aqui a aplicação Ok beleza então vou clicar aqui tá essa automação aqui ele vai acessar nossos blocos aqui da automação eu posso clicar aqui digitar Fire craw tá nós já temos aqui ó a ferramenta do Fir craw presente no flow I então se você quiser você pode pegar sua chave api tá e colocar aqui uma url ou então um dado dinâmico aqui no lugar da URL dentro do flowise para que ele consiga fazer a raspagem das informações tá então ele tem as inform aqui a opção Crawl e a opção scrape também tá então ele pode estar fazendo raspagens de informações de um site específico que você queira ou de site dinâmico então você pode integrar o seu agente de a para est realizando essas consultas aí beleza só abrindo o leque de possibilidades aqui para vocês beleza então aqui pessoal em API kys Você vai clicar tá em API kys E aí ele vai te mostrar sua chave api que é justamente essa chave aqui que tá oculta tá eu não vou exibir aqui para vocês porque a chave de cada usuário é individual Então você vai pegar essa sua chave aqui você vai montar uma chamada no n8n tá e ou em qualquer outra plataforma que você esteja no caso do flowise você só precisa pegar essa chave e colar aqui dentro do do firecrow API tá E aí você vai conseguir utilizar Beleza então Eh aqui é bem simples tá na na questão do flois no n8n para você tá utilizando o que que você vai fazer você vai vir aqui em http vai vir aqui em Post né porque você tá enviando ali para o site E aí eh o que que eu vou fazer eu vou estar deixando um template para vocês nos downloads dessa aula aqui já com a chamada pronta tá do que é que você tem que inserir aqui no bar tá já com a chamada pronta mas eu já vou ajeitar aqui então vou clicar aqui send bar send readers vou colocar o autoriz né que eles pedem ali na chamada api aqui eu vou colocar o content Type application Jason né e aqui eu vou colocar o bar Beleza então a minha chave ap eu vou colocar aqui claro que vocês não estão vendo porque eu não posso compartilhar tá a chave api e e aqui para você ver qual que é o end Point que você vai colocar aqui na sua chamada do tipo post Você vai clicar aqui em Docs tá na sua parte aqui de de painel do firec você clica em Docs bom pessoal aqui na documentação do fire craw vocês vão clicar aqui tá é em ap Keys ele vai Aqui tá a minha api ela tá aparecendo oculta tá não posso exibir aqui para vocês porque a api é algo pessoal Então guarde sempre a sua chave tá não não compartilhe com ninguém e aí você vai clicar aqui em copiar ó copia o código da sua api tá você vai clicar em doc ele vai carregar essa página Aqui você clica em API tá você rola a página aqui para baixo clica aqui em API logo após essa palavra aqui ó How to use né eh e aí você vai ser redirecionado para essa página aqui tá que é a documentação api do firec E aí clicando aqui em scrape ó ele vai mostrar para vocês o endp que vocês têm que acessar para poder usar api Então você copia aqui ó eu vou até estar salvando tá para deixar aí disponível para vocês o bloco do n8n Então vou vou deixar para download nessa aula tá você copia aqui esse caminho tá até abrir um bloco de notas aqui ó colocar aqui o caminho tá o endp aqui no n8n você vai colar aqui num bloco http cend Point os readers são o authorization você vai colocar o barer e a sua chave api eu não coloquei porque eu não vou mostrar essa chave ap aqui no vídeo tá E aqui eh o content Type application J Beleza então aqui no no Jason que você tem que enviar basicamente você vai pegar aqui na documentação tem algumas coisas desse Jon que são obrigatórias tá outras nem tanto então você pode pegar aqui por exemplo ó deixa eu só encontrar aqui tá aqui é chamada Curl tá você pode pegar aqui na chamada Curl e copiar aqui ó nesse data que tá aparecendo aqui tá você pode copiar tudo tá mas não precisa copiar tudo isso aqui mas se quiser fique à vontade aí tá copia sem esse aspas aqui no final tá e cola o Jason aqui ó tá E aí você vai ter a sua expressão criada você só vai tirar esses Strings que tão entre maior e menor que aqui certo e aí você já tem aqui é a configuração padrão tá da sua API Então vou tirar aqui ó ess remove tags deixar vazio aqui também então remova todas as partes Onde tiver aqui a palavra string e esse maior e menor q tá E aí você pode substituir por um valor que você realmente queira Beleza então aqui ele tá dizendo que vai tá no modo markd isso aqui não é obrigatório tem bastante coisa aqui que não são obrigatórias tá então vou deixar vazio aqui certo e aqui você coloca o link do site que você quer é raspar ali para poder coletar as informações Beleza então agora que você já tem aqui é o padrão né o time out você vai colocar em milissegundos então você pode colocar Sei lá o timeout de 5000 msos que ele vai esperar 5 segundos pra página carregar e aqui você cola o seu URL então o URL pode ser um URL fixo de um site que você quer ou você pode estar usando um loop over itens alguma coisa nesse sentido aqui dentro do n8n para ele raspar dados de várias páginas Beleza se esse foros seu intuito então o que que eu vou fazer aqui ó eu vou colocar o mesmo link de site que a gente estava usando que é esse site aqui tá copiar vou colar aqui tá lembrando que eu vou deixar esse arquivo aí na no download para vocês tá a aqui da da descrição agora eu vou colocar aqui a minha chave eu vou acrescentar um Edit Field aqui para a gente poder olhar a informação sem visualizar aqui a a a chave da api tá então vou colar minha chave aqui e já volto tá Então pessoal já coloquei a minha chave aqui rodei a chamada api tá E aqui como vocês podem ver no Edit Fields tá eu tenho aqui o retorno ó o content tá do site books.