Como Desenvolvi uma Memória que Evolui Sozinha no Claude Code Obsidian (Método do Karpathy)

O Andrei Caparti, um dos maiores nomes da inteligência artificial atualmente, publicou um tweet com mais de 18 milhões de visualizações, onde ele fala que não tá usando LM somente para escrever código, mas também para criar uma base pessoal de conhecimento. E eu vou te mostrar nesse vídeo como você pode criar sua base de conhecimento seguindo o padrão que ele propôs com Cloud Code e o Obsidian, exatamente como você tá vendo aqui na minha tela. Mas antes de começar, eu quero me apresentar de uma maneira bem rápida.

Meu nome é Audermus. Eu já trabalho com a inteligência artificial há quase 6 anos. Hoje eu sou professor e fundador de uma escola de inteligência artificial.

Também já atuei como revisor técnico de uma das maiores editoras de tecnologia do mundo. Então o que eu vou falar aqui de fato já tem uma certa bagagem, uma certa experiência de tudo que eu acumulei no mercado e claro do monstro Andrei Capart também. Então nesse vídeo aqui você vai entender passo a passo como você consegue construir o que ele falou de uma maneira muito precisa, de uma maneira muito bem explicada.

Então fica nesse vídeo até o final que eu tenho certeza absoluta de que você vai aprender. Pessoal, antes de tudo, a gente tem que entender a fonte. Eu bato muito nessa tecla.

Tudo que você for estudar comece pelos fundamentos. E nesse caso, o fundamento, a base, a raiz do que a gente vai conversar hoje nasceu desse tweet que o próprio Andrei Caparti fez aqui no perfil dele. Então vamos ler, eu vou traduzir para vocês, eu grifei os trechos mais importantes pra gente poder discutir aqui.

Ele começa falando de LLM knowledge base, ou seja, base de conhecimento de LLMs. E ele fala o seguinte, ó, eu achei muito útil recentemente usar LLMs, ou seja, usar modelos de linguagem para construir uma base de conhecimento pessoal para vários tópicos de pesquisa de interesse. E é justamente isso que ele faz.

Ou seja, você utiliza o LLM não para poder escrever código ou para poder, enfim, fazer qualquer coisa, escrever um artigo, criar um doc e por aí vai. Na verdade, você utiliza o LLM para poder construir uma base de conhecimento pessoal. Se você tá estudando algum tópico, se você faz alguma pesquisa de concorrência, o que seja, você consegue criar uma base de conhecimento útil pro LLM poder acessar utilizando algumas ferramentas open source, umas ferramentas gratuitas que eu vou mostrar para vocês nesse vídeo para poder construir, ou seja, uma base de conhecimento pessoal para você poder acumular conhecimento e estudar de uma maneira mais otimizada.

Ele divide em vários tópicos, né? Primeiro é ingestão de dados, ou seja, de onde você vai puxar os dados que você vai estudar. Então, a gente pode estudar através de vídeos de YouTube, a gente pode estudar através, por exemplo, de artigos científicos, a gente pode estudar através de posts de blog e várias outras fontes também.

E aquele detalhe, ele utiliza muito para poder puxar conteúdos de página web essa extensão do Google chamada Obsidian Web Clipper Extension. E essa extensão te permite pegar, por exemplo, uma página da web e enviar ela de uma maneira otimizada em Mark LM poder consumir, pro seu sistema, paraa sua base de conhecimento pessoal poder consumir e transformar isso em conceitos para você poder estudar. E essa nomenclatura de conceitos eu não falei à toa, eu quero que você veja mais pra frente aqui no vídeo também.

A IDE. O que que é IDE, pessoal? IDE é basicamente o editor de código que a gente vai usar.

E aí você pode estar pensando: "Pá, a gente vai ter que programar aqui. Se você é não técnico, nunca programou na vida antes, não tem problema. Por quê?

Porque a ideia editor de código que ele vai usar é o próprio Obsidian. Então aqui a gente não vai usar um editor de código, a gente vai utilizar o próprio Obsidian para poder construir isso aqui que vocês estão vendo, que é a base de conhecimento pessoal. Beleza?

Isso aqui eu criei só para poder mostrar para vocês. A minha tá em outro arquivo, mas essa aqui já dá uma noção muito boa do que você pode fazer. Question and answering, ou seja, perguntas e respostas.

Ele fala o seguinte: "Eu achei que eu tinha que fazer um um sistema hag bonito e depois eu explico para vocês o que que é hag". Mas eu achei que eu teria que fazer um sistema hag, né? Mas o Llém em manter esses arquivos.

Por que, pessoal? Porque quando a gente tá estudando, bom, pelo menos o próprio Andrei, ele consumiu mais de 100 artigos pro LLM poder relacionar cada um deles. Então, se um artigo cita um determinado tópico e, por exemplo, um outro artigo lá depois de muitos outros cita esse mesmo tópico, ele conseguiu ver na prática que esses mesmos tópicos o Ll consegue identificar e relacionar esses dois artigos através do tópico citado, entendeu?

e sem prejudicar tanto assim a janela de contexto e a performance do LLM devido à grande quantidade de artigos para poder ser consumida. Então, foi um achado interessante, um achado que eu quero discutir com vocês como é possível isso acontecer. Vou te mostrar na prática como isso acontece, mas funcionou muito bem para uma escala aproximadamente pequena, né?

Aproximadamente aqui de 100 artigos e 400. 000 palavras. Agora a saída, né, o output aqui do modelo.

Bom, quando você tá utilizando o Cloud Code no terminal e a gente vai fazer aqui a utilização do Obsidian com Cloud Code, geralmente a gente tem as respostas no terminal, em texto, mas é possível também você criar, por exemplo, slides, você pedir gráficos para ele e tudo isso ele vai criar também e vai colocar dentro do seu obsidian os gráficos gerados, os slides gerados e por aí vai. Então é completamente possível você pedir isso. Outra coisa, Linting, isso aqui é basicamente para poder ajustar qual que é a formatação do seu texto.

Então você padroniza um certo tipo de formatação e a partir disso você consegue fazer com que o Llesse padrão ao longo do caminho. E não só isso, você consegue revisar tudo que foi feito para garantir que tudo tá na mesma formatação. E aqui ele vai detalhando várias outras coisas.

Dados brutos de um determinado número de fontes são coletados, são compilados por um LLM em uma wik. md. Vou citar para vocês o que que é isso.

E em seguida processados por várias linhas de comando do LLM para realizar perguntas e respostas e apromorar incrementalmente, né? O que que é aprimorar incrementalmente? Quanto mais conhecimento você for colocando, que que vai acontecer?

Ele vai ver tudo aquilo que você já fez, vai ver se tem algum tópico dessa nova fonte de conhecimento que se relaciona com os que você já tem e se sim, ele vai linkcar esses dois. Para quê? Justamente para formar esse grafo de conhecimento aqui.

Porque um grafo de conhecimento, note que aqui eu tenho uma fonte, beleza? E aqui eu tenho outra fonte. Note que elas se relacionam.

Então você pode ver perplex AI, eu me relaciono com essa fonte e eu me relaciono com essa fonte porque em ambas as fontes que eu tava estudando, eles citaram o perplexity AI. Então o próprio LLM identificou e uniu esses dois através do perplexity. Então dessa forma a gente consegue aumentar a performance, como ele fala aqui, né?

Aprimorar incrementalmente a wik. A wik é como se fosse a biblioteca, né? Então aqui a gente tem uma biblioteca de conhecimento de fato, por isso que ele chama de wick.

Aqui em cima ele cita uma pasta chamada raw. O que que é esse RAW? É basicamente o arquivo cru, né?

é o arquivo bruto que a gente vai colocar ali. Então, ah, se eu tô lendo um artigo científico, um paper, se eu tô vendo um vídeo no YouTube, se eu peguei o, tô estudando através de um blog, por exemplo, o texto bruto, o texto cru, vai dentro dessa pasta raw, que é justamente essa aqui que eu tô falando para vocês. Só que a partir do momento que eu transformo isso em conhecimento mais útil, de fato, ele se transforma em wiki.

E aqui tem todos os resumos bonitinhos de cada coisa. Então vou pegar esse, por exemplo, deep modules. Olha só que interessante aqui.

Ele tem a definição, contexto e história. Ele pega também como funciona, ou seja, é uma explicação daquele conceito. Lembra que eu citei conceito que eu falei que seria útil?

Pois é, isso aqui é toda a explicação gerada pelo LLM de um conceito específico que foi mencionado em alguma fonte de estudo, tá bom? Só que olha que interessante, fontes que tratam disso. E aí vem dessa fonte, your codebase not ready for AI.

E quando eu venho aqui em RAW, yourcod base is not ready for AI, que é um vídeo do Match Pocock. Beleza? Quando eu desço aqui, tem toda a descrição bruta do vídeo do YouTube dele que o LLM pegou e transformou aquilo em conceitos.

Esse foi o tweet que repercutiu, que fez com que todo mundo quisesse construir sua própria base pessoal de conhecimento. E agora eu quero te mostrar a arquitetura de como isso funciona de fato, qual que é o fluxo a partir desse tweet feito por esse cara que eu não sei pronunciar. o nome.

Mas antes de continuar, eu quero falar com você que tem interesse em construir e vender soluções de inteligência artificial. Você viu que o Andrei Caparti falou aqui de Hag, por exemplo? Hag é uma das técnicas que a gente tem para poder construir soluções de inteligência artificial.

E essa técnica e outras estão presentes na minha formação engenheiro de a, que é a formação para você que quer construir e vender soluções de a de maneira séria, soluções robustas que funcionam em produção, com meus mais de 6 anos de experiência na área para poder te ensinar isso. Se você tem interesse, toca no primeiro link da descrição, preencha seus dados na ficha de interesse que alguém do meu time vai te chamar para tirar todas as suas dúvidas. Perfeito?

Primeiro link da descrição que eu te espero lá. Agora vamos continuar. Então, olha só, essa aqui é a arquitetura de como funciona de fato esse modelo que o Andrei falou aqui.

Então, começa com as nossas fontes de dados, né? Então, eu tenho artigos, papers, repositórios do GitHub, datasets, imagens e tudo isso vem para uma pasta raw, né, que é justamente os arquivos cruz ali, os arquivos brutos, todos eles ficam lá do jeito que eles estão. A partir do momento que eu tenho o arquivo aqui na pasta raw, o que que acontece?

uma compilação desses arquivos, ou seja, eu transformo de RAW em wik e essa wik é justamente conhecimento mais mastigado, explicados todos os conceitos, as entidades e por aí vai. Eu vou te explicar o que que são entidades mais pra frente também. Temos aqui a nossa wik, que ela se transforma basicamente no que o Andrei Capart mencionou do projeto dele, aproximadamente 100 artigos, 400.

000 palavras. Tem aqui backlinks. O que que são backlinks, pessoal?

backlink são referências em um arquivo específico para outro arquivo e são justamente essas referências que formam esse grafo de conhecimento, né, essa relação entre uma coisa e outra. São justamente esses backlinks. Perfeito?

Então a gente consegue ver que de fato isso tá sendo utilizado. Outra coisa, o RAW ele pode servir tanto pra Q&A, certo? Então, quando você faz uma pergunta sobre alguma coisa, ele vai consultar o wik e ele vai pegar o conhecimento de lá para poder te responder seguindo o que tá escrito na wik.

Ou seja, é uma espécie de hag. Eu vou falar depois o que que é hag, eu vou explicar a diferença, mas não é hag. E todas essas respostas, quando você pergunta alguma coisa, ele consulta na wik e te devolve alguma resposta, pode ser tanto em arquivos Markdown, pode ser tanto em slides, pode ser tanto em gráficos ou qualquer outra coisa que você pedir e você tiver alguma skill que auxilie nisso.

Inclusive, skill é um conceito de cloud code e eu tenho uma aula de 2 horas gratuitamente aqui no meu canal do YouTube falando tudo sobre cloud code. O card vai est aparecendo aqui agora já salva para você poder assistir depois que esse vídeo acabar. Outra coisa, você vai configurar tudo através do Obsidian, né, que é justamente a IDE que a gente vai utilizar.

E você pode fazer muitas outras coisas que eu vou mencionar nesse vídeo aqui também. Então, dito toda essa parte, os fundamentos, né, que é uma coisa que eu bato bastante, qualquer coisa que você for estudar, você tem que ver os fundamentos daquela coisa. Dito isso, agora que a gente já sabe como isso nasceu, eu quero mostrar para vocês como você consegue configurar a sua base pessoal de conhecimento utilizando o Cloud Code junto com Obsídian.

Então vamos pra prática. Aqui na descrição desse vídeo, eu vou deixar um link para um doc que vai ter um prompt detalhado para você poder copiar e colar aqui no seu cloud, beleza? Então vou só copiar o prompt que tá aqui na descrição e vou colar aqui dentro do cloud.

Então, olha só, copiei, colei e agora eu vou deixar ele processar. Antes de criar o prompt, precisa entender alguns pontos. Ele vai te fazer uma série de perguntas, assim como ele tá fazendo aqui para mim.

Primeiro, qual que é o propósito do wik? E aí eu vou responder. Então, é de pesquisa técnica, é pro conselho de a ouácia, é um wick de inteligência competitiva para Tracter.

Tract é a minha empresa de consultoria, onde eu construo soluções para outras empresas de inteligência artificial. é um projeto pessoal, livro, podcast, journaling, enfim, eu vou falar o seguinte, na verdade é um projeto para pesquisa de eh artigos, artigos e vídeos sobre engenharia de A. Estou estudando esse tópico, beleza?

Vou deixar assim. Segundo tipos de fontes, tá? Quais fontes eu vou utilizar?

Vou falar todos aí de cima. Acabei de responder todas as perguntas que ele me fez, as oito perguntas, decisões de design e estratégia do porquê de cada uma. Então, a partir do momento que eu respondo as perguntas dele, exatamente para ele poder saber o que que o meu projeto é, pegar mais contexto e aqui você pode detalhar mais sobre o que você tá estudando, ele vai começar a detalhar tudo aquilo que você respondeu e vai criar um prompt para você.

E aí você pode pensar, tá, mas para que que é esse prompt? É um prompt para você colar no cloud code. Então esse prompt que eu mandei para vocês aqui em cima, para vocês copiarem e colarem aqui no cloud, ele vai te fazer uma série de perguntas e vai criar um prompt pro cloud code configurar todo o seu obsidian com o cloud MD, com a estrutura de pastas e tudo mais para você poder só chegar e utilizar.

Beleza? Então, olha só, ele tá escrevendo todos os prompts. Eu vou falar o seguinte, na verdade, gereptown, porque aí fica mais fácil de copiar, entendeu?

Então, ó, ele vai escrever um um artefato aqui, vai ficar muito mais fácil para poder copiar e colar no meu cloud code. Eu vou fazer o seguinte, vou esperar ele acabar de gerar e volto com vocês. Acabou de gerar o prompt aqui, você pode ver que, de fato, é muito detalhado, inclusive tá aqui toda a estrutura de pastas que ele deve criar.

Perfeito. Vou copiar isso aqui. Vou vir pro meu terminal de comando e aí você pode utilizar o Cloud Code da maneira que você quiser.

Naquele vídeo que eu já falei que apareceu no card para você poder assistir depois eu te ensino tudo para configurar o Cloud Code do Absoluto Zero. Então vamos lá. Vou entrar no meu desktop, beleza?

Pra gente poder navegar na pasta aqui. Vou inclusive aumentar um pouco o meu terminal para você poder enxergar melhor. E agora eu vou criar uma pasta para ser justamente o nosso VT do Obsidian.

E obviamente você tem que já utilizar o Obsidian, né? Se você nunca utilizou, você baixa o Obsidian. O link vai tá aqui na descrição.

Inclusive, vou até entrar no site deles. Esse aqui é o site, ele tá na descrição. O que que você vai fazer?

Você vai clicar aqui para poder baixar esse software, essa plataforma, se você ainda não tem, é totalmente gratuito para você poder utilizar, tá bom? Obviamente, você vai clicar aqui em download, vai seguir toda a instalação e aí você já vai ter o Obsidian. É muito tranquilo.

Agora, que que a gente vai fazer? Eu vou vir aqui no próprio terminal, vou criar uma pasta. Então, MKIR, por exemplo, vou colocar aqui base conhecimento e pronto, acabei de criar uma pasta que é onde eu vou navegar.

Então, base conhecimento, beleza? Estou aqui dentro da minha pasta e o que que eu vou fazer? Vou digitar cloud.

A partir desse momento, ele já vai abrir o cloud code no meu terminal dentro dessa pasta específica. Que que eu vou fazer agora? Eu vou colar todo o meu prompt, beleza?

Então, você pode ver aqui 243 linhas, que é justamente o meu prompt. Eu vou apertar enter pro cloud poder construir tudo aquilo que eu tinha falado. Então, olha só, coloquei todo o prompt aqui.

E o que que ele vai fazer? Ele vai construir exatamente tudo. Tá criando todos os arquivos.

Eu vou cortar o vídeo e volto quando tiver pronto. Pronto, pessoal. Ele acabou de executar tudo aqui.

Eu só fui clicando em aprovar para ele poder criar tudo. Inclusive, uma coisa que eu já vou fazer, eu vou sair aqui do meu cloud code, beleza? e vou abrir o cloud com as permissões para ele poder executar tudo sem me pedir permissão.

No seu caso, você pode não executar assim se você não tiver tanta confiança. Vou colocar aqui, ó, dangerously skip permissions. Agora o cloud abriu, ele não vai pedir permissão para poder executar mais nada aqui.

E agora, como você vai abrir o Obsidian e poder acessar aquela pasta? Bom, se você baixou o Obsidian, você abre o app do Obsidian. Então, no Macar Command espaço, pesquisar Obsidian, beleza?

Se você tiver no Windows, vai lá no Explorer, pesquisa o Obsidian que você baixou e abre o aplicativo. Aqui eu já abri o aplicativo, beleza? Vou clicar aqui embaixo e manage volts.

Quando eu clico aqui em manage volts, você pode ver que eu tenho vários volt aqui do lado. E o que que eu vou fazer? No caso, eu não vou criar um novo VALT, eu vou abrir uma pasta como o Vult.

Então, porque eu já criei a pasta e inclusive já criei os arquivos dentro dela, né, ali com cloud code. Então, vou clicar aqui em open e vou selecionar justamente a minha pasta que tá aqui no desktop. Então, vou vir aqui, base conhecimento, vou clicar duas vezes e open.

A partir desse momento, vou fechar minha base antiga e pronto. Você pode ver que já tá tudo aqui, o cloud. m MD todo configurado.

Outra coisa, o RAW e a Wick também tá tudo aqui. Então, conceitos, entidades, queries, sources, topics e por aí vai. Agora que a gente já tem isso configurado, o que que falta?

Falta justamente a gente começar a colocar arquivos ali pra gente transformar esses arquivos brutos em conhecimento aplicável e naquele grafo de conhecimento. Vamos começar com um artigo de um blog. Pra gente poder extrair conhecimento de um blog, de qualquer página na web, vocês vão ter que pegar a extensão do Obsidian, na verdade uma extensão do Chrome do Obsidian, chamada Obsidian Web Clipper.

Então vocês vão pesquisar aqui no Google Obsidian Webclipper, vão clicar aqui e vão clicar em edit to Chrome. Quando vocês clicarem aqui, vai aparecer nessa página, no meu caso, eu já tenho, para você poder adicionar no seu Chrome. Você clica e pronto, você já vai ter ele na sua página.

Vou acessar um blog aqui. Vou atualizar minha página. No seu caso, você vai atualizar sua página também.

E aqui nas suas extensões vai aparecer Obsidian Web Clipper. Vocês vão clicar nessa extensão e vai aparecer tudo isso aqui. Aí você pode pensar: "Pô, não, mas o meu não tá configurado assim.

O que que eu posso fazer? " Bom, vocês vão clicar nas configurações para poder abrir as configurações do Obsidian Web Clipper. Então, vocês vão cair nessa página aqui.

Como que vocês fazem para configurar, pessoal? A primeira coisa é a seguinte, olha só, aqui embaixo vai ser qual que é o volt que você quer armazenar o conteúdo daquela página web. No meu caso não é mais MyWik, é o nome do meu novo Vult_line conhecimento.

O nome do Vult é isso aqui, base_line conhecimento. E vou apertar enter. Beleza?

Apertei enter aqui. Que que vocês podem fazer? Criar um template.

Então vocês vão clicar aqui em default, beleza? Vão arrastar um pouco aqui para baixo. Note location.

onde que essa nota vai ser criada automaticamente. Vou voltar aqui no meu obsidian. Tá vendo que não tem absolutamente nada aqui de página web?

Então vou fazer o seguinte, vou criar uma página chamada clippings, na verdade, por é justamente aquilo que eu tô puxando da internet. Pode ser, por exemplo, aqui web content, pode ser qualquer coisa. No meu caso, vou colocar clippings, tá?

Eu já tô acostumado a colocar isso aqui. Então, eu vou vir dentro da minha pasta raw, eu vou ter uma chamada clippings e ela vai automaticamente para lá. Beleza?

Então, só configurar isso aqui, justamente a pasta que você quer que o arquivo bruto da web vá. E aqui embaixo você pode configurar exatamente qual que é o cabeçalho desse arquivo. No meu caso aqui vai ser o type source, título, o título especificamente da página.

Dá um pause aí na minha tela para você configurar exatamente do jeito que tá aqui. Aí você pode pensar: "Pô, Ana, mas tem coisa que não tá no meu". Você vai adicionar uma propriedade, como por exemplo aqui, novo tipo e aqui você pode colocar, sei lá, source 2.

E aqui você arrasta para onde você quiser, beleza? Então, no meu caso, eu vou deixar aqui em cima, por exemplo, e aí você pode arrastar do jeito que você quiser, mas deixe exatamente como o meu está para você poder ter o mesmo resultado que eu vou ter. A partir do momento que você configurou isso, pronto, só tem a certeza de que o seu VA tá configurado e que o seu template ele já tá configurado para poder cair nessa pasta específica dentro do seu VT.

Com isso, o que que eu vou fazer? Eu vou clicar aqui na minha extensão Obsidian App Clipper e vou adicionar ao Obsidian. Ó, nesse caso, vou selecionar aqui o meu Volt base de conhecimento, adicionar ao Obsidian.

Pronto. Que que aconteceu? Dentro de Clippings, eu vou encontrar a derivada is all you need, uma aplicação com algoritmo gradiente descendente e tá todo o conteúdo do meu artigo aqui, inclusive as imagens do meu artigo, inclusive os highlights do meu artigo, né?

Você pode ver que tá exatamente todo o conteúdo aqui. Aí você pode pensar: "Pô, Ana, beleza, acabei de puxar um artigo que eu tô lendo da internet, por exemplo, mas como eu transformo isso em uma base de conhecimento, né? O que que eu faço aqui agora?

Que que você vai fazer? Você vai vir aqui no seu cloud code, beleza? Você vai referenciar o seu artigo escrevendo o seguinte: Injest ou inira, né?

Para, enfim, eu acho inira muito feio. Então, vou colocar aqui injust do inglês e vou referenciar esse artigo específico que é derivada is unit. Quando eu aperto enter, ele já vai referenciar o artigo e eu vou simplesmente confirmar.

Olha o que que vai acontecer. Deixa eu mostrar para vocês aqui o gráfo do lado, né, para para vocês poderem acompanhar tudo. Olha só que interessante.

A wik tá vazia. Aqui vai o plano de ingestão. Fonte, beleza?

Ele tá me descrevendo tudo que ele vai fazer, principais takeaways, ou seja, principais pontos ali do meu do meu artigo, né? A derivada de uma função num ponto mede a inclinação da reta tangente. Beleza?

Isso aqui é toda a explicação que eu fiz no artigo, né? E aí ele fala o seguinte: páginas a criar ou atualizar. Criar wick sources derivadas ao you need.

criar o wick concepts, ou seja, um conceito. Note que ele identifica tanto conceitos de maneira padrão, quanto também entidades. Então, olha só, ele vai ver aqui qual entidade é mencionada, ou seja, qual o nome, por exemplo, de um livro, nome de uma pessoa, nome de uma instituição.

Então, isso são entidades. No meu caso, tem uma entidade só que é a Anorermus, que sou eu, autor do artigo, né? Mas tem também aqui conceitos.

Então, o conceito da regressão linear, o que é conceito de learning rate, conceito de função de curso, conceito de gradiente descendente, conceito de derivada, tudo isso são conceitos, só que também tem entidades. E ele vai criar tudo isso aqui, inclusive vai atualizar esse arquivo index e o arquivo log, que eu vou explicar para vocês daqui a pouco. Ele fala o seguinte, ó, aprova o plano ou quer ajustes.

Vou falar o seguinte, aprova. Que que ele vai fazer? Ele vai criar todos esses arquivos, né?

Então vamos ver ele aqui do lado executando só para vocês verem o quão interessante é. Olha só, ele acabou de criar aqui, você viu o tanto de coisa que ele já fez, né? No caso, ele criou os arquivos e já referenciou tudo nesse artigo aqui que deu o pontapé inicial, que é o título do meu arquivo.

E ele já começou a relacionar as coisas, ou seja, derivada tá relacionado com função de curado com gradiente descendente, como a gente consegue ver, né? E aqui ele começou a relacionar mais com quê? regressão linear com gradiente descendente e com artigo derivado iso e unid.

Além disso, o artigo derivado iso e tá relacionado com o autor Anodermus. Perfeito? Então, olha só o tanto de coisa que ele tá relacionando, tá criando o grafo de conhecimento de fato, né?

Vamos esperar aqui mais um pouco só para ele poder finalizar para eu te mostrar. Ele acabou aqui em gestão concluída, beleza? Uma fonte, cinco conceitos e uma entidade.

Olha como que ele relacionou tudo. Então, a gente tem aqui, por exemplo, regressão linear. que tá relacionado com função de custo, derivadas ao unid, derivada learning rate e por aí vai.

Então eu aermus tô relacionado com todos esses caras aqui. Agora se eu desço aqui, por exemplo, na wik em concepts, olha só, derivada, ele me explica exatamente o que é com fórmula matemática. Ele coloca exatamente aqui um mermaid, que é um diagrama para poder representar aquilo para mim que ele tá explicando, e as citações, conceitos relacionados, gradiente descendente.

Quando eu clico aqui, ele já me leva pro outro conceito que ele citou, que é de gradiente descendente, que por si só também tem sua explicação. Ele cria tudo isso aqui para mim. Agora, o mais interessante é esse arquivo index.

md. O que que ele fala? Ele fala o seguinte: "Cara, eu tenho aqui o meu índice, é tudo que eu tenho.

Então, quais são as fontes que eu tenho? Tenho derivadas ao unit e os conceitos. Eu tenho derivada, função de custo, gradiente descendente, learning rate, regressão linear e entidades.

Eu tenho anorermush. Então, olha só que interessante, o meu índex é tudo aquilo que eu tenho na minha wik. Então, ele representa um resumo de tudo que eu tenho na wik.

E se eu faço uma pergunta pro Cloud Code, como eu vou fazer agora sobre algum tópico, ele vai analisar primeiro o índice, vai ver se tem alguma citação desse tópico no índice. Se tiver, por exemplo, para eu perguntar o que é derivada, ele vai acessar aqui e vai me explicar de acordo com o que ele tem. E eu vou pedir para ele, inclusive um exemplo.

Olha só como o ANOR explicaria derivada. Só isso. Ele vai começar a ler os arquivos.

Ele vai ler o meu índice para entender melhor como o AN ensina para poder responder. Opa, tem conteúdo relevante. Deixa eu ler as páginas do ANOR sob derivada.

Vou apertar contrtrl O para vocês poderem ver quais arquivos ele leu. Que que ele leu primeiro, pessoal? Então, ele leu primeiro anorermush.

md. Então, quando eu venho aqui em entidades, ó, Anorermus, ele explicou tudo sobre mim aqui, né? Autor de artigos sobre machine learning, matemática aplicada, publicados no medium e por aí vai, né?

Então, fundamentos de machine learning, basicamente, inteligência artificial. E aqui ele fala anorermus, ele leu sobre mim, depois ele leu o conceito de derivada e leu o arquivo principal sources derivadas ao un need. E aqui em sources é basicamente o meu artigo, é o meu artigo raw, né, bruto, só que condensado.

Então, olha só que massa, né? É ele condensado, explicado de uma maneira resumida. E ele leu isso aqui também.

Então, quando eu pergunto pro Cloud Code algum conceito que eu tenho na minha base de conhecimento pessoal, que que ele faz? Ele lêu o índice, vê se tem coisas que relacionam com o que eu perguntei. Se tiver, ele vai navegando por esse índice e ele vai registrando, obviamente, todas as alterações que ele faz nesse log aqui.

Então, ó, Bootstrap inicializada. Quanto que eu inicializei? Hoje que eu tô gravando esse vídeo, dia 7 de abril.

Beleza? Então, olha que interessante aqui, ele ingeriu esse artigo derivado iso United. Agora eu quero mostrar para você como você consegue, por exemplo, colocar um vídeo de YouTube e aqui é um bônus, tá?

Que eu quero mostrar para vocês como vocês conseguem ingerir um vídeo de YouTube. Então, nota como é que faz. Antes de continuar, eu quero te perguntar se você tá curtindo esse vídeo, se aprendeu até agora e se sim, não se esqueça de se inscrever aqui no canal para ter mais conteúdo relevante e denso sobre inteligência artificial e de deixar um like, caso você tenha curtido também.

Agora vamos continuar. Como que você faz para ele poder ingerir um vídeo de YouTube? Por exemplo, você vai ter aqui o seu cloud desktop, o aplicativo do cloud no seu computador.

Você vai vir aqui em Cloud Code, vai colocar a barra lateral, customizar conectores e você vai colocar um conector customizado. Então, olha só, eu vou clicar aqui em mais aqui, ó, add customor e você vai vir aqui e tem que configurar um nome e o servidor MCP remoto. Que que você vai fazer?

Vocês vão entrar nesse site que vou tá aqui na descrição também, vai criar sua conta gratuita lá e vai vir aqui em MCP. Dessa maneira você vai copiar o nome aqui. Então, uma vez que você copiou o nome, você cola aqui.

Beleza? Volta. MCP Server URL, ou seja, qual que é o URL do servidor MCP?

Você vai voltar, vai colar aqui também. E aqui em configurações avançadas, ele pede o client ID e o client secret. Você vai ter que adicionar onde você encontra.

Exatamente. Aqui você pode criar um novo cliente. A partir do momento que você cria um novo cliente, o que que vai acontecer?

Vou colocar, por exemplo, aqui vídeo YouTube. Ele vai gerar para você o client, você vai copiar e vai colar aqui. E o client secret para você copiar e colar aqui também.

Uma vez que você fez isso, você já vai ter a sua configuração. No meu caso, eu já tenho aqui a transcript. Para toda vez que você pedir para ele transcrever um vídeo de YouTube, ele já vai vir aqui e vai transcrever para você.

Obviamente você vai ter aqui somente 100 créditos gratuito, mas depois para você poder comprar alguma coisa, deixa eu ver, eu nem sei quanto que custa, ó. Custa $5 por mês. É barato se for ver, né?

Mas não precisa para você poder começar, para poder testar. Como você pode ver, eu só gastei dois créditos até agora, que foram dois vídeos do YouTube que eu consumi. Beleza?

Então, feito isso, você pode vir aqui no seu terminal de novo, no cloud code. É bom você, quando você instala um servidor MCP, algo nesse sentido, você sai e entra de novo. Então, vou entrar aqui, ó, com cloud Dangerous Keep Permissions.

Beleza? Já tô no meu cloud Code. Agora vou pegar uma URL do YouTube e vou colocar aqui.

Vou pegar URL desse meu vídeo explicando hag. Inclusive, se você não sabe o que é hag, eu recomendo muito esse vídeo. Vai est aparecendo o card aqui agora, onde eu tenho certeza absoluta de que você vai entender, saindo do absoluto zero, o que que é hag, beleza?

Que é uma das principais técnicas quando a gente fala de construção de soluções de a que utilizam base de conhecimento externa, tá? Esse vídeo você vai entender tudo sobre hag. Vou pegar o RL desse vídeo, vou voltar aqui no meu Obsidian e no meu cloud code para poder ingerir esse vídeo.

Então vou falar em Jest, né? Eu vou passar ao RL desse vídeo aqui e olha a mágica. Então não é mágica, né?

Na verdade ele só tá chamando uma API de transcrição, mas é legal falar, olha a mágica. Então ó, ele vai pegar a transcrição desse vídeo através de quê? Através do servidor MCP.

E se vocês quiserem, eu posso gravar um vídeo sobre o que que é MCP de uma maneira mais aprofundada. Na formação engenheiro de A, eu já explico, tem um curso de MCP, né, detalhado, criando do zero, explicando como é que funciona o protocolo. Mas aqui ele já pegou tudo através do servidor MCP.

Você pode ver inclusive o título, o autor, né? E por aí vai. Então, ó, resumo, hug, retrieve augmented generation, problema um, problema dois, e ele vai trazendo tudo aqui do vídeo.

Olha que interessante isso aqui, ó. Criar. Então, ele vai criar um conceito novo de hag, alucinação, knowledge, cutof, é chunking, embeding, por aí vai.

vai ter as atualizações aqui também que vai ser entidade Anorermush, porque ele já identificou, pô, eu já tenho artigos do Anorermush, né, que é a mesma pessoa que gravou esse vídeo de hag e a mesma que escreveu aquele artigo. Então, já vou linkar os dois, né, adicionar como referência esse vídeo como autor. Ele vai atualizar o índice e vai atualizar o meu arquivo de logs.

Agora ele me perguntou, eu posso seguir? Pode seguir. Vamos ver ele criando a nossa base de conhecimento aqui do lado.

Deixa eu reduzir isso aqui um pouco. Vou reduzir isso aqui um pouco também. Ele vai começar a criar tudo aqui.

Vou acelerar o vídeo. Ele acabou de fazer aqui todo o injeste. O que que ele fez.

Primeiro, obviamente ele criou todas as páginas. Então agora se eu vier aqui em conceitos, eu consigo ver, por exemplo, sobre embeding, que eu expliquei no vídeo do YouTube. Ele colocou tudo aqui, inclusive o exemplo que eu dei no vídeo do YouTube, né?

Tá, tá tudo aqui exatamente do jeito que eu expliquei. Só que quando eu venho aqui na visualização de grafo, eu consigo ver as relações desses dois vídeos e na verdade do artigo com o vídeo. Por quê?

Aqui eu falo sobre hag, né? O tópico hag em si, o conceito ha. Eu falo o vídeo, esse é o vídeo específico que eu fiz, só que tem aqui também o meu artigo em si, né, derivadas ao Unit e como ele se link com o restante.

Vamos ver aqui, pessoal. Bom, Anorermush se linca com os dois, né, porque é o mesmo autor ali. Só que quando eu vejo também sobreedutof, olha só, a alucinação tá aqui, beleza?

Então, a alucinação se relaciona com o knowledge cutof. Quando eu pego outros artigos, outros conceitos, por exemplo, ó, deixa eu afastar um pouco aqui, eu consigo ver aermus relacionando com esses caras. Deixa eu ver se se aermus lá ele, né?

Eh, vejo aqui também, deixa eu ver se tem algum outro termo que se relaciona com esses aqui do lado. Acho que não. Acho que é só ANOR mesmo.

Como é o mesmo autor, ele se relaciona aqui com o vídeo sobre Hag e com o artigo derivada is all you need. E quando a gente vem aqui nos arquivos que ele atualizou, por exemplo, na entidade Anorermush, quando eu venho aqui, eu consigo ver exatamente os artigos, as publicações que esse autor fez. Então, se eu tô estudando algum tópico de um mesmo autor, várias fontes, por exemplo, que citam esse autor, o próprio LLM já vai mesclar os dois.

E o que que ele vai fazer? Ele vai atualizar o índice também, obviamente com as novas coisas que ele encontrou e vai atualizar os logs. Então você pode ver que primeiro eu fiz a ingestão aqui do artigo, depois fiz a ingestão do vídeo e quando eu venho aqui, ó, por exemplo, em transcripts, apareceu toda a transcrição do meu vídeo explicando o que que é hag, como vocês podem ver.

Beleza? Agora, para poder finalizar o vídeo, eu vou explicar de maneira bem rápida a diferença de hag para isso que a gente acabou de fazer. O que que é hag, pessoal?

Eu vou considerar que você já assistiu aquele vídeo que eu mencionei sobre Hao, como é que ele funciona e o que que é a Llm Wick, que é justamente o que a gente criou aqui, seguindo aquela filosofia do Carpate. Qual que é a discussão aqui? Ambos têm uma característica em comum, que é a o conhecimento está localizado externamente a um Llm.

Isso significa o quê? Que o Ll por si só você não colocou o conceito no system prompt, entendeu? Então, quando eu pergunto alguma coisa aqui pro cloud code sobre algum tópico, ele investiga em uma base externa de conhecimento aquele assunto que eu perguntei.

Só que quando a gente tá falando de hag, o assunto fica em um banco de dados vetorial em vetor. Ou seja, você vetoriza, transforma em um embeding que representa semanticamente o conteúdo textual, um vetor numérico, obviamente. Você coloca isso em um banco de dados vetorial e a cada query que o usuário manda, a cada pergunta que o usuário manda, você busca cada um dos trechos mais similares que você tem armazenado nesse banco de dados vetorial e coloca como contexto para ir a responder.

Aqui no LLM wick tem uma diferença que é a seguinte, ele também tem um índice. E qual que é esse índice? Justamente esse arquivo que chama index, né?

E quando você pergunta, ele não faz uma busca semântica no sentido de ter uma métrica para poder medir a similaridade. Então você não tem uma similaridade de cosseno, por exemplo, uma distância euclidiana para poder ver a distância entre os dois vetores e consequentemente a similaridade deles. Aqui no caso, você tem o próprio julgamento do ll.

Então ele lê esse arquivo como um todo e decide, tá, bicho? Beleza. O cara me perguntou sobre gradiente descendente.

Deixa eu ver. Tem alguma coisa que fala disso aqui? Tem gradiente descendente.

O que que eu vou fazer? Eu vou ler esse artigo e vou responder para ele com base no que tem nesse artigo. A única diferença é o mecanismo de busca nesse caso, né?

E obviamente se o índice for muito grande, ele vai ocupar muito da janela de contexto, né? Sempre o ll vai ler o índice. No caso do Haugery do usuário, você consegue buscar os chunks mais semelhantes, né?

não tem esse perigo de lotar a janela de contexto ali. Justamente o próprio Andrei Caparti falou que isso funcionou muito bem para uma escala aproximadamente pequena. E outra coisa, quando você fala de utilizar hag em produção, você tem observabilidade de o por que ele retornou aqueles chunks e porque ele não retornou outros chunks, né?

você consegue ver de fato o grau de similaridade, então a observabilidade você ganha muitos pontos em produção. Segunda coisa, tem essa questão de janela de contexto que quanto mais você aumenta esse índice aqui, né, pro cloud code, por exemplo, poder ler, ele vai ficando cada vez menos eficiente por causa daquele artigo context rot, né? Acontece essa poluição ali do contexto quando você tem um prompt muito grande e várias outros fatores.

Mas isso aqui, pessoal, não confunda de forma alguma. é inútil, pô. Eu tô utilizando muito isso aqui no meu dia a dia para estudos pessoais, paraas projetos pessoais, projetos pequenos, onde eu quero referenciar, ver um artigo, salvar esse artigo em alguns conceitos, estudar, por exemplo, alguns conceitos, utilizando o cloud code, utilizando o LLM como um tutor, um auxiliador dos meus estudos.

Perfeito. Então isso aqui é muito útil. Só que não confunda, Haag não morreu, continua tendo sua aplicação em projetos maiores, com uma escala muito maior.

E aqui a gente tá falando de 100. 000 documentos. Ele se mostra extremamente necessário, tá bom?

Isso aqui são coisas diferentes. Um tem uma certa relação de hag com isso aqui que tá acontecendo, como eu expliquei para vocês, mas não, isso aqui não matou o Hag, tá? Ao contrário de muita gente tá falando isso, esse LLMK não matou o Hag.

Então, se você gostou desse vídeo, não se esqueça de deixar o like e se inscrever aqui no canal para poder acompanhar novos e mais vídeos sobre inteligência artificial de maneira profunda, totalmente gratuita aqui no YouTube. E claro, se você quiser ter uma trilha lógica dos assuntos que você tem que estudar para poder começar do absoluto zero, se você tiver até chegar em níveis avançados de construir soluções de inteligência artificial, tanto sem código com N8N, quanto com código em Python, a formação é para você, a formação engenheiro de A. A minha formação em inteligência artificial é para você.

Só tocar no primeiro link da descrição, preencher sua ficha de interesse que alguém da minha equipe vai te chamar para esclarecer todas as suas dúvidas. Então é isso, estamos junto e te vejo no próximo vídeo.