A Deepsik lançou algo que pode ser uma grande evolução na construção de cérebros de inteligência artificial. Nos últimos anos, a estratégia tem sido para uma inteligência artificial mais inteligente, aumente o tamanho, parâmetros, dados e computação. E isso deu certo.
Mas aí nós batemos em uma parede. Esses modelos começaram a ficar tão enormes que rodá-los ficou absurdamente caro. É como tentar abastecer uma cidade inteira só para responder uma pergunta.
Então, o mundo da inteligência artificial criou esse truque chamado mistura de especialistas. A ideia é simplificar. A inteligência artificial ativa apenas partes do cérebro por vez, não tudo para cada frase.
Assim, o modelo pode ser enorme, sem exigir muita computação o tempo todo. Esse foi o truque para escalar e muitos achavam que esse era o futuro. Dipsik basicamente diz: "OK, mas ainda falta algo importante mesmo os melhores modelos de inteligência artificial não possuem algo que só os humanos têm.
Memória real mesmo, diferente do chat. GPT grava seu nome. Quero dizer algo mais profundo.
A capacidade de ver algo familiar e reconhecer instantaneamente em vez de repensar tudo do zero toda vez. Porque atualmente mesmo os modelos de inteligência artificial mais avançados ainda fazem algo incrivelmente ineficiente. Eles reaprendem constantemente as mesmas coisas simples, repetidas vezes dentro do modelo enquanto estão pensando.
Dipsik diz: "Isso é um desperdício. Vou explicar. Se você lê Alexandre, o grande, seu cérebro não precisa descobrir quem é essa pessoa do zero.
Você não pensa Alexandre, Grécia antiga, você já sabe, é rápido e automático. Compare com o funcionamento atual dos modelos de linguagem. Mesmo após verem Alexandre, o grande, várias vezes no treino, ao encontrá-lo numa frase, ainda tem trabalho interno para processar.
É como ter um amigo que toda vez que você menciona uma celebridade, eles agem como se fosse a primeira vez que ouvem o nome e precisam reconstruir a identidade a partir de pistas. Isso é ineficiente e se torna um grande problema em escala, pois a internet está cheia de nomes, frases e combinações comuns repetidas que deveriam ser tratadas pela memória, não por computação pesada. Então, a Deepsic lançou algo chamado e a ideia basicamente é: "E se o modelo de inteligência artificial tivesse um módulo de memória rápida para padrões comuns?
Assim, o cérebro principal foca no pensamento real, sem perder tempo com o básico. " Essa é a filosofia. Agora veja como o Ngr funciona.
Explique. A Deepsik analisou algo da velha escola anterior à inteligência artificial moderna. os enrums dos primeiros dias da previsão de linguagem.
Isso é apenas uma forma sofisticada de falar sobre padrões comuns de palavras curtas, como exemplos de dois ou três termos: Princesa de Gales, Estados Unidos, Nova York, exemplos de padrões que se repetem. A ideia deles é, em vez de forçar a inteligência artificial a recalcular esses padrões, rodando cálculos complexos por várias camadas, eles fizeram uma tabela de memória de atalho, permitindo ao modelo acessar rapidamente uma memória incorporada ao identificar certos padrões. É como se o cérebro dissesse: "Reconheço essa frase, eis seu significado".
Eles fazem isso de forma inteligente, pois não dá para guardar todas as frases possíveis devido ao número de combinações. Eles usam um truque parecido com organizar padrões em um grande depósito com sistema de hash. Imagine bilhões de espaços de memória.
Cada padrão de frase tem um número de prateleira, permitindo que a inteligência artificial acesse rapidamente o necessário ao ver uma frase. É por isso que os pesquisadores chamam isso de busca em tempo constante. O um, que em linguagem normal significa que não importa o quão grande a memória fique, a busca continua rápida.
Só isso já é enorme. Mesmo assim, há um problema, pois um sistema de memória assim pode captar algo errado. Padrões semelhantes podem estar próximos na prateleira e pode haver ruído.
Então, Dipsic acrescentou outra peça importante. A inteligência artificial não confia só na memória, ela verifica com um detector de veracidade no modelo. Quando a memória traz informações, o cérebro da inteligência artificial verifica se combinam ou entram em conflito com o que está dizendo.
O modelo permite-se combinar, caso contrário, suprime. No artigo, né, eles chamam isso de portão, que gera valor entre zero e um. Em inglês simples, a memória pode ser intensamente usada ou ignorada.
A memória NGRAM não domina o modelo, apenas o apoia como um assistente. Dipsicou isso em um modelo experimental, mas levou a solução para um nível avançado. Usaram o sistema de tokenização do Deepsek V3 com vocabulário de 128.
000 tokens e treinaram com 262 bilhões de tokens. Se esse número parece insano, é porque é como preencher o modelo com grande parte da civilização digital humana. O núcleo é um transformer de 30 camadas tamanho oculto, 2560 e 32 cabeças de atenção.
Primeiro combinam com o truque de mistura de especialistas do sistema depsek. Agora há duas coisas. Especialistas que são diferentes especialistas.
O modelo pode ser ativado e conta com NGRAM, uma memória rápida. A grande questão da Deepsic é: qual proporção do modelo deve ser de especialistas e de memória? Porque ambos ocupam espaço, ambos usam parâmetros.
Você não pode maximizar os dois infinitamente se quiser eficiência computacional. Então, a Dipsic formalizou isso como um problema matemático real. Eles descobriram que há um ponto ideal.
Se o modelo tem apenas especialistas e nenhuma memória, perde tempo refazendo padrões simples. Com muita memória e poucos especialistas, ele perde a capacidade de pensar profundamente. Então, existe um equilíbrio.
E esse equilíbrio, com base nos experimentos deles, era de aproximadamente 20 a 25% da capacidade extra do modelo deveria ser dedicada à memória. Ou seja, nem tudo deve ser especialistas, uma parte deve ser memória. Essa é a principal lição arquitetônica.
Agora vejamos o que ocorre quando aumentam a escala. Eles comparam versões do modelo, um mixture of experts puro com 27 bilhões de parâmetros e um NG bilhões também com 267 bilhões. Mesmo orçamento de computação e arquitetura, mas diminuem especialistas de 72 para 55 e usam os parâmetros liberados na memória.
Ngram 27 bilhões tem 57 bilhões de parâmetros dedicados à memória. Depois eles escalam ainda mais com o NGRAM 40B, mesma computação por token, mas a memória cresce para 185 bilhões de parâmetros, totalizando 395 bilhões. Eles não fazem o cérebro pensar mais, mas aumentam sua biblioteca de memória e depois testamo.
E o NG vence em todos os aspectos em um grande conjunto de dados de referência chamado The Pile. O modelo mixture of experts obtém pontuação de perda de 2091. O NGRAM 27 bilhões cai para 1960.
Depois as variantes chegam a 1950 e o NGRAM40B alcança 1942. A validação interna cai bastante, enquanto o mixture of experts base permanece em 1768. O Ngr 27B reduz para 1634 e variantes do NGRAM baixam ainda mais para 1622 e 1610.
As pontuações de benchmarks subiram surpreendendo-os, já que a memória deveria ajudar em tarefas de conhecimento, como curiosidades e fatos. E realmente ajuda. O mmlu passa de 574 para 604, o chinês de 579 para 619 e o Col de 580 para 627.
Aqui está o surpreendente. O NGRAM também melhora tarefas que parecem exigir apenas raciocínio, onde se pensaria que memória não faria diferença. O Arc Challenge passa de 701 para 738.
O BH de 509 para 559 e o drop F1 de 557 para 590. Até a programação melhora. O maneval de 378 para 408 e GSM 8K de 584 para 606.
O módulo de memória do Deep Seek aprimora raciocínio, programação e matemática. Inicialmente isso parece estranho, pois ao ouvir sobre módulo de memória, pensa-se que ele só ajuda o modelo a lembrar fatos. Então, por que isso melhoraria o raciocínio?
A explicação do deep seek faz sentido. Eles dizem isso em transformadores normais, as camadas iniciais desperdiçam muito esforço fazendo reconstrução básica, basicamente reconstruindo as mesmas entidades e padrões repetitivos várias e várias vezes. O NGRAM elimina esse trabalho repetitivo, permitindo que o modelo atinja representações úteis mais rapidamente.
A melhor forma de ver isso é como dar mais profundidade ao modelo sem adicionar camadas. Eles até comprovam isso com uma análise mecanicista, mostrando que o modelo fica pronto para prever mais cedo na rede. E na análise de similaridade de camada centered kernel alignment deles, eles descobrem que camadas rasas de NGRAM se comportam como camadas MO muito mais profundas.
Eles citam que a camada 5 do NGRAM corresponde à camada 12 do mixture of experts de referência, tornando o modelo profundo mais rápido. Esse é um dos principais motivos do raciocínio melhorar. Ele não gasta mais suas primeiras camadas reconstruindo entidades repetidamente.
O NGRAM também é crucial em contextos longos. Após o pré-treinamento, ampliam a janela de contexto para 32. 768 68 tokens com yarn training por 5000 etapas em 30 bilhões de tokens.
Depois comparam NGRAM e mixture of experts em benchmarks de contexto longo. E o NGRAM se destaca muito em tarefas como agulha no palheiro, você esconde algo em um documento grande e testa se o modelo encontra. A tarefa de múltiplas consultas de agulha no palheiro salta de 842 para 970 e o rastreamento de variáveis vai de 770 para 890.
O NGRAM torna o modelo mais inteligente e melhora o funcionamento do contexto longo. Quando o NGRAM cuida dos padrões locais, a memória e a atenção podem focar no contexto global, sem se desgastar com detalhes repetitivos. Agora vamos para a última parte.
Eficiência do sistema. Sempre perguntam se a pesquisa é boa, mas se funciona na prática. A Deepsic mostra que o NGRAM foi criado pensando na infraestrutura.
Como a busca na memória é determinística, o sistema pode saber qual memória vai precisar antes mesmo do modelo chegar nessa camada de memória. Então ele pode pré-buscar isso com antecedência. Eles testam camada NGRAM de 100 bilhões de parâmetros na memória da unidade central de processamento e o impacto na taxa de transferência é mínimo.
Modelo denso de 4 bilhões reduz de 9,03162 para 8,8582 8 tokens por segundo. Um modelo denso de 8 bilhões passa de 6,315. 552 para 6,14.
2. No pior caso, a 28%, provando que dá para adicionar o vermelho. Mesmo com muita memória, a desaceleração é mínima e inferência se o sistema for bem projetado.
Por fim, eles mostram que o gate de memória é ativado exatamente onde esperado nas conclusões de entidades. Expressões famosas como Alexandre, o Grande e Princesa de Gales aparecem até em chinês. O modelo realmente usa a memória como um sistema real de reconhecimento de padrões.
Isso é tudo por hoje. Para mais avanços em inteligência artificial explicados de forma simples, inscreva-se, curta e até o próximo vídeo.
