[Música] [Aplausos] [Música] vamos ver agora mais de perto os tipos de aprendizado né os paradigmas de aprendizado então aqui vou falar um pouquinho de aprendizagem profunda que é de Vânia depois os paradigmas supervisionado nas previsionado por reforço mais recente que é o autos previsionado então vou falar um pouquinho de diplay né aprendizado profundo como é que mexe online e de plano esse relacionamento como que se dá isso né Então na verdade Vamos enxergar o todo aí a gente tem os algoritmos de machilane podem ver que há não é só Machine tem toda uma área que
a gente nem tá vendo mas e machines nos Estados muito interessantes né estão vendo essas áreas não quer dizer que as outras não apoiam Mas e aí é uma área maior daí a gente tem os algoritmos de plano que é onde estão as redes sociais Profundas tá a gente tem algoritmo de Machine aqui de conexionista tem redes aqui tá só que são as chamadas são redes com menos camadas e as de são as redes com mais camadas são redes neurais com mais camadas Então dessa forma que as áreas relacionam que ganho se a gente teve
com o de plan tá classicamente os algoritmos de marshilani a gente conseguia trabalhar com poucos dados tá anotem o volume de dados poucos dados de um esforço muito grande de extrair features são as características o que que é de fato relevante naqueles dados que importa na minha solução então tinha um esforço muito grande de tentar entender bem o problema e quais os alimentos que eram muito relevantes na minha solução e isso é um esforço que cabia quem tava desenvolvendo notem que esse esforço diminuiu tá então a gente consegue colocar dados muito mais brutos em algoritmos
de plano e tudo que a gente coloca nos algoritmos mais claro em clássicos aí um conjunto de aplicar como algoritmo de Machine hoje O que que a gente consegue fazer trabalhar com o volume de dados muito maior mas muito maior mesmo tá E nesse aspecto é bom porque um volume maior O que que a gente acredita que estatisticamente gente mais relevante tá lá dentro quando a gente trabalhava com o volume menor de dados a gente tem que ter a preocupação de que essa amostra que a gente pegou de fato tinha os dados mais relevantes aqui
essa preocupação ela não é descartada mas Digamos que a gente presume que pelo volume o que mais significativo tá lá dentro ou pelo menos deveria estar né Ah mas então aqui tinha uma preocupação muito grande para funcionar porque fazer um recorte o recorte não fosse bom é evidentemente que o resultado não seria bom aqui com o volume grande de dados a chance de a gente realmente está pegando o que significativo é maior aí trabalha conforme a grande dados diminuiu ao esforço da gente nas fichas Como eu disse atrasados mais brutos e a gente consegue trabalhar
com muito mais vídeos muito mais dados para os algoritmos tá o que não dava para fazer aqui porque tinha predições até computacionais agora a gente não tem isso a gente tem máquina que consegue rodar essas coisas bom então de planner ele começa as iniciativas em lá no final da década de 90 mas começa realmente dar resultados né a partir dos anos 2000 as minhas aplicações e que as pessoas começam a usar e os resultados mais significativos são e reconhecimento de fala no início e processamento de imagens dizendo computacional tá então do reconhecimento de voz ele
dá um salto com esses algoritmos em termos de precisão mais recentemente o que a gente tem de ganhos não deixam os móveis tá eles estão revolucionando são publicações bem recentes né da gente ter modelos pré-treinados e continua fazendo o treinamento desses modelos de forma mais específica que é o que a gente vai ver o Burst daqui a pouquinho mas então a gente tinha então era mais o como fazer né empreendendo companhia de planner a gente tem a questão das features que reduz e aqui eu falei chamadas a gente tem a questão das funcionalidades a gente
chegou num ponto que de funcionalidade esses modelos são revolucionando e eles estão fazendo que se diz de Comporta emergentes eles estão fazendo coisas para as quais eles não foram programados né então estão se estudando esses comportamentos emergentes o primeiro desses modelos desses modelos de base nesses fundations de Base é o bort né o modelo de linguagem Então somente linguagem natural o que que o modelo de linguagem modelos linguagem é uma sequência frases por exemplo na sequência de palavras e ele é capaz de prever a próxima qual é a probabilidade de aparecer tua palavra a partir
disso pode-se criar o que chama de Order ou seja são vetores semânticos para cada palavra Então se tem a palavra tem um vetor semântico que tem é um vetor representado pelas outras palavras imagina que tem um conjunto de palavras que faz parte do domínio que a gente está trabalhando do conjunto de texto é uma data 7 tem um conjunto de palavras que são usados nessa data 7 E aí cada palavrinha ela é representada em relação às outras tá com seus pezinhos porque fazer isso tem uma hipótese distribuição de harrice que é da década de 50
cinema falha memória que diz o seguinte palavras que tem algum tipo de relação semântica elas compartilham os meus contextos então palavras que tem algum tipo de relação semântica que elas são os mesmos contextos então que lá é o tipo de relação sinônimo né então podem ver que a palavra que a gente é sinônimo da outra a gente usa com as mesmas outras palavras né Tu pode ter de Antônia vai acontecer a mesma coisa é de melhor anime a parte de né tem relações com essa ter relações semânticas de alguma natureza Então a partir disso eu
posso pegar uma palavra e representar essa palavra a partir do seu contexto aí por isso que a ideia é diretor semântico E aí ele é um vetor ele tem pesos e conforme as palavras umas vão ser mais importante para as outras que né Nem todas vai depender desse contexto como é que isso aconteceu quando começou a história dos modelos de linguagem usando ordem o primeiro que aparece é o outro Vec é o primeiro que tá aqui ó não fizeram processamento e observar essa representação espacial existente outras palavras então perceber por exemplo que rei e rainha
tinha mesma distância praticamente de homem e mulher tá então tinha que essa questão de gênero diferenciava no texto era a questão de gênero e aí A partir dessa representação conseguido transformar essa linguagem em números levou para matemática isso Conseguiram fazer operações com isso que deram grandes avanços na qualidade dos resultados então foi possível por exemplo perceber se eu pegasse uma representação semântica do rei né que cada palavra tem uma representação semântica um vetorzinho com números então se você pegar essa representação semântica do Rei tirasse a representação semântica do homem tá que é um vetorzinho de
novo adicionar se a representação semântica da mulher que é o vetorzinho gerava o vetor a representação semântica de rainha então com isso conseguiu representar semântica a partir desses vetores de vezes que definir os contextos entre as palavras que eram relacionadas umas com as outras né isso melhorou a qualidade das aplicações os primeiros modelos de linguagem eles são estáticos como outro métodos vai evoluindo tem as diferenças mas o Burger dinâmico ela é muito maior que os outros precisa de máquina para rodar esses modelos como né devido principalmente por ser dinâmico porque ele consegue fazer uma coisa
que os outros não fazem por exemplo se eu tiver banco instituição financeira banco de sentar né o banco de Praça por exemplo ou tiver que botar o banco no mesmo contexto ele vai relacionar banco Com todas essas palavras de instituição financeira da mesma forma no mesmo semântico do banco de sentar é tá tudo junto ali tá ele vai fazer essa distinção o burge não o board não confunde ele faz esses contextos diferentes o banco são financeira vai ter o seu próprio contexto e o banco de Santana vai ter o seu próprio contexto então ele acaba
sendo melhor né para as tarefas O que que a gente ganha como na verdade a gente acopla ele nas arquiteturas e acaba melhorando as outras tarefas tá então a gente tem o bucho Brasil já teve uma uma primeira iniciativa no buarch o primeiro foi o bertimbau que foi ter treinado com textos Wikipédia memória e ele é de 2020 tá ele é um volume grande texto que ele foi treinado e a partir daqui o que tem sido feito normalmente se usam esses esse Burst de base né e continua treinando com textos de domínio específico então tem
iniciativas de pegar o board e continuar treinando com textos do domínio do direito e fazer um Butter ligou é um lego board né a da área do direito né um para Leis Os projetos que a gente tem partes que a gente tem feito parcerias como a né a Unifor a UFG e UnB Elas têm feito isso tem cuidado Burst tem dado quantidades treinando para deixar ele mais especializado para a área do ninho o que que ele acaba apoiando as outras tarefas porque daí se a gente coloca um modelo de linguagem na nossa arquitetura que faz
alguma tarefa e melhor o desempenho dessa tarefa porque semânticamente ele vai interpretar melhor porque ele tem essas relações diversas lá dentro e representa melhor cada palavra que tem dentro do meu texto e aí permite que aquilo que eu quero que seja executado seja feito de uma forma melhor né então ele consegue por exemplo melhorar as respostas de um sistema de perguntas e respostas vai melhorar sim vai melhorar uma classificação de texto Então ele vai proporcionar que as tarefas que a gente tem sejam melhores vai melhorar a minha o reconhecimento de entidades alinhadas vai vai resolver
vai melhorar minha análise sentimentos então a gente acoplar esse modelo de linguagem tem feito com que se tenha melhor os resultados nessas tarefas que outros modelos né desses fundations tem bom não é só na área de texto tem um Dolly o Doli ele é então algo novo Fantástico né que a gente entra com textos e ele já é imagens a partir do texto faz perguntas ele responde ele até faz a diferença faz uma pergunta ele te impere pode fazer até cálculos e ele tá retornar Tá mas é fantástico isso aqui é a primeira versão essa
que é a segunda ele faz variações Ah mas é uma revolução em termos de que marca consegue fazer tá se estudando né o quanto porque tá parecendo comportamentos emergentes nessa nova aplicação e isso revoluciona a questão até de jogos por exemplo cenários novos nunca criados ele consegue fazer coisas que a gente nunca viu né tipo alguém andando um astronauta anda cavalo na lua tem alguns exemplos na página bastante interessante coisas que ele realmente criou sozinho a partir do conjunto de imagens gigantesca de texto que ele recebeu tem o gato também que daí o outra da
Open e aqui o desmaine que criou o gato o gato também é um desses fundaschos modas e ele o interessante porque ele consegue fazer mais de 600 tarefas jogar videogame legendar imagens conversar o outro também responde perguntas né um don't também responde perguntas aqui em pleablocos e tem um outro artigo esse artigo são recentes tá esse de 2022 Eu acho que o Doli 2 é de 2021 desse ano a 2022 e ele consegue ampliar blocos fazer uma série de tarefas aplicações bastante recentes e muito interessantes [Aplausos] [Música]
