[Música] [Aplausos] [Música] então chegamos aproxima de linguagem natural Vamos estudar esse ramo agora mas o que é processamento de linguagem natural melhor dizendo que linguagem natural se tem linguagem natural tem linguagem artificial linguagem artificial são as linguagens de programação os computadores utilizam que a gente utiliza para programa né para gerar os programas a linguagem natural é a que a gente usa para se comunicar então é o português o inglês é francês né a gente escreve em português a gente fale em português a gente fala em inglês escreve em francês assim por diante então quando tá
falando de linguagem natural é o que a gente usa para se comunicar né pessoas existem dois Campos que estão relacionados né que tem viabilizado a gente se conversacionais por exemplo que é o reconhecimento da fala que a gente poder falar e ouvir um reconhecimento uma transcrição na verdade dessa fala para texto que viabiliza que a gente processa esse texto e entenda né a máquina entenda o que tá acontecendo ali para poder gerar uma resposta coerente e também tem a parte de conversão do texto em fala que vai permitir que a máquina Responda para gente também
linguagem natural né tudo isso tendo como objetivo evidentemente da capacidade de comunicação com a gente e também compreender e gerar linguagem humana né como é que servia avisado dentro tem várias técnicas estatísticas o que viabilizam essas construções tá que viabilizam que essas técnicas sejam executadas essas soluções sejam propostas né combinados evidentemente estatística combinado com os novos algoritmos dentro da área de Machine esse conjunto Esse pacote tem feito essas essas inovações essas soluções que a gente tem visto de uma forma bastante interessante bom dentro principalmente na linguagem natural de PLN Como é que chama tem um
conjunto de tarefas eu trouxe algumas como extração de informações classificação de textos tradição automática perguntas respostas geração de texto e n outras tá que dentro dessas Vai ter outras que se subdividem que eu vou acabar come ntando também vou começar pela mais clássica tradução automática a pressão automática ela começa com a própria a na década de 50 já se falava em Tradição automática só que naquela época não se não se tinha grandes não se teve grandes resultados tá até foi descontinuado né o projeto desse tipo porque os resultados eram realmente desanimadores é que naquela época
se usava gramática tá e se usava textos clássicos né Não só jornalístico mas isso clássico literatura clássica para fazer tradução automática uma gramática dificilmente um falante da língua segue literalmente é dramático pode até se esforçar Mas é difícil então sistema que é baseado na gramática as pessoas não seguem a gramática baixíssima né Outra coisa se ele é treinar em cima de textos que não são a forma com as pessoas falam também a chance de não funcionar é baixíssima né porque não funciona com esses textos porque a língua é viva a gente modifica a língua na
medida que usa surgem expressões novas gengírias que não vão aparecer em textos mais antigos muito menos se o conceito né o seu objetivo daquele texto é uma forma de falar mais uma forma escrita mais escuta nem vai ter essas Possivelmente Então hoje em dia com as novas técnicas o que que se usa se os estatísticas a fala e o texto escrito pelos internautas pelas pessoas Então tá se usando realmente texto atual texto Vivo que espelha essa evolução da língua mas o que que a tradução automática né Possivelmente falando então a gente tem um texto algo
escrito numa língua e permite fazer a tradução automática para uma outra língua né então tem um texto numa língua de origem e tu vai gerar para um texto numa língua de destino a tradução automática embora alguns possam achar ainda que ela não tá no ponto realmente ela precisa ainda melhorar mas de qualquer forma ela é muito muito melhor do que já foi há tempos atrás isso e tudo isso viabilizado pelas algoritmos né seguindo então nas nas subtarefas né então tem uma tarefa de dentro de PLL que é classificação de texto assim que serve para muitas
e muitas coisas e conforme o contexto ela acaba recebendo o nome apropriado Tá mas essa essa tarefa ali digamos ele é uma subtarefa de matéria com maior ela faz parte de uma outra tarefa então eu posso classificar qualquer coisa do texto Eu Posso descascar uma palavra para classificar é uma sequência de palavras eu posso classificar uma frase um Twitch uma página inteira um livro né um artigo uma petição um processo um pedido ou parte dele eu posso em qualquer granularidade vai ser uma classificação de texto quando a finalidade é simplesmente classificar ou seja atribuir um
rótulo a um texto e a classificação de texto mesmo agora só tô terminando rótulos a palavras Possivelmente vai ser um reconhecimento de trás nomeadas que é uma classificação embaixo Mas é mais uma classificação tá se eu tô fazendo uma classificação com propósito de analisar o sentimento essa é uma análise sentimento mas eu tô classificando também tá então a ideia de classificar o que que é basicamente atribuir um rótulo isso é classificar um rótulo digo isso é isso essa palavra é isso essa sequência de palavras significa isso esse é o rótulo dela tô botando uma etiquetazinha
né essa frase é isso tá vou ter etiqueta esse texto o assunto dele é isso né então esse texto Ele é positivo esse texto ele é negativo bota um rótulo uma etiqueta Isso é uma classificação tá conforme o propósito dessa classificação muitas vezes a tarefa recebe um nome diferente e a classificação tá ali embaixo auxiliando a execução dessa tarefa bom como eu tinha comentado né Tem várias tarefas que dependem de classificação então análise sentimentos o que que é análise de sentimentos análise de sentimentos e dizer se algo é positivo se algo negativo tá a gente
pode a granularidade pode variar eu posso fazer uma análise sentimentos no texto inteiro de frase ou mesmo de aspectos entidades coisas que estão dentro da frase tá então por exemplo esse meu exemplo o hotel tinha ótimos acomodações o serviço de quarto era bom mas a comida do restaurante era péssima se eu analisar a frase como um todo ela é mais positiva tá porque eu tô dizendo que acomodação é boa tô dizendo que o serviço de quarto é bom você dizendo que a comida é péssima então tem duas coisas boas e um aumento uma frase como
um todo a avaliação como um todo nesta frase para o hotel é positivo se eu for analisar aspectos eu quero eu sou mais criteriosa eu quero saber itens desse meu hotel eu quero conseguir avaliar pontualmente cada coisa do hotel então eu vou poder dizer que a acomodação é boa eu vou dizer que o serviço bom você que a comida é ruim aí eu tenho avaliar as sondas pontuais porque eu tô analisando aspectos de uma forma mais detalhada né a respeito do hotel e vai ter situações em que não vai ter sentimento nenhum que vai ser
neutro como uma pergunta o teu tem piscina não tem um sentimento Expresso isso é mas uma pergunta né não tem nada então vai ser classificado como neutro no caso de texto né então eu posso ter um review por exemplo e analisar se no caso do review não ter uma conclusão né analisar se no final das contas o sentimento que o texto tá passando é muito mais positivo do que negativo ou seja o review do produto tá dizendo que o produto é bom ou que o produto é ruim no fim das contas mesmo que ele tem
analisado n aspectos isso pode ser usado para pareceres também se aparecer não tiver uma conclusão dizendo ser favorável cerca de alguma coisa pode ser analisar esse parecer para ver se ele for mais favorável se ele foi desfavorável e esse Nero é da abreviação em inglês tá então quando você responde nertas falando de entidades nomeadas que que é entidades na verdade é identificar entidades no texto rotular é uma classificação só que um propósito mais específico que na verdade a gente quer identificar elementos do texto e colocando rótulo sobre eles as entidades mais clássicas assim que se
encontra em qualquer sistema de reconhecimento de entidades a identificar as pessoas que aparecem no texto os locais as organizações identificar a pessoa seria encontra o nome de uma pessoa e marca aquela e bota o rótulo é uma pessoa né então todos os nomes próprios de pessoas são marcados com o rótulo de pessoa as organizações nomes próprios de organizações aparece cnjó de organização mas penúde de organização locais aparecem endereço aparece o bairro aparece uma cidade né pode até qualquer uma universidade o ambiente né Onde está sendo colocado que daí o local onde aquilo aconteceu de local
então conforme for o domínio pode aparecer rota dos específicos né a entidades específicas que é o caso do Exemplo né tem mais o que simplesmente essas entidades mais clássicas assim né Essa entidades são entidades definidas para domínio que esse exemplo que foi feito aqui dentro do projeto de agrupamento Por singularidade que também tá em desenvolvimento dentro da Justiça 4.0 essa parceria cnjica né pela Universidade Federal de Goiás então eles definiram o conjunto de entidades né então anotando o texto com isso então tem entidade fundamento marcando Um fundamento tem uma entidade pedido né marca dentro do
texto O que que tá sendo pedido marca as pessoas marcas funções e por aí vai né no contexto desse projeto especificamente está sendo usado para classificar frases e essas frases vão ajudar na sonorização que vai chegar no agrupamento de personalidade dos processos a uniforme que tem aquela daquele exemplo que eu falei do gráfico também usa entidades nomeadas tem um outro sobre conjunto de entidades eles estão usando para fazer o reconhecimento das leis dentro do texto tá então fazendo a quantidade examinadas e também para entender outras entidades E isso está sendo usado para auxiliar na classificação
social é o propósito naquele projeto nós temos também dentro do sinapses existe modelos também fazendo reconhecimento a gente pegou um para mostrar de exemplo Então se colou por exemplo um texto né de um processo e ele reconheceu que era uma petição ele reconheceu qual era o pedido tá reconheceu qual era o pedido que tava sendo feito aqui foi marcadinho é assim que funciona coloca e ele marca no texto é aquela entidade né destaca no texto Então é mais do que só classificar aí ele tá destacando e a gente pode extrair isso inclusive do texto chegamos
então a sub-tarefa né dentro principalmente regulagem natural de sistemas de perguntas e respostas só que esses temas que a gente faz pergunta em linguagem natural e eles respondem para nós mas não precisa necessariamente ser uma resposta linguagem natural ele pode estar fazendo aquele combina principalmente linguagem natural com técnicas de recuperação de informação ele pode estar trazendo informações de banco de dados textos imagens links uma série de coisas tá normalmente tem um bote junto né de conversação pode ser um chatbot simples assim ou um assistente virtual com maior arquitetura mais elaborada tá todas essas técnicas tem
Machine Tá mas especificamente como é que funciona como é um sistema de recuperação ele pode trazer usar a fonte de dados diversas então pode ser Fontes desestruturadas sem estruturadas ou estruturadas de banco onde está tudo organizado já tem uma tabela então onde tem lá um campo nome tá todos os nomes o campo CPF Então todo CPF todos os endereços enfim tá tudo já identificado e organizado então fica muito mais fácil da máquina manipular porque tá num banco tá estruturado os dedos estruturados que a gente chama são os textos imagens áudios porque não tá organizado tá
então a gente precisa de uma técnica para lá e extrair informação que a outra que a gente vai falar depois que vai extrair informação e vai deixar de falar estruturada para ficar mais fácil o uso e o servo estruturado é o que tá no meio do caminho ele não tá totalmente livre é um texto totalmente livre mas também não tá organizado então talvez dos documentos que eu vi talvez tenha outros mas o que me vem a cabeça agora e procuração procuração ele tem um formato para definir vocês podem usar até como template né daí vai
lá e só coloca as informações mudam uma coisa que outra mas estrutura basicamente é a mesma então ele tem uma estrutura pré definida então ele tá mais consciência estruturado ficaria mais fácil de a gente fazer um programa para automaticamente percorrê-lo né e extrair as informações aí seria até algumas palavras-chaves né como a procuração por exemplo palavras que indicam que é uma procuração inclusive ficaria mais fácil de se tentar tirar as coisas do texto bem esse tipo de técnica geralmente é usado dentro do sistemas conversacionais tá chatbots né assistente virtuais existe uma diferença técnica embora todo
mundo tá usando chatbot de forma Ampla mas existe uma diferença técnica entre chatbots e assistente virtuais a gente pode mais simples ele tem mais reativa entra a pergunta e ele simplesmente responde o assistente virtuais na relação aqueles que fazem diálogos mais complexos mais longo executo tarefas aí vai assim né Alex que são mais tem uma arquitetura mais interessante ou seja respondem mais entendem mais né bom só para dar um exemplo Isso aqui é uma arquitetura da Síria Inicial só para dar um exemplo de funcionamento dela então tem aquele módulo de reconhecimento de fala né que
tá bem bom aí ele gera uma sequência de palavras em texto se trabalha em texto tem um módulo de entendimento onde tem a semântica trabalhada né quando ele consegue quando ela consegue entender aí ela vai então executar tarefa ela não consegue entender que que vai acontecer ela vai tentar bolar a partir desse módulo que faz a gerência do diálogo e ali tem o planejamento tem o raciocínio embutido ajuda ela a montar uma questão para devolver o usuário em Foz né tá que a ciência de lá está fazendo em voz caso ela tenha entendido o mesmo
modo também vai ajudar a planejar a sequência de execução das ações que ela vai fazer em resposta usuário e aí ela executa essas ações e ainda responde o usuário em voz bom continuar no geração de texto onde a gente tem os computadores gerando texto sua resposta como gerando roteiros de filmes gerando reportagens e jornal mas a geração de texto que a gente se refere assim tem bem e a mesmo tá é a gente tentar gerar ter essa parte de coisas que não são linguísticas né uma planilha um gráfico alguma coisa assim gera texto que seria
muito legal alguém é poder a máquina explicar para gente uma planilha por exemplo outra coisa né ainda nessa linha da sub-tarefas que são a extração de informações é extremamente útil é aquela como eu comentei que transforma Fontes não estruturadas em estruturadas no caso aqui são textos vai tirar informação de texto tá Para que você consiga fazer uma estruturação de texto se usa outras tarefas né então para poder extrair informação estruturada eu vou usar outra tarefas como por exemplo é conhecimento de entidades nomeadas encontrar no texto as pessoas os locais as organizações as funções né os
pedidos como a gente viu e aí eu posso estruturar aquilo que ela ter a sua estrutura fica mais fácil de recuperar para fazer isso muitas vezes a gente vai precisar também de resolução de Com referência o que que é com referência são as referências as mesmas coisas ou pessoas dentro do texto Então eu posso ter um texto por exemplo que fala sobre o Dr Rafael no processo ou né o ano a área dele atuando em algum ponto a descrevendo lá do troféu aí é longo do texto pode ter Dr Rafael tem uma situação dele aí
depois tem o doutor ainda ou magistrado ainda é Doutor Leite ainda é ele ou simplesmente o pronome ele ainda é ele são várias formas de referenciar a mesma pessoa então para que se Colão diálogo por exemplo sistemas sociais é fundamental para entender contexto ao longo do desse diálogo ele tem que conseguir entender essas referências que são a mesma pessoa ou mesmo objeto que seja tá e ao longo do tempo para a gente conseguir fazer a compreensão também precisa disso quando a semântica é extremamente importante para o processamento essa análise de cor referência é importante extração
de relações então tentar entender o contexto é importante ver o que está relacionado com o quê então no momento que tem uma citação de alguma lei ela está relacionada com o quê dentro do texto então esses são alguns elementos que são importantes para extração de informações O que que a gente podia usar ainda né nesse contexto do áudio de uma audiência né que seria interessante lá eu falei mais de texto mas e áudio também entra né na parte plm transcreveu o áudio e já grifar por exemplo Deixar claro as partes mais interessantes para aquele processo
grifar aquilo que é fundamental tá também faria parte da extração de informações transcreve né Aí tem um módulo de transcrever o áudio em texto e aí a extração de informações trabalhei em cima para tirar as partes mais relevantes ou resumita ao ver se o áudio foi muito grande fazer essa humanização né uma outra forma uma outra área mais recente né agora a gente encerrou assim o conjunto de sub-tarefas de processamento de linguagem natural não foi exaustivo mas passamos para algumas então um outro ramo de iaca e a explicar é mais recente mais fundamental tá e
a explicável ela surgiu porque as redes neurais né que é onde tem o mundo aí ah principalmente de pilani que é baseado nas redes Profundas elas são consideradas caixas pretas ou se a gente não enxerga O que ela tá fazendo lá dentro a gente só consegue ver entrada e a saída então consigo analisar pelo comportamento mas que as pessoas possam confiar é importante que a gente entenda tudo que a rede tá fazendo e essa área tá avançando nesse sentido então dizer o que que cada parte dessa arquitetura que está sendo construída dentro da solução de
ar responde pelo que como ela decidiu então Tás trabalhando para deixar elas em caixas cinza que a gente chama e depois em caixa branca totalmente transparente para as pessoas poderem compreender todo o processo decisório que essas arquiteturas estão fazendo e passam a confiar também mais esses temas à medida que entendem o que eles estão fazendo então é isso que essa área faz principalmente focada nos algoritmos de machilantes de uma forma geral né machinlândia Então são né os algoritmos de Machine tá então o que é Machine a sub-tarefas mas isso a gente vai ver no próximo
vídeo A partir desses conhecimentos ficará muito mais fácil entender o que vem a seguir te vejo lá [Aplausos] [Música]
