[Música] Olá bem-vindos a quarta aula do curso de redes nessa aula nós vamos aprender sobre as principais arquiteturas das redes neurais artificiais encontradas na literatura em especial nós vamos primeiro antes de apresentar as arquiteturas nós vamos entender como que é o processo de modelagem dessas redes utilizando gráficos orientados que é uma representação bastante importante utilizada para fazer a derivação dos algoritmos auxilia na derivação dos algoritmos nós vamos ver as redes com única camada redes com múltiplas camadas redes recorrentes além de outras arquiteturas como redes comovolucionais redes construtivas os autores e combinações arquiteturas anteriores bom representação
viagráficos ela fornece uma descrição funcional dos vários elementos de um neurônio de um de um neurônio que compõe uma rede artificial e ela possui algumas vantagens por exemplo a simplificação da representação ela facilita a derivação do algoritmo de aprendizagem ou de outras características a partir da estrutura do gráfico a gente consegue visualizar de maneira explícita Qual que é a relação de dependência entre as variáveis entre as partes de um neurônio entre as partes de uma rede e ela pode representar tanto sinais Inter neurônios ou seja entre neurônios como intraneurais ou seja os sinais internos dentro
de um próprio neurônio nós temos três regras principais a regra 1 regra dois e regra 3 que eu vou definir com vocês agora a regra 1 ela fala o seguinte um sinal flui ao longo de um elo somente no sentido definido pela seta alguns exemplos não temos O Elo sináptico onde nós temos a entrada x passando por um peso w representando o sinal de saída Y então o y vai ser x vezes w basicamente um outro Elo também dentro dessa mesma regra o belo de ativação onde nós temos um sinal x passando por uma função
de ativação definida aqui por fim no qual Y vai ser o fi de x a segunda regra fala o seguinte um sinal nodal é igual a soma de todos os sinais que entram no nó via os elos incidentes então no sinal anterior nós vemos que um sinal de entrada de neurônio pode ser um x multiplicado por w gerando Y esses sinais Y pode alimentar um dado neurônio Car então o sinal ou o campo local induzido desse neurônio Car vai ser o somatório de sinais recebidos por esse neurônio e a terceira regra fala o seguinte se
um dado valor de saída é fornecido como a saída de um de um neurônio esse mesmo valor ele vai alimentar todos os neurônios pós sinápticos que são ligados a esse neurônio J então uma vez que eu tinha um valor de sair daqui esse valor vai alimentar de forma igual todos os neurônios que estão nas camadas posteriores Aqui nós temos então exemplo de um gráfico de fluxo de neurônio onde nós temos a representação das entradas os Elos de ligação a geração do campo local induzido a função de ativação e a saída do neurônio se essa saída
fosse ligada a outros neurônios nós teremos a replicação do Y de k para todas as ligações e ela fornece uma descrição completa de como sinal entra como que ele se propaga E como que ele sai da rede aqui nós temos uma representação simplificada chamado grafo arquitetural Onde eu posso utilizá-la quando eu não quero fazer uma representação minuciosa por exemplo das características intrane neurônios observem que aqui eu não estou representando o conjunto de pesos não tô explicitando a função de ativação só fala das entradas e da saída do neurônio nós podemos também representar utilizando esses gráficos
de fluxo as reamentações Qual que é a ideia de uma reação eu tô falando que a saída Y aqui Ela depende do sinal x que alimentou essa rede mas ela também Depende do próprio Estado da rede no tempo anterior representado aqui por x Prime então a rede o estado dela vai depender da entrada que ela tá recebendo naquele momento mas também vai receber do próprio estado dessa rede no instante anterior então o modelo é dinâmico uma espécie de memória tá bom arquitetura de redes Como já falei nós vamos ver redes com única camada múltiplas camadas
redes recorrentes e alguns outros modelos como as redes convolucionais redes construtivas de combinação dessas arquiteturas redes com uma única camada um exemplo clássico que a gente vai ver nas próximas aulas que é o que é o que está representado aqui nessa figura onde nós temos duas camadas a camada de entrada e a camada de saída mas a gente chama essa rede de camada única pelo fato que apenas a camada de saída possui pesos Associados apenas essa camada ela possui parâmetros que podem ser ajustados a camada de entrada ela simplesmente recebe o sinal externo ela não
sofre ela não pode sofrer modificações e o fluxo de sinal ela é sempre da entrada para saída uma generalização de uma rede com uma única camada seria a rede com múltiplas camadas onde eu também tenho o fluxo entrada saída só que agora em vez da entrada alimentar direto a saída a gente vai ter camadas intermediárias com as chamadas conexões densas onde cada neurônio de uma camada alimenta todos os neurônios de uma camada posterior então a gente pode ter múltiplas camadas ao longo da arquitetura da rede as redes decorrentes como eu já comentei então o Estado
de um dado neurônio aqui ele vai depender do input externo que eu tô apresentando para rede ou seja da entrada do estímulo que essa rede está recebendo do ambiente mas também vai depender da própria saída de outros neurônios não tempo tem menos um representado por esse operador de atraso Z elevado a menos um aqui então o sinal da Rede Ela depende da entrada e ela também depende do sinal ou do estado da rede num instante anterior do tempo esse aqui é um tipo por exemplo de uma rede recorrente que vai ser o modelo de hopfield
que a gente vai ver ela na sexta semana do curso as redes construtivas elas são redes nas quais o número de neurônios eles variam ao longo do processo de aprendizagem Então em vez da gente definir o número de neurônios fixo e treinar esses neurônios a própria Rede ao longo do processo de treinamento ela vai inserindo ou removendo neurônio de acordo com a necessidade do problema então Aqui nós temos um exemplo uma rede chamada growings ou gng onde nós começamos com dois neurônios e o objetivo dessa rede é aprender essa superfície circular que nós temos aqui
na imagem então a rede ela começa a inserir um terceiro neurônio vai se adaptando até chegar num cenário final aqui onde eu tenho diversos neurônios cobrindo cada pequena região dessa dessa forma geométrica nós temos as redes convolucionais lembra das redes com múltiplas camadas que eu falei que são conexões densas onde cada neurônio de uma camada anterior alimenta todos os neurônios da camada posterior então toda entrada ela alimenta todos os neurônios da primeira camada que alimentam todos neurônios da segunda e assim por diante na rede convolucional a gente vai ter Campos receptivos locais ou seja um
dado neurônio ele não vai se alimentar por toda toda a rede ou toda entrada ou toda a camada anterior ele vai representar apenas uma pequena parcela desse sinal anterior e esse mesmo neurônio que representa um padrão nessa região da imagem ele vai ser replicado por todo esse mapa representando esse mesmo padrão só que agora numa outra região da Imagem e a gente pode ter diversas camadas múltiplas camadas também utilizando esses campos receptivos essas redes chamadas de redes convolucionais Nós também temos as redes com sinais residuais Qual que é a ideia da rede constitucional residual nós
temos um sinal x que alimenta a primeira camada essas esse sinal da primeira camada alimenta o sinal da segunda camada e assim sucessivamente camada camada só que a gente pode ter esses sinais residuais que fala o seguinte esse próprio sinal X Ele é modificado camada camada gerando sinal f de Giz só que a gente pode compor esse sinal modificado esse sinal projetado no outro espaço com o próprio sinal bruto o sinal original x da rede então o que que vai ser a saída de uma dada camada aqui ela vai ser a saída transformada pelas camadas
anteriores mas o próprio sinal residual que ele provém ou da entrada ou de camadas anteriores da rede então com isso a gente consegue preservar a informação ao longo da passagem pelas diversas camadas que a gente tem no modelo tem diversas redes convolucionais que adotam esse tipo de conexão residual de laço residual na sua na sua arquitetura na sua composição nós podemos combinar arquiteturas por exemplo nós podemos ter uma rede que a primeira camada é uma camada convolucional ou um conjunto de camadas convolucionais na sequência a gente tem uma camada recorrente aquela camada que o estado
dela depende da do input mas também do estado da própria região no instante anterior combinada com camadas densas ou se a gente pode utilizar essas arquiteturas que nós vimos até então combinar elas formando outras arquiteturas de redes neurais nós temos arquitetura de alta em coulders Isso aqui é uma família de redes onde a característica principal dela é a composição onde nós temos uma primeira parte que representa o codificador ou em colder e uma segunda parte que representa o decodificador ou decoder qualquer ideia dessa dessa família de redes dessa família de arquiteturas ela vai receber uma
entrada ela vai mapear essa entrada a partir desse codificador num espaço latente por exemplo tem um espaço de altíssima dimensão poderia estar mapeando esse espaço de altíssima dimensão no espaço de menor dimensão e depois pontos desse espaço latente podem ser amostrados apresentados por decodificador que vai decodificar o exemplo apresentado lá na camada de saída é um Modelo Alta associativo onde eu apresento aqui o padrão de entrada e esse mesmo padrão ele apresentado como sendo o sinal desejado aqui na saída é importante sacar que tanto em colder quanto de colder que ele pode fazer uso de
diversos tipos de redezonais eu posso ter uma mãe coder convolucional eu posso ter um colder recorrente eu posso ter um encontro baseado numa rede densa então combinando aquelas arquiteturas que nós vimos antes a gente pode criar diversos tipos de alta encolders inclusive compondo em colder com um tipo de rede o Decoder com outro tipo de rede é bastante comum na literatura aqui embaixo nós temos um outro exemplo onde a entrada é um dígito manuscrito no caso aqui o 4 a codificação o Encoder ele vai codificar essa imagem não vetor de 10 bits e depois esse
setor 10 bits sendo apresentado como entrada vai decodificar o próprio sinal 4 aprendido pela rede então a gente pode utilizar esse tipo de abordagem para gerar dados novos para reduzir ruídos de dados tem diversas aplicações dessa família de arquiteturas chamada alta em cores Nós também temos as redes adversárias generativas qualquer ideia a gente pode interpretar essa rede essa essa fase do gerador aqui seria algo semelhante ao decoder da do auto incomodar ou seja vou apresentar um sinal aqui e com base nesse sinal essa rede vai gerar nesse exemplo aqui uma imagem então tem as imagens
geradas pelo gerador e as imagens reais provenientes do data 7 a gente vai ter uma segunda rede aqui chamada discriminador que o objetivo dela é falar o seguinte Recebi uma imagem essa imagem ela é real ou ela é falsa ela provém do meu ela é proveniente do meu conjunto de dados ou ela foi gerada pelo gerador Então essa rede ela tenta melhorar da melhor forma possível a sua capacidade de classificar um padrão entre esse é um padrão falso ou um padrão verdadeiro e em paralelamente por isso o adversariais o gerador tenta cada vez mais gerar
imagens mais próximas das imagens reais a fim de confundir o discriminador então treinar essas redes de maneira antagônicas a gente consegue criar o geradores bastante poderosos para a criação de imagens relativamente falsas né ou novas moléculas novas compostos que não estavam presentes no conjunto treinamento e que a rede vai ser capaz de gerar tentando sempre enganar o nosso discriminador então nós temos aí diversas arquiteturas de redesionais disponíveis na literatura e outras arquiteturas elas podem ser combinadas construídas né combinando arquiteturas anteriores como nós já vimos exemplo nós podemos combinar uma rede CNN uma rede RN a
CNN é bastante utilizada para tratamento de imagens sem visão computacional a RN é bastante utilizada para tratamento de dados sequências dados temporais então combinando essas duas vezes a gente pode por exemplo desenvolver uma rede para tratamento de vídeos onde eu tenho imagens sequenciais no tempo bom uma questão né O que que são as arquiteturas Profundas estão falando na literatura nos últimos anos basicamente são arquiteturas de redes neurais onde nós temos diversas camadas ou seja aquela representação do sinal camada camada ele passa por diversos níveis hierárquicos então quanto mais camadas mais profundo a rede não existe
uma definição muito precisa mas basicamente a gente fala que a partir de três quatro camadas ocultas camadas intermediárias excluindo a camada de saída a gente tem uma rede que ela começa a se tornar profunda mas não é incomum a gente encontrar redes e tantas camadas na literatura e as redes que não são Profundas são consideradas é chamadas de redes rasas com poucas camadas bom que que nós vimos nessa aula Nós aprendemos sobre a representação das redes neurais via gráficos direcionados ou gráficos de fluxo nós conhecemos diversas arquiteturas de redes neurais artificiais e na próxima aula
a gente vai aprender a preparar os dados para treinar os modelos de redesionais Então como que eu saio do meu conjunto de dados às vezes elas são modelos baseados em dados né então preciso sair desses dados e desses dados encontrar extrair informações importantes para que eu consiga treinar os meus modelos então próxima aula a gente vai aprender a fazer isso e basicamente até tratar dois aspectos principais no tratamento que a normalização e a transformação dos dados além da própria divisão do conjunto para fazer o treinamento desenvolvimento do modelo bom pessoal agradeço a atenção novamente e
até a próxima aula [Música] [Música]
