fala pessoal tudo bem Maurício canto aqui novamente vamos dar sequência nesse módulo de lógica de programação só que a aula de hoje é sobre o arquitetura de dados é uma aula ainda um pouco mais conceitual vamos falar um pouco mais de algumas informações entender um pouco de como que funciona os modelos de dados arquitetura de dados de uma maneira um pouco mais genérica não tão dentro do ambiente de desenvolvimento em si mas que vão servir depois para evolução para entendimento até para conversas futuras dentro de equipe com pessoas e empresas de diferentes áreas então é
um conteúdo bem importante bem interessante para se entender O que que a gente vai ver nessa aula a gente vai ver um pouquinho da definição de que que é uma arquitetura de dados o que que são Dados tipos de arquitetura tipos e modelos então tem um pouquinho de diferença a gente sempre vem um pouco do Macro por macro a gente vai ver um pouco nessa parte princípios da arquitetura de dados então Pontos importantes aspectos importantes de hoje e arquitetura e dados modernas a gente vai falar um pouquinho de arquitetura de dados em Cláudio como os
dados tratados para que depois no Próximo módulo a gente também vai falar um pouco de desenvolvimento para Cláudia aí vai começar a fazer sentido alguma dessas informações aqui onde armazenar as informações primeira parte de definição então trouxe quatro frases aqui quatro conceitos para falar um pouquinho então arquitetura de dados ela trabalha com especificações para descrição de um estado atual dos dados define seus requisitos trabalho com dados orientados à integração e controla o tipo de acordo com uma estratégia uma estratégia específica uma estratégia de empresa uma estratégia de um software uma estratégia de qualquer tipo então
o que que é dado o que que é um dado tipo meu nome é um dado meu CPF andado então a gente tá falando de por exemplo de lgpd que tem dados de pessoa física e proteção desses dados e tudo mais Então como que esses dados ficam armazenados como que a gente estrutura isso são especificações de modelo de trabalho de estado atual desses dados que que a gente faz com esses dados depois uma segunda definição arquitetoriedade é um conjunto estrutural de regras e padrões que definem um modelo de operação das Ferramentas que vão trabalhar com
os dados Então isso é justamente isso tem um conjunto de informações que depois a gente vai tratar isso lá em algoritmos que que eu faço com a informação que tá entrando no meu software esses dados respeitem essa estrutura que vai ser processada pelo meu software vai ser armazenada na informação em algum local e depois eu vou precisar mostrar isso de alguma forma então tipo para que a gente toma uma estratégia que está integrada estratégia um terceiro ponto uma terceira ponte definição arquitetura de dados é modelagem de dados tem funções diferentes mas elas trabalham de formas
complementares para ajudar as empresas desbloquearem e capitalizar o valor desses dados então tipo hoje se vê em qualquer local e se fala muito que dados é um novo petróleo quem tem dados tem tudo então essa corrida louca de Inteligência Artificial trabalha muito nisso também porque que trabalha nisso tipo tendência oficial é alimentar a computação e tudo mais justo mente para poder tomar as melhor decisões de forma inteligente de forma armazenada então a gente está trabalhando com arquitetura de dados voltada para isso numa última definição de arquitetura de dados é estrutura dos componentes de dados de
uma organização então considerados sob diferente níveis de abstração como relação entre áreas princípios diretrizes normas padrões que regem o projeto ou leis por exemplo né no setor de saúde que eu tenho que armazenar os dados usuários de certa forma e tudo mais e por um tempo de vida determinado Então são definições bem genéricas de forma geral de dados que servem para todas as áreas servem por uma organização serve para um sistema serve para áreas distintas de negócios então é importante ter esse entendimento mas eu quis resumir esses quatro conceitos em quatro expressões então uma delas
expressões começaram de baixo para cima requisitos dados são necessários só são coletados se eu tiver requisitos qualquer informação necessária Qual que é o CPF é o nome é o e-mail isso é um dado isso é um requisito mínimo para fazer um login por exemplo Então eu preciso de requisitos básicos de dados básicos para estruturar qualquer ação depois organizar e processar as informações Então eu preciso de uma organização para esses dados como que eu vou armazenar esses dados dentro de uma estrutura de banco de dados dentro de uma estrutura de data lei que dentro de uma
estrutura House como que isso vai ficar estruturado como que eu vou poder utilizar isso dessa forma então organizar e processar as informações é muito importante a gente está falando de dados normas e padrões Às vezes a gente precisa seguir para normas leis como eu comentei da área da saúde precisa armazenar documento de um de um cliente por não sei quantos anos por cinco anos o dente armazenar os dados de gravação por exemplo na parte de telecomunicações então isso são Dados que precisam ser armazenados e tem leis que regem isso então a gente também como desenvolvedores
como arquitetos de soluções como arquitetos de infraestrutura a gente precisa saber entender que essas leis existem essas leis existem essas normas e ciências padrões e também definir os próprios padrões de desenvolvimento de Arquitetura do softwares e por último valor dos dados então investir um pouco a ordem aqui que tudo no fim é dinheiro então os dados têm valor existe uma retirar alguma informação estratégica desses dados isso gera muito valor para as empresas então é bem importante esse entendimento do que são Dados de como montar uma arquitetura de dados para que se tenha o real valor
das informações então se for só uma definição Inicial um conceito Inicial sobre arquitetura de dados Então já passamos por essa parte vamos um pouquinho para a parte de tipos e modelos de arquitetura de dados falando um pouco mais de modelos então a gente vem novamente do Macro para o micro graças as duas estruturas aqui quando a gente fala de modelos de dados a gente vem sempre do modelo conceitual requisito de negócio que que é importante para o negócio que tá sendo trabalhado o modelo lógico começa já uma definição um pouco mais mais micro mas ela
ainda é maior e último modelo físico é um pouco mais detalhado é já mais no detalhe às vezes de uma aplicação do desenvolvimento de um requisito mais funcional mesma coisa na arquitetura de dados a gente vem do mais macro arquitetura de negócio arquitetura de dados arquitetura de aplicativos de sistemas e arquitetura técnica então a gente vem vindo sempre do Macro por micro Essas são entendimento de tipos e modelos falar um pouquinho de cada um deles que quer o modelo conceitual de dados então conhecido como modelo de domínio oferece uma visualização Geral do conteúdo do sistema
como ele vai se organizado Quais são as regras de negócios que estão envolvidas então ele precisa realmente ser muito macro no nosso cenário no meu cenário lá da empresa Netflix Cyber segurança por exemplo o cenário macro é que preciso cuidar de sistema de forma segura e eu vou desenvolver ferramentas de segurança Então tem que me preocupar com sempre aspectos de segurança mais modernos Quais as ferramentas Quais as soluções vamos utilizar Então esse é o meu cenário de conceitual os modelos lógicos eles são menos abstratos então eles começam a entrar um pouquinho mais por isso que
a gente vem do Macro São menos abstrato se fornece uma hora os detalhes sobre os conceitos relacionamentos do domínio sobre consideração então eu começo a trazer aspectos mais definitivos do que que vai ser utilizado Então eu preciso novamente o exemplo de Cyber segurança eu vou usar a ferramenta de ideias eu vou usar ferramenta de Fire usar outras ferramentas nesse sentido então começa a definir melhor o relacionamento que essas ferramentas têm que que esses sistemas têm em comum como é que eu vou usar isso como é que eu vou modelar esses dados então a gente vem
ali como é que eu ligo uma coisa na outra Quais são os atributos dos dados que eu preciso quais são os tipos de dados que eu preciso Qual que é o tamanho dele qual que é o relacionamento entre essas informações a gente começa a entrar em alguns detalhes mais específicos e o último modelo físico Aí sim a gente vem para um detalhe mais específico ainda então este é um modelo específico para a estrutura do aplicativo armazenamento e uso desses dados para cada entidade eu tenho os modelos de dados físicos estado elementos de dados quais são
os tipos os comprimentos características relevantes então a gente começa a entrar cada vez mais no detalhe do que que a gente vai usar como que a gente vai fazer então sempre do Macro para o micro representando um acro por um Micro aqui então da base modelo conceitual identifique os conceitos do negócio o intermediário modelo lógico define as estruturas de dados e como elas vão tá ligadas é de forma lógica e como que ela tá interconectada e por último o micro o modelo físico que descreve um pouco mais da implementação dos dados do modelo de banco
de dados de como que isso vai funcionar então é sempre nesse sentido na parte arquitetura segue a mesmas Passos arquitetura de negócio define estrutura organizacional estratégia processos e tudo mais arquitetura de dados escreve os ativos e os dados conceituais lógicos e física que a gente vai usar arquitetura do aplicativo representa os sistemas e aplicativos que se relacionam que se comunicam entre si ferramentas que se conectam é arquitetura técnica descreve estrutura linguagens O que que está sendo utilizado o que que é crítico então é que a gente está falando mais de modelos de conceitos então quando
a gente fala de conceito de arquiteturas de dados a gente está falando de empresas modelos conceituais tem alguns frameworks que são utilizados para isso mas isso se aplica também na parte de desenvolvimento de software então vai se entendendo por que que a gente desenvolve um software para determinar negócio de tal forma armazena de tal forma e usa tal ferramenta e faz aquilo ou faz isso justamente por causa dessas conceitos de arquiteturas de dados Então já trabalhamos a parte de definição já entendemos um pouco os tipos e os modelos de arquitetura de dados a gente vai
falar dos princípios de arquitetura de dados então princípios que hoje a gente fala o tempo todo segurança então preciso ter um dado precisa armazenar e com segurança eu preciso ter às vezes uma redundância de um dado essa informação tá acessível para quem e o que que vai quem que pode visualizar essa informação colaboração integração hoje ferramentas não trabalham mais sozinho então a gente precisa sempre estar integrando uma ferramenta com outra assim como a gente tem com outros parceiros aqui integrando Nossa solução e compartilhando dados compartilhando essas informações Mas quais esses dados precisam ser compartilhados então
a gente tá bem interligado essa parte de colaboração de integração com aspecto de segurança de quem pode ter acesso ao que flexibilidade então a arquitetura dela precisa ser flexível hoje a gente trabalha no mundo de Cláudio físico multicloud então eu posso ter dados em diversas ferramentas em diversas clouds e compartilhar essas informações então precisa ser flexível e conseguir trabalhar isso de forma gerenciar né inteligência inteligente precisa ser inteligente preciso conseguir armazenar esse dado de maneira inteligente eu consigo preciso conseguir gerar inteligência em cima desse dado armazenado então por isso essa corrida louca que estamos vendo
desde o final do ano de Inteligência Artificial e as empresas como Google encerrando projetos para dedicar mais mão de obra Inteligência Artificial o chat GPT aí tipo empresas investindo muito nisso porque a inteligência precisa ser trabalhada Então como já tem muitos dados aí para se trabalhar então inteligência em cima de dados é extremamente importante a parte de automação para que não precisa fazer tanto trabalho manual então automação extremamente importante a gente fala de Bia e outras tantas ferramentas que automatizam o nosso processo que agilizam o nosso processo e tudo isso orientada para resultados então dado
é importante para inteligência e tomada de decisões estratégicas com mais resultado Então tá vendo que existe uma sequência né no conteúdo Enfim então a gente falou de modelo de dados que vem do Macro por micro a gente falou de arquitetualidade que vem no macro por micro e a gente chega em orientado ao resultado então o micro vai me gerar as informações que eu preciso para tomar uma decisão estratégica que é o macro então é esse é o caminho de arquitetura de dados Então são os princípios que Pesquisando e lendo e falando de dados a gente
encontra até por uma evolução de carreira para todos os profissionais que trabalham com tecnologia de forma geral a última parte do conteúdo é arquitetura de dados moderna Então a gente vai entrar um pouco mais aqui no que que a gente tá falando de dados hoje O que que a gente usa de ferramentas hoje para começar a introduzir Principalmente um pouco de conceitos de nuvem que que a gente pode utilizar lembra da aula anterior a gente falou um pouco do filme do jogo da imitação que não é nem um pouco moderno mas é extremamente útil a
inserção de dados naquela máquina que ficava processando e fazendo aquilo local e tudo mais então é necessário imputar dados é necessário tipo inserir dados em algum local para que ele seja processado e para que depois a gente tire informações mas isso precisa ser seguro Então até tem uma parte do filme lá onde quando eles conseguem descobrir o enigma decifrar Enigma eles guardam segredo tipo para até para aquilo não se espalhar Então isso é segurança quem pode ter acesso essa informação então arquitetura do data quem que pode me colaborar então tipo um time colaborando para que
aquilo funcione então é bem conectado com evolução do próprio das próprias soluções então arquitetura de dados moderna trouxe uma imagem aqui não se assustem uma imagem da WS é onde tem um link que na apresentação também que joga para esse dado então arquitetura dados moderno a gente trabalha com data Lake da autor House e xtre das modernas reconhece a ideia de que adotaram a abordagem única para análise acaba resultando em situações difíceis não se trata simplesmente de integrar não data lei que com data House mas sim integraram da tallekander house data Stories desenvolvidos para fins
específicos possibilitando uma governança unificada e fácil movimentação dos dados Fala aí grego agora né Falei tipo um monte de sopa de letrinhas para quem não tá acostumado com tecnologia tem mais um monte de desenho ali embaixo que é de arrancar os cabelos mas não se assuste isso aqui é só são só conceitos para vocês entenderem irem se acostumando com essa sopa de letrinhas com essa sopa de palavras de dados data Leite Dr House Então vamos falar um pouquinho sobre eles mas ao longo de todo o curso vocês vão falar de dados vão falar de banco
de dados vocês vão se acostumando um pouco com esse material com esses conceitos com essas estruturas e botando a mão na massa em alguns momentos entendendo o que cada uma dessas ferramentas funciona então de maneira geral né arquitetura de lado moderna que que a gente fala a gente vai falar de Doutor House da tamarks e data Alex Doutor House agrega dado de diferente fonte dados relacionais então banco de dados relacionais de uma única de uma empresa e um único repositório centralizado Isso serve para quê Tipo armazenamento de dados de vários lugares pode ser uma Cloud
de uma maneira mais estruturada e após isso após a extração os dados fluem para uma pipeline de dados passando por dito essas transformações para atender um modelo de dados pré-definidos uma vez carregados no Doutor House os dados são encarregados de apoiar diferentes aplicativos de inteligência de negócio e a essência de dados então Lembra quando eu falei lá tipo nas palavras de segurança compartilhamento tomada de decisão voltar lá nelas orientado para resultados inteligência automação então que quer uma pipeline por exemplo de dados é uma automação para aqueles gerem uma informação concisa apoiar diferentes aplicativos de inteligência
de negócio é orientado ao resultado Então deixei algumas palavras grifadas aqui na definição de cada um deles que é para vocês entenderem que isso está diretamente ligado aos princípios da arquitetura de dados e também aos As definições o valor dos dados tomada de decisão normas e padrões requisitos organização de processo de informações então isso está diretamente ligado nessas definições aqui modelos de dados para definidos normas e padrões diferentes fonte dados requisitos então a gente traz um pouquinho de entendimento do que que é cada um E como que isso vai ser utilizado data Marte é um
é uma versão centrada de um alter House contém um subconjunto menor de Dados importantes então a gente tá pegando uma informação mais específica para tratar ela de forma mais específica Então se o conjunto de Dados importantes necessários para uma única equipe ou grupo específico de usuários dentro de uma organização então acesso específico de usuário específico a segurança trabalhando aqui por conter um subconjunto menor de dados especificidade os dados o data Martes permitem que um departamento uma linha de negócio de descubram tem os sites especializados mais rapidamente em comparação conjunto amplo de dados de uma datahys
então não adianta eu ter que processar um conjunto gigantesco de dados para tomar uma decisão Então eu preciso ter um conjunto menor de dados para que as decisões específicas de um determinado setor de uma determinada área determinada aplicação seja processado mais rápido Então são definições mais modernas que a gente entende e precisa utilizar nos dias de hoje e por último data lei tipo vem os lagos de dados enquanto os datas armazenam dados processadas quando a tela aí que as perdas não processados então geralmente petabytes então quando a gente começa a falar de Inteligência Artificial treinamento
de máquina machine learning e tudo mais a gente fala de data lei que você joga informações num grande repositório tipo muitos dados para serem processados e treinar Inteligência Artificial Isso é uma das conceitos básicos de interesse artificial de Treinamento Então o datalei que pode armazenar dados estruturados e não estruturados O que diferencia de outros repositórios de dados então tipo dados estruturados não estruturados lembra tipo preciso lá de flexibilidade nos princípios então aqui a gente está trabalhando flexibilidade eu trago justamente isso depois ó essa flexibilidade nos requisitos de armazenamento é particularmente útil para o cientista de
dados Engenheiros de dados e desenvolvedores permitir que acesse os dados para exercícios descoberto de dados e projetos de aprendizados de máquina então a gente está falando aqui de Inteligência Artificial também Mas isso não se aplica só interesse artificial isso se aplica em qualquer desenvolvimento de software que a gente pode transformar e jogar usar qualquer espaço de armazenamento nesse sentido e a gente começou a falar um pouquinho já de Cláudio esses esses conceitos vão para Cláudia então dentro dessa imagem que tem o link da WS a gente tá vendo como isso pode ser utilizado em claro
então data escaláveis performance custo governança centralizada de dados a gente tá trabalhando aqui diversas informações já de Cláudio então falamos abordamos todos esses assuntos então uma definição do que são os as arquiteturas de dados os tipos e modelos de arquitetura de dados e a sua estrutura sempre de macro para micro os princípios arquiteturados como segurança orientado resultado flexibilidade inteligência então entendam que essas palavras vão sempre refletir O que é trabalhar um dado Então sempre que tiverem em desenvolvimento trabalhando diversas informações e se dado vai gerar muita agência preciso armazenar essa informação para gerar algum resultado
futuro então durante o desenvolvimento de um software grande desenvolvimento de um sistema de uma aplicação é sempre importante ter esse entendimento do que é aquele dado por que que eu estou fazendo isso para que eu estou fazendo isso isso aqui vai ser utilizado em algum momento de alguma forma é um dado que vai ser armazenada precisa ser armazenado para que se Gere uma inteligência quem que pode ter acesso a essa informação que estou armazenando nesse momento Existe alguma hierarquia de acesso para essas informações estão tudo isso tá dentro da parte de arquitetura de dados como
definição por hoje era só como eu falei era um pouquinho mais conceitual essa aula também na próxima aula a gente começa a entrar um pouquinho mais Em lógica e aritmética então a gente começa a entrar um pouco mais na prática Vamos botar a cabeça para funcionar falando de lógica de programação raciocínio lógico e isso depois vai entrar mais para frente para vocês utilizando as linguagens de programação em si até a próxima
