[Música] nós podemos também explorar os dados pelo powercure Então nem sempre vai ser fácil por exemplo você acessar aqui o exibição de dados e olhar o valor nulo por acaso o valor nulo está logo no começo nem sempre isso vai acontecer assim como a contagem também às vezes não mostra para você Quais são os ardis duplicados para que você possa investigar melhor uma alternativa você usar o Power então clica lá em cima e transformar dados vem aqui na comunidade por exemplo clica aqui na setinha pronto veja que eu já tenho aqui a opção nulo é
uma categoria desmarca tudo marca apenas o nulo clique em Ok E aí estão os valores nulos nas idades veja que o cliente de 3 15 20 ou 23 não tiveram a idade cadastrada ou seja de uma forma rápida e fácil de você identificar eventuais valores nulos é mais uma alternativa não é se por acaso não quiser mais essa opção só clicar aqui no xizinho e cancelar etapa aplicada ele volta para o anterior vamos fazer a mesma coisa com peso então clica aqui na setinha desmarca tudo marca apenas um nulo clique em ok ele também temos
aqui clientes com o peso simplesmente sem informação sem o preenchimento do dado não quer mais visualizar clica aqui no x1 para verificar duplicatas também temos uma forma interessante aqui no powerbiai vem aqui no ID cliente aqui onde está um dois três Clica com o botão direito atenção seleciona a coluna de cliente vem aqui onde está um dois três que é o tipo do dado botão direito agrupar por eu vou fazer o agrupamento da coluna de cliente isso vai me mostrar do picapatas se tiver clica então em agrupar ele vai perguntar qual é o modo deixa
o básico de cliente que a coluna e Contagem tem que em ok veja que ele mostra número 1 indicando que só tem um cliente de um somente um cliente já de dois Ah interessante clica aqui agora na setinha veja que eu tenho vários registros com apenas uma linha alguns registros com duas linhas e outros com três linhas para o ar de cliente eu vou desmarcar tudo deixar apenas número 2 clique em Ok e lá está veja que os clientes de 4655 estão na verdade duplicados tem linha duplicada nesses dois ardis se quiser visualizar com três
também nós temos desmarco dois traz o três fiquem Ok E aí está para você Então são formas rápidas e simples de você identificar valores ausentes e eventuais duplicatas no seu conjunto de dados o agrupar por Só por curiosidade é o grupo baile da linguagem SQL teremos um capítulo com introdução linguagem SQL aqui mesmo neste curso a linguagem SQL que é uma das Ferramentas mais utilizadas em análise ciência de dados para então cancelar isso aqui não quero mais filtrar não quero mais agrupar veja como eu estou usando o powerby como uma ferramenta de exploração de dados
o Power Bear não é só para você ficar criando gráficos não ele pode ser usado aqui para uma exploração Inicial pelo menos de forma geral nos dados né o Power tem limitação no volume de dados limitação das linhas que serão processados etc mas para um trabalho Inicial O power pode ser usado Lembrando que o Power gratuito não é se depois for necessário um trabalho um pouco mais apurado aí vai ter que sair do Power Bear e vai trabalhar com linguagem R ou linguagem impactam por exemplo vamos checar agora os outliners Ok vamos dar uma olhada
por exemplo na comunidade então clica aqui na setinha veja que a idade ela tem o valor nulo nós já temos identificado Não é vamos resolver daqui a pouco a menoridade é 12 isso aqui é ordenado automaticamente pelo powerbear a menor idade é 12 a maior é 68 parece ter algum problema aqui alguma anomalia uma empresa pode ter clientes de 12 a 68 anos sim pode não vejo nenhuma anomalia dependendo da empresa etc você pode argumentar não pera aí truta não pode ter cliente 12 anos sem dependendo da empresa então vai lá verifique Qual é o
negócio da empresa e interpreta de novo mas muitas empresas por exemplo não tem problema com clientes entre 12 68 anos plano de saúde por exemplo então aqui não parece ter nenhum problema cancela vem para o peso vejo também tem o valor nulo o menor peso foi 27 kg dependendo da idade é razoável né e o maior peso foi 112 parece ter algum problema também não dependendo da idade né as pessoas podem pesar 27 30 40 50 60 até 112 kg nenhum problema também cancela veja que é um trabalho de interpretação hein Você trabalhava ali osíssimo
e a gente aborda isso com detalhes aqui nos cursos da dsa clica agora na altura altura está em centímetros a menor foi 146 cm ou seja o metro e 46 não é tem pessoas que medem 1,46 sim tem várias minha mãe por exemplo mede 1,50 então normal nenhum problema vamos dar uma olhada veja que eu tenho 147 148 150 excelente Excelente excelente opa pera aí olha lá no finalzinho algumas pessoas têm altura de dois metros e 70 Isso parece estranho né Não que seja impossível mais dois metros e 70 eu acho que nem na NBA
não é nem na Liga Nacional de basquete nos Estados Unidos ou seja me parece algo fora do padrão veja que nós temos alturas em centímetros ou então em metros né nesse caso seria dois 78 2,70 que fogem muito do padrão natural que você observa no dia a dia isso provavelmente indica um valor extremo um valor outlawier pois bem há muita discussão sobre isso eu não vou entrar em polêmica que eu não perco tempo com polêmica não vou entrar em discussão se por acaso é realmente problema ou não etc o fato é matemáticamente o Outlander vai
impactar em uma série de operações estatísticas por exemplo no cálculo da Média que que é a média você soma tudo e divide pelo número de elementos não é isso se eu tenho um valor extremo como esse 278 por exemplo isso foge muito da média vai afetar a média daquela amostra isso vai impactar uma série de cálculos estatísticos que consequentemente vão impactar no meu trabalho de análise Ah mas pode ter uma pessoa com dois metros e 70 bom para ser sincera não sei Talvez sim mas considerando a minha amostra de dados essa altura é razoável Será
que isso não é uma anomalia por exemplo de leitura dos dados Será que alguém queria digitar 170 de altura né o metro 70 e digitou 270 só que não foi um erro de entrada dos dados lá na origem seja como for eu vou ter que tomar decisões eu posso manter os valores extremos sabemos vai impactar em algumas operações ou eu posso remover os valores extremos sabendo que eu vou por vai perder dados ou ainda eu posso modificar esses valores extremos aí eu tenho diversas possibilidades vai depender do conjunto de dados do cenário das análise que
nós fazemos com relação aos dados normalmente para isso aqui Nós criamos uma série de estatísticas tentamos analisar o cenário geral e aí tomamos a decisão no final das contas você analista vai ter que tomar decisões Aliás o tempo inteiro né A questão que eu sempre reforço aqui com os alunos é tome sua decisão e argumente justifique não tome a decisão porque você lê no livro porque você viu no curso ou porque você viu no debate em rede social não aplique o conhecimento tome a sua decisão e justifique tome essa decisão por conta disso Essa foi
a minha análise isso aqui foi a solução que eu considero ideal e justifique seu resultado siga adiante com processo de análise e avalia o impacto da sua decisão e a minha decisão não foi ideal volte mude a decisão por exemplo Imagine que a minha decisão seja por exemplo substituir esses valores outlanders pela mediana da altura Ok essa chamada interpolação Então vou calcular mediana da variável vou retirar os valores extremos vão substituí-los pela mediana imagina que eu tenho tomado essa decisão eu justifico porque eu fiz isso tem análise estatística relacionada sigo adiante lá na frente foi
fazer análise Opa parece que está apresentando um problema tudo bem também a decisão não foi ideal eu não sei ainda essa decisão ideal não então ele só saiba lá na frente volta refaz a decisão a justa que for necessário e segue em frente ciência de dados qual é a primeira palavra ciência envolve experimentação muitas vezes nós não temos a resposta exata temos que experimentar avaliar observar o resultado voltar e fazer as modificações como necessário você não achou que analisar dados era só ficar criando gráfico né Eu espero que não no próximo vídeo continuamos Muito obrigado
e até lá
