[Música] cristiana vai falar sobre desde as raias e vá lá que este ano a gente boa porque esse ano é só boa tarde obrigado pela presença de todos aí começar essa palestra é um assunto um pouco hype aí desse momento atual é falar de dados big data sai assim de uma forma geral é muito complicado falar sobre o assunto em apenas 30 minutos o que eu fiz não é geralmente em eventos pelo brasil as pessoas perguntam muito como começar nesse mundo como o que começar a estudar como começar a estudar o que começar a fazer
então tive um foco nessa palestra muito mais introdutório tá até porque como pegar qualquer tópico em relação à data site de uma forma geral eles são bastante denso então eu vou focar nossa parte introdução aí depois alguém tiver dúvida alguma coisa depois a gente pode evoluir posso até dar uma ajuda para quem tá querendo começar nesse mundo fascinante é falar um pouquinho de mim eu sou é o trabalho em uma empresa daqui de porto alegre chamada própria das ações é eu cuido da área de realmente da saia da empresa então a gente é parceiro da
rota works que é uma das maiores players da dup no mundo ea gente é parceiro de um bebê que no brasil que também é um dos grandes players de uma tecnologia de persistência do banco na mongodb que é um dos novo sql os mais utilizados atualmente participa de algumas comunidades também de software livre python e já foi já participou bastante do projeto gnu um bom tempo atrás né a palestra do google é proferir bastante palestras eu dou aula também desses assuntos tá falando aí rapidamente ea própria como eu falei uma empresa daqui de porto alegre
é parceiro da mãe do bebê da rota works aqui no brasil aliada ao site clicrbs conheceu ou até mesmo se interessar pela área deve estar sempre recrutando lá o mar fica a dica então vamos ao assunto que interessa o que que é datações informação hoje poder informação até brinca ele que dados é um novo ouro de 100 dos tempos atuais quem tem informação que tem tudo consegue fazer bastante coisa informação cruzar dados descobrir em sites e só que a informação aumenta aumenta muito de forma exponencial então cada vez mais a gente está gerando dados a
gente está gerando informação e essa informação não precisa ser tratada compreendida e também gerar coisas úteis para essa informação que acaba são do business aí muita empresa então e comerce sabendo tratar bem a sua informação e consegue vender mais e consegue ofertar produtos relevantes aquilo que vocês estão procurando e consegue acabar sendo um ganha-ganha dos dois lados a gente evolui como cliente e ele consegue ter produtos cada vez com cada vez mais qualidade a empresa também aumentar sua receita só que tem um lado prático também datações a gente pensar em hospitais por exemplo temos possível
em hospitais ou para quem trabalha na área da saúde isso aqui é fundamental então se a gente pegar casos extremos como o genoma humano fazer análise de tudo isso aqui é um turbilhão de informações e antigamente demorava muito tempo para cruzar a correlacionar as informações e hoje a gente consegue fazer estalando os dedos assim consegue cruzar um turbilhão de informações e obter insights e até mesmo informações importantes uma forma muito rápida tá então isso tudo está dentro do guarda-chuva de adaptações e aí criou se um novo cargo está sempre surgindo novas posições novas formas de
trabalho que é o cientista de dados que os cientistas de dados é é alguém que conhece mais estatística nec com esta chega com que um cientista da computação e mais ciência da computação que estático na verdade não é um mero jiale de 2002 profissões um estatístico que trabalha com dados e fazer projeções de organizar a informação de uma forma geral e quem trabalha na área da computação também que sabe os meios de tornar tudo aquilo realidade não diria que é um nerd que essa área tem muito a ver com matemática também tem a ver com
a série que eu vou mostrar um pouco mais pra frente e aí começou a sair várias matérias dizendo que data sites é o novo cargo na nova profissão de fé é a profissão do futuro na verdade que é o cargo na profissão mas sexy hoje segundo algumas matérias aí porque porque é algo que realmente as empresas estão procurando está tendo uma demanda muito grande no mercado e é algo que está praticamente começando agora se bem que o conceito é bem antigo tá mas eu diria que está começando a ficar começou a ficar popular não faz
muito tempo que o profissional que quer se aventurar nisso ele tem que ser bastante multidisciplinar gostar de estudar gostar de conhecer coisas novas e principalmente focar em computação matemática estatística tá entender também do business negócio que não adianta nada você sabe cruzar as informações saber juntar tudo aquilo e não saber o que fazer com aquilo aí eu peguei um data 7 ele diante de 20 internas de dados cruzeiros equipes gráfico bonitinho tá aí então se não souber o seu objetivo ou pra que você vai fazer aquilo não adianta nada então também além de conhecer bem
tecnicamente conhecer computação nessa programação conhecer matemática estatística tem que saber também um pouco do negócio então seja um profissional que tem que gostar de estudar não tem jeito tem que ser curioso tem que ser função tem que realmente mexer e conversar tem que ter um jogo de cintura de falar com áreas diferentes numa empresa de entender para começar a captar insight pra saber onde buscar aquela informação onde fazer correlações apresentar algo que faça sentido também tem que saber visualizavam para gráficos relevante saber conduzir um gráfico de pizza um gráfico de barra gráfico linear então tem
que a gente tem que saber é a cada caso cada pergunta a ser respondida ela pode ser representada por um grau na maioria dos casos só que gráfico que vou apresentar isso a tem muita correlação aqui como é que eu vou juntar o ovo mais gráficos então isso também é importante saber persistência de dados com uma vez o é uma vez que os dados foram tratados já foram processados você está com uma forma informação coloca é completamente valiosa não dá pra toda hora ficar repetindo o processo então tem que guardar aquilo já é tratado já
persiste é já organizado e persiste em algum lugar onde você consegue extrair rapidamente depois e isso entra bancos de dados não só sql mas bancos não relacionais também que às vezes a gente não tem como trabalhar com o esquema no esquema disso aqui é muito variado prazer trabalhar com relacionar um pouco complicado os bancos vão relacionar isso tem uma infinidade de paradigmas é paradigmas de documento de coluna de chave valor e até grafos que já entram também conceitos matemáticos aí no meio esse gráfico que dividir um pouco confuso mas ele resume um pouco que um
cientista de dados 1 da paz a gente precisa saber da estatística visualizações comunicação data maine data-base um pouco de tudo ou seja exige bastante estudo que o pior não é isso perto disso aqui muda com uma frequência muito grande então surgem técnicas novas surgem tecnologias novas o google recentemente liberou ontem os flow na camada com uma biblioteca ótima pra fazer de plano nem fazer machine learning exceto né que é uma tecnologia fantástica liberou é livre hoje então pra gente é algo caiu no mercado que é muito relevante tem que absorver aquilo rapidamente porque existem aplicações
que a gente está batendo a cabeça com alguma coisa liberou essa livre nova aplica resolve um problema que já está tomando tempo é já recorrente o conhecimento necessário com o conhecimento de matemática ele é importante eu vou falar isso mais para frente não tem dificuldade com a estatística não saber o básico de estatística de preferência se aprofundar mais em estatística mesmo que isso é uma coisa que pega bastante a gente entra em conceitos estatísticos bem profundos aqui saber uma mais linguagem de programação ações se tem ali as três mais relevantes para adaptações mas a gente
pode ser feito em qualquer linguagem de programação python r júlia são as três linguagens que são mais utilizadas para fazer data sair só dá pra fazer em java em escala em php qualquer outra linguagem eu digo essas que é são linguagens que ela tenha uma pronta mais próximo de matemática e estatística e é muito mais fácil a gente já tem livros muitos livros prontas que facilita muito o trabalho é saber persistência sql no sql saber quando usar isso que ele quando usá no sql conhecer também o processamento paralelo ao entender porque a gente pega um
data 7 10 terra como é que vai rodar isso notebook não dava muita gente vai ficar a mesma pressão do olimpo então a gente tem que pegar esse total sete distribuir um câncer seja adultos cejas parque seja mesmos qualquer outra coisa pra que esse processamento seja absolutamente rápido e que é mais que eu coloquei ali a gente tem que entender também como a string por essa informação sendo processado em tempo real e tem isso tem cá fica tem nem fight em tecnologias que fazem stream quando que usa aquilo tem gente que não sabe quando o
saque o então tem que entender a informação depois de tratada e usar a ferramenta certa para te dar três sites de uma forma rápida em business que tem formação em tempo real como por exemplo o sistema antifraude mas em uma empresa de cartão tá passando transações ali em tempo real ela faz uma correlação de n fatores para identificar se aquela transação é válida ou não então ela toma como base o comportamento pessoal imagina se isso demora cinco minutos para ser processado catalá almoçando vai passar o cartão dele para pagar a comida e tem que esperar
cinco minutos para processar tudo aquilo que ele tem que ser capaz ou tem que ver informação em milésimos de segundo então também a velocidade de informação que a gente tem que ter tá e também saber a partir de infra também que a gente tem que estar lá tem que subir cluster desligar a máquina sugue máquina etc e depois no final visualizar a gente pode usar ferramentas prontas como tabulou suporte fire entre o ou criar do zero mesmo usando usando conceitos próprios em relação à matemática que é mais relevante a gente sabe na matemática álgebra linear
é bom mas eu não digo que a gente vai ter como fazer uma decomposição ali de matrizes ou coisas do tipo de entender o que é a matriz vetores etc vai tornar o seu trabalho de pegar uma informação fat a organizar e juntar uma forma mais simples estou falando aqui tem que dominar o assunto saber como e quando utilizar o assunto tomou conhecimento é bastante básico quando a gente pega livros da literatura the machine land da passagem seja uma forma geral a gente vai se preparar em forma mas aquela fórmula está relacionada à estatística a
gente vai se deparar muito com fórmulas nossa gente bateu o olho entender para quem quiser ver aquilo que sabem interpretar aquela fórmula vai fazer o seu trabalho é muito mais rápido então são coisas são insights que são muito bons ea gente ter probabilidade estatística tem gente que acha que a matemática estatística é a mesma coisa não manhã sendo que inclusive tem essas faculdades até tem faculdade só de estatísticas só de matemática uma acaba sempre absorver um pouco da outra mas elas são mais focadas em objetivos específicos também da gente conheceu básico média mediana moda desvio-padrão
etc é interessante saber e também evoluir a gente pegar é pegar parte modelagem estatística mesmo saber fazer que lhes gráficos gauci anos tio de saber quando aplicar essas técnicas ou não vai nos ajudar a trabalhar bem com a informação a fazer a coisa certa e dá um resultado fiel a quem também não adianta nada de cruzar monte dado o resultado não é confiável e tem que usar técnicas estatísticas ajuda muito que a gente trabalhar com a mostra com a população universo etc ela te dá um resultado que faz sentido a hipótese também tratar fazer teste
de hipóteses gráficos também volta novamente a teorema de baias que é bastante utilizado que essa fórmula zinha do lado saber como e quando utilizar linguagem de programação e você tem três linguagens aqui bem relevantes python r e julia alguém que já ouviu falar de julho falar de julho é normal porque uma linguagem bastante nova quase ninguém conhece payton quem nunca ouviu falar de python e r quem nunca ouviu falar r também as impacto de fato é mais conhecido de todos nem imaginava que daria essa essa resposta mesmo é só estatística pai todo mundo já ouviu
falar direta e indiretamente uma linguagem mais antiga é uma linguagem que foi sempre muito próximo e estatística então quem é estatístico usa bastante rr salas matlab e outras ferramentas mas o r bastante usado e julia é uma linguagem absolutamente nova tem poucos anos aí de mercado só que a fantástica essa linguagem está sendo a grama queridinha dos cientistas de dados vou evoluir um pouquinho nela mais pra frente então python o python e linguagem mais versátil porque o que se pode fazer aplicações de desktop pode fazer páginas sites e aplicações web usando o python pode utilizar
para tratar certos para fazer machine learning para fazer visualização para fazer uma série de coisas diria que a linguagem mais versátil hoje para trabalhar com adaptações nas linhas que se tem ali pandas num país à equipe titular martelotte lhe book e júpiter julgo que no caso um conceito de notebook é o básico do básico do básico para trabalhar com datas site usando o python então a gente tem conheçam um pouco dessas bibliotecas é o aprendizado de pai tem uma curva de aprendizado é muito baixo então quem programa em qualquer linguagem que emigra python consegue fazer
isso muito foi muito facilmente uma linguagem que te ajuda muito a entender que ela é o código de limpo ele é bastante tem uma documentação excelente uma comunidade excelente também a linguagem é uma linguagem muito usada por estatísticos é uma linguagem que ela se destacou na questão de datas haiti porque ela trabalha com data frame de uma forma padrão de uma forma nativa então pega por exemplo uns svr de ponta ele joga para uma variável diz candidata frame que já divide aquilo tudo certinho a gente pode pegar uma coluna inteirinhos a uma função já está
na ativa já está pronta me dá média mediana ou o desvio padrão dessa coluna então com três linhas de códigos e faz tudo isso então para quem mexe com números com estatística matemática é fantástica e aí por último vem a linguagem júlia que eu tenho aqui que ela é bem nova pouca gente conhece de fato mas eu diria até para quem gosta da área dei uma pesquisada sobre a linguagem que eles fizeram eles pegaram o melhor de python melhor dr o melhor derrube o melhor diz de matlab de sá são aplicações o framework para trabalhar
com a temática compilaram tudo numa linguagem só três fizeram algo que é hoje tiné gee que trabalha com com um som bytecode ele gera que torna a linguagem absolutamente rápida porque essa gente a gente sabe que a linguagem interpretado é um pouco lenta em todo o verde do interpretador alocação de memória nem sempre a melhor possível a gente sabe que pra isso se a linguagem mais adequada que consegue otimizar o bicho de cada instrução e júlia a gente chega numa performance semelhante anos e com a facilidade uma linguagem interpretada então esse é o grande diferencial
dessa linguagem que mexer com ela vai perceber mas ok go python é isso aqui é igual o lobby isso aqui é igual r sim pegar o melhor de cada linguagem compilar toda uma outra linguagem então isso esse foi o principal motivação de ter criado uma nova linguagem de programação para que criar um mas já tem tantas então tinha uma necessidade e tem aplicações de datas a essa que é fantástico para rodar em julho principalmente machine learning somente trabalhar com data 7 também é muito tranqüilo trabalhar por júlia recomendo que você se dê uma olhada melhor
sobre elas vão gostar e qual aprender aí vem aquela dúvida o ideal é sempre conhecer um pouco das três que isso a gente pegar qualquer paper ou qualquer literatura the machine learning hoje na science ele vai estar focado numa dessas linguagens tem muita coisa em escala também imagina uma linguagem paradigma um pouco diferente de ser funcional né já um pouco diferente dessas só que essas três linguagens ela te dá base pra maioria da literatura que vocês encontraram disponíveis cadu então sabendo dessas linguagens vão estar tendo vão assimilar melhor o que tem que fazer os exemplos
a maioria dos livros que a gente vê ou só em python em r então por isso que estou falando ah tem que escolher uma para prender começa com o python deixa r julho assim pra a curiosidade ou para realmente estudar pra quem gosta eu confesso que eu tô fazendo muita coisa e julia stiles ou bacharelado em matemática nem comecei a gostar tanto do assunto não é que eu é que acabei entrando num fazendo uma outra faculdade de matemática até para entender melhor o conceito não é pra gente conseguir aprendizes até conseguir aplicar aquilo de uma
forma mais real e aí está fazendo pesquisa uma pesquisa acadêmica agora e a gente está definindo se usa r ou julia para fazer aquilo então julho é uma novidade eu analisei os requisitos dessa pesquisa se aplica em tudo então provavelmente está publicando isso em julho até pra aprender que é pra mim também uma linguagem relativamente nova embora já esteja mexendo como lendo sobre julho 11 cerca de dois anos então mas eu nunca fiz nada prático com ela o meu de foi hoje o padrão que usa python pra fazer quase tudo uso muita coisa em r
também presas um cliente pede o cliente já tá com uma rotina em r funcionando falar quero processar isso aqui pra mim ilegal que r python se consegue rodar jogos nesse parque usando r pai quando você tem um software uma aplicação já enviou em python você consegue fazer um forte faz dessa aplicação jogar no spark para fazer um processamento paralelo de alguma informação spark r python ou r python escala a escala linguagem nativa qual é construído mas a performance dele em python e é praticamente a mesma escala que a linguagem nativa a gente já no adulto
e também jogar em algo mais avançado também python r também facilita bastante esse trabalho juliana ainda está começando um pouco nisso mas ela promete ser bem eficiente quando falou de processamento paralelo eu entrei naquele mérito dia a gente pegar um data 7 gigante da espera 20 terá 50 terra o tamanho que vocês imaginarem que a gente não tem dificuldade para abrir candidata 7 trabalhar com ele obviamente eu jogar um csv de um terno que no meu notebook ele vai explodir não vai dar conta de processar tem que jogar aquilo num cluster de errado pe usando
o método se usando o próprio hdfs a espalhar a informação no que à parte de persistência dele ou usar o spark esses parque pode ou não tá dentro de um cano serrado pe o spark roda ou junto com o hadopi disparando o processo nuclear que é um orquestrador de jovens dentro do gadup eu posso rodar o sport sozinho também sem se misturar a dup mais usando métodos ou usando algum outro gerenciador para distribuir o processo várias máquinas o que ele faz imagine que você tem data 7 de 30 terra para trabalhar e tem três servidores
uns provavelmente a maior em três servidores ele vai ter essas 30 terra vai dividir em três e isso vai colocar um pedaço para cada servidor ou dividir um chances menores nem depende de como está configurado processo tudo ao mesmo tempo junto de entrega pronto óbvio que tem que ser maior na prevenção um volume maior a dupla excelente pra isso também mas é um exige um aprendizado que é bem denso de ser feito ou seja a tupi tem uma sopa de letrinhas ali gigantes então vai trabalhar com a dupla em saber a dfs e armas e
reduzi a epig uma série de coisas alite obriga a reconhecer isso então usar o básico da dfs que é só persistência do rabo na verdade um adulto e isso é praticamente hdfs mp reduz o que vem de fora pig raio e zé trovão aplicações que dependem desse ecossistema é para trabalhar geralmente usa o iap para gerenciar os processos é e aí tem o spark também que faz algo semelhante a um metro e dulce só que ele prioriza a memória e e eles se distribuem entre nós usando menos uma outra solução outra a arquitetura de cluster
aí ea persistência de dados é algo bastante importante também não saber se vai gravar num relacional saber se vai gravar informação num num não relacional né ea gente tem que entender que depois que você tratou da informação a agregou valor à informação então você vai chegar para o seu cliente pro senhor da empresa etc ela vai te dar os relatórios para ele tudo tratado bonitinho ele vai te pedir mais coisas provavelmente não tem que gravar com a guarda tratada quando tem que ficar executando o processo é toda hora que mesmo tendo um clã se ele
vai tomar um tempo para ser desenvolvido visualização eu gosto de trabalhar muito com conceito de notebook pois eu vou mostrar pra vocês aqui eu mostro pra quem nunca viu ele é bem interessante facilita muito desenvolvimento só que existem ferramentas de mercado infelizmente não tem nenhuma gratuita o livre é software livre que seja tão eficiente como pablo spotify em que ele que viu só que o conceito de notebook pra gente que está desenvolvendo novas a gente se ajuda bastante eu consigo fazer coisas desse tipo aqui ó isso aqui é um notebook o júpiter de um pai
tem um canal fala de um jeito é júpiter uma sigla é um acrônimo j huven de júlia e y obteve python e ding erlang rr então ele agrega quer de qualquer uma dessas linguagens a gente consegue ter uma hora que eu criei aqui por exemplo 1 mil eu posso escolher só quero fazer um código em julho em python rr então pega r que por exemplo ele vai abrir uma tela olha só está rodando no meu navegadores o chrome só que dentro da minha máquina tem um servidor zinho rodando aonde ele roda de processo aquilo quer
no roda aquilo internamente não fizer isso aqui o clima variável aqui há valores coloquei os valores ali tudo junto olha só aí já agregou aí eu quero saber por exemplo pegar média isso aqui tudo na hora com um contra o inter ele executa aquele código ali ele já deu valor em baixo que a média de si e se a rede números que estou fazendo é legal quero pilotar um gráfico com isso aqui olha como é fácil eu vou criar mais uma célula aqui eu vou usar a função prot do próprio r mesmo valores o gráfico
aqui embaixo de pontinhos após formatar esse gráfico do jeito que achar melhor olha só a gente com três linhas mantém um gráfico usando r vocês vêem a linguagem esse conceito de notebook é bom porque isso aqui você pode salvar depois passar por um outro desenvolvedor uma outra pessoa ou comentar isso não lhe tirando alguma coisa desenvolvedor vai pegar ele vai ver isso aqui inclusive cotado para eles vocês quiserem ou não ou você pode ir limpar o notebook e começar tudo do zero então vim aqui em céu ao outro pude crer começou a ter um código
que eu posso documentar esse código como por exemplo posso usar linguagem de marcação aqui escrever qualquer coisa que no meio isso aqui serve com uma documentação do código escrevi um bloco de código executo veja o resultado e o documento esse código para quem está trabalhando com data 7 se eu pegar uns sv por exemplo quiser abrir aqui já parceiro ele automaticamente já vejo as colunas já conseguiu plantar gráfico sem qualquer tipo de gráfico e eu coloquei 111 simplesinho que é de pontos que o deixou o dele após colocar parâmetros aqui quem que ele ele volta
a mesma coisa com julia deixei pronto aqui um gráfico de julho só que eu peguei aqui é um pouco mais complexo como o código maior eu peguei um exemplo pronto deixei pronto aqui é simpático é da linguagem julho estou trabalhando com dois módulos que alguém fly e vai resgatar sete conjuntos das setes prontos geralmente esse exemplo aqui a gente encontra no site deles executei o primeiro bloco eu sou um montinho que acho que ele não subiu drive vai demorar um pouquinho tá aqui apareceu data 7 não consigo enxergar ali na tela quero colocar um gráfico
com ele agora deixa honrado julho aqui em específico desse notebook ele acaba é talvez seja alguma configuração que eu não fiz muito bem feito e está demorando um pouquinho mas foi aqui onde roda o código na mão e é quase instantâneo a gente sabe que está rodando porque ficou um asterisco nac no canto que a pouco ele vai mostrar o gráfico aqui o primeiro vai demorar porque acabei de subir ele também então ele mostra olha só que legal já pilotou um gráfico eu consigo vim aqui o atrasou neste gráfico se quiser ou não consegue fazer
uma série de coisas um gráfico mais bonitinho rodar todos aqui para facilitar aqui geográfico um pouquinho melhor também posso dar zoom enxergar então é muito fácil a gente está trabalhando com dados têm que ficar testando código toda hora isso aqui é fantástico tanto é que eu digo quem quer começar essa área aprendam isso é que vai facilitar muito o trabalho e vai facilitar o aprendizado também porque aqui vocês pegam uma instrução uma função testa que já vê o resultado tem que ficar rodando rodando o idf pela idéia processar que não dá um entre já funciona
a gente tem um outro gráfico aqui embaixo dá pra raspada para salvar isso em pdf dá pra salvar isso em png qualquer formato que quiser é bem legal então isso é o conceito de notebook dentro do rabo e tem um chamado zeppelin ele é muito semelhante aquilo mas só que o sepe modo instrução dentro do gadup dá pra gente fazer em python em em r em escala qualquer outra linguagem também curador que suporta e também da à verificação ocorrer que o tempo é curto machine learning é algo bastante importante também para a gente saber é
machine learning é um campo bastante amplo série de algoritmos uma série de de funções na que executa classificação clusterização quem mim uma série de coisas que a gente é muita gente tem dificuldade de saber o que usar em cada sentido isso é normal essa dificuldade por isso a gente testa bastante coisa e testá usando o conceito de notebook é é muito bom também porque a gente vai vendo o resultado é adaptar a troca função executa de novo já vê o resultado ali é bem legal isso é apenas o começo gente o assunto é amplo como
vocês viram não dá para abordar tudo num tempo de 30 minutos então peguei o básico mostrei um exemplo bobô linha bastante para quem estiver começando até eu sugiro até que faça esses testes no estádio o notebook quem usa o windows baixa uma distribuição python chamado anaconda que já têm todas as ligas ali prontas o windows ou mac dá pra usar isso em linux e geralmente já têm todas as línguas pontas na distribuição vocês estão utilizando só que também dá pra baixar o anaconda para o linux então facilita bastante o desenvolvimento e eu acho que é
isso como tempo a explorando vou deixar meus contatos um público bastante coisa sobre isso no twitter a roupa da anp o meu twitter ao meu blogue pessoal e nas redes sociais cristiano anderson e deixando a dica ali quem gosta do assunto a gente na prova sempre contratando está a crescer mas que está crescendo muito então a gente quer agregar pessoas boas lá quem tiver interesse estamos serão bem vindos na empresa obrigado gente [Aplausos] [Música]
