E aí [Música] o Olá pessoal sejam muito bem vindos essa vídeo-aula nessa vídeo aula nós vamos implementar do início ao fim algoritmo para fazer a previsão dos Sobreviventes do acidente do Titanic e depois nós vamos submeter esses dados lá no quebra pessoal estou aqui no meu pai ter estou utilizando o pai com 3. 8 nós vamos agora iniciar a implementação do algoritmo do início ao fim para fazer a predição do sobrevivência do acidente do Titanic para isso pessoal primeira coisa que eu vou fazer vai ser escolher a pasta de trabalho corrida para o trabalho agora vou salvar no espírito e era coisa que eu vou fazer aqui pessoal vai ser dividir a nossa área de código a gente vai criar aqui como se fosse células a gente poder fazer isso aqui no Spider eu vou colocar o jogo da velha duas vezes o símbolo de porcentagem com isso ele divide para gente o nosso a nossa área decodificação e eu vou fazer um zoom aqui para facilitar a visualização de vocês vou colocar aqui agora nessa área a parte onde eu ruim importar as bibliotecas as primeiras bibliotecas que vão importar aqui é seu bandas bandas importar também o num pai e por enquanto a gente vai utilizar essas duas bibliotecas e vou colocar aqui um comentário o último resultado que ele tinha que teve lá no quero Oi de 76 o centro de score natural ser Global a ideia aqui agora é a gente conseguir gerar aquele mesmo algoritmo logicamente algoritmo que eu posso fazer simplesmente Se for mulher não morreu se for homem morreu então eu vou fazer isso aqui agora utilizando algum algoritmo de imaginar então aqui pessoal primeira coisa que nós vamos fazer vai ser abrir o Data Set treino ideia esse Data Set eu vou colocar ele dentro de uma variável trem para isso eu vou usar o pandas read csv e aqui eu vou especificar o nome dessa lógico para especificar o nome do arquivo eu vou verificar que o meu arquivo está armazenado dentro da pasta que eu sentei aqui em cima eu posso simplesmente copiar o caminho relativo aqui ó Cola aí dentro das "simples com isso a gente vai em pó eu sou Data Set e treinamento eu já vou aproveitar e já vou importar também o Data Set feito isso Veja bem se eu fizer um chip ou control center que vai acontecer ele executa para gente somente essa célula e não executa essa aqui desde que ele não importou data certa aí agora se eu pressionar enter ele executa somente essa célula então assim dessa forma a gente pode ir organizando o nosso código incêndios veja que essa linha que representa uma célula aqui eu tenho outras céus Eu gosto muito de trabalhar dessa forma e aqui ele importou para gente então eu tenho Data Set de Treinamento datas e de Treinamento a gente tem o ID do passageiro a gente tem se ele sobreviver ou não e aí a gente tem as colunas que a gente vai poder usar aí para a gente poder fazer a pressão veja que as colunas pra gente poder fazer as posições e os que estão aqui no dado de até entanto vejo não faz muito sentido duas vezes a gente utilizar aqui o nome dele passageiro como variável preditora tá então nós vamos remover essa essa essa essa vídeo e nós vamos utilizar até mais veja que aqui eu não sei se esse passageiro sobreviveu ou não a gente precisa de fazer a petição e submetê-la não quer e é isso que nós vamos fazer agora próxima etapa aqui agora vai ser a gente fazer um pré-processamento dos dados aí eu gosto de chamada essa foto Tudo que antecede aí a parte de modelagem se ele chama de pré-processamento é interessante vocês fazerem isso tá então você poderia por exemplo fazer uma descrição estatística das pictures numéricas um PA isso aí eu vou colocar aqui é se de estatística e vou colocar trem ponto Tenta ir gerou para mim esse data freio e tem e conservações aonde existem a média dos Sobreviventes com mais 01 né então toda vez que a gente tem uma observação positiva a gente soma de vídeo pelo Total sendo que as outras são negativas então ou seja zero Então a gente tem que ter oito por cento do banco de dados é os que sobreviveram bom E assim a gente fez a média então para todos veja que a média da idade 29 e assim sucessivamente padrão uma estatística geral aqui desses dados uma coisa que você pode verificar também é o trem info aqui você vai ter algumas informações sobre as variáveis beija nós temos a quantidade de variáveis não nulas a cada uma das dicas cada uma das colunas e a gente tem também aqui o tipo de variável você é uma variável inteira ser uma variável do tipo string do objeto não no pai tela é um objeto e assistir obsessivamente a informação que a gente às vezes interessante a gente plantar verificação de valores nulos então eu posso colocar aqui ó Verificar valores nulos ou não3 poder fazer isso você pode ir para ele imprimir os dados de treino se for no E aí você soma todos esses olhos Então veja se eu executar somente essa linha que que ele me dá veja bem me dá todos se é verdadeiro ou se é falso e valendo ou não daí eu mando só mato onde eu faço isso eu coloco dentro de um print e que ele faz para gente se eu selecionar somente essa linha pessoal e uma das etapas aqui ó ele executa somente essa linha Então veja só eu tenho aqui ei Que idade tem 177 valores nulos eu tenho a cabine tem 687 valores nulos e o local de embarque em dois valores e dessa forma a gente já fica já sabendo Quais são os locais né as colunas que a gente tem e valores nulos agora a gente pode também imprimir os valores números do teste para ver se tá mais ou menos batendo o que se tiver valores nulos a gente vai ter que tratar isso aí então vamos Verificar também se tem valores novos aqui nos dados até pronto aqui nos dados de teste também a idade tem valores novos a cabine perto também tem um valor nulo aqui ó inclusive também nos dados de treino vamos verificar nos dá de treino não tem valor no meu Face mas não cidade de teste tem um valor no no pé Então a gente tem que verificar aí fazer a correção desses dados depois nós vamos ter que tratar isso se a gente for utilizar essas colunas como variáveis preditoras mostra coisa interessante a se fazer é uma pe as colunas como você pode fazer de forma passo você coloca uma coluna coloca P de obras civis é uma série com quem uma lista das colunas como você coloca tree. com luz e assim você vai gerar uma avaliar a série com as coisas Então veja só eu tenho aqui que a coluna zero do meu j7 é passageiro a coluna 1s sobreviveu ou não e assim sucessivamente A então tem um total de doze colunas sendo que um índice da última coluna é 11 isso é importante para Que bom às vezes você quer fazer uma seleção de coluna E aí você precisa saber onde qual coluna até qual coluna você quer ir então aqui você pode visualizar de forma a raça é uma maneira você maquiagem existem outras formas mas essa é uma delas agora pessoal nós vamos criar o nosso data sete horas de Treinamento uma criança tá ser treinamento lógico vai ser o próprio trem entanto nesse caso nós vamos remover duas colunas Senior Wide do passageiro e a seco e ele sobreviveu ou não você já não posso usar esses colonos então eu vou colocar trem (aqui eu vou colocar uma lista com as colunas que eu não desejo Então vou copiar aqui ó pé surgir Eyed vou colar aqui e vou criar uma outra e seria só vai ter sobreviveu Depois da nossa lista eu coloco no Whats informar para ele que eu quero fazer essa remoção das colunas seu deixar zero ele vai procurar esse linhas como não tenho linha com esses nomes só tem colunas Então agora eu vou fazer a mesma coisa para os dados de teste os dados de teste nós vamos pegar o Data Set de teste logicamente esse caso remover somente o PSG se diz que a única coisa que a gente tem que a gente precisa remover logicamente vou indicar para ele qual que é what's muito bem feito isso agora eu posso executar não e ele criou para gente agora o nosso x de testes aí ó necessário x-frame logicamente que a gente vai ter que fazer outros processamentos aqui dentro está certo então pessoal vejo que fazer o uso bem do pandas extremamente importante então agora pessoal nós vamos utilizar uma fita aqui que vai ser o sexo nós vamos usar essa coluna para fazer a pressão Mas vamos esquecer até mais por enquanto entanto sexo veja que é uma swing eu preciso de transformar esse número então maneira de transformar isso em número seria a gente criar uma coluna por exemplo mulher Se for mulher eu passageiro a gente deixa um sim o passageiro foi um homem a gente coloca como 10 então pra gente fazer isso eu vou criar uma feature 9 para criar essa fita nova que que eu vou fazer eu vou criar então no nosso Data Set de treino uma coluna a mulher perguntando se é mulher Se for mulher vai ser se for homem passageiro ele vai ser Zé essa aqui é a ideia para a gente poder fazer isso a gente pode usar uma ferramenta aqui no bandas utilizando a coluna sexy eu vou pedir para ele replace ou seja substituí-lo por quem um outro valor e qual o valor que ele vai substituir eu vou colocar aqui subs o quê Porque eu vou criar um funcionário aqui agora para ele usar para ele fazer a substituição então se for mulher ou seja se for aqui meio e que ele vai fazer e vai colocar E se for meio e é homem ele vai colocar 10 então ele vai usar esse dicionário aqui vendo como referência para ele fazer a substituição dos dados que estão na coluna sexo dentro do treinamento quando ele fizer isso ele vai me gerar e esse resultado ele vai colar para mim dentro dessa coluna que a coluna mulher Então é isso que ele vai executar para gente Para gente executar isso eu vou selecionar essas duas mesmo ficou executar x de Treinamento vamos ver se ele criou aqui ó mulher zero um homem e Cruzeiro e-mail e colocou dessa forma de fez para todos agora logicamente eu poderia fazer a mesma coisa já para os dados de teste então copiei ali ó cuidado com esse Copi Cola porque você pode esquecer alguma coisa então pronto agora sim ele faz também aqui para os dados de até muito bem e uma coluna chamada mulher agora pessoal nós vamos fechar aqui tá eu vou continuar o pré-processamento Mas nós vamos agora selecionar as colunas que eu tenho interesse eu não vou colocar aqui selecionar as perns dentro do nosso projeto né sempre importante ou um o mais importante a gente criar novas filhos e selecionar essas dicas que a gente quer trabalhar logicamente agora como trabalho é muito simples eu vou selecionar isso de forma Simples então vou colocar é estranho vai ser Extreme eu vou usar apenas uma coluna vai ser mulher Lógico como isso aqui tem que ser um Data Frame então eu vou colocar uma lista aqui dentro para ele criar um Data Frame para gente veja que é uma lista de um único elemento já vou aproveitar e já vou fazer os dados de teste agora ele vai criar para a gente se dá tá certo então com apenas uma coluna nos dados de teste também nos dados de agora pessoal nós vamos aproveitar e criar o nosso Y de treino o que eu sei quem que é o yg3 y de treino é o sobrevivência então eu vou usar o trem Data Set de trem aqui ó e eu quero essa coluna aqui Survival tá vou fazer exatamente Lisboa cortar somente aquela coluna o surf e ele pegou pra gente somente sobrevivência muito bem agora eu tenho tudo que eu preciso para mim montar o meu modelo então nós vamos criar o nosso modelo imaginar de uma nova célula aqui ó modelo e validação usado nós vamos fazer uma validação cruzada para verificar como é que tá o nosso treinamento nosso modelo base nesse dado aqui somente necessidade eu vou fazer um modelo primeiro modelo usando logistic regressions Apesar do nome isso aqui um algoritmo de classificação então eu vou importa é esse modelo Import parte do planteq site da ponto linear Model o pessoal aqui é from né cortar from from Inside Your Mother e porte cortar quem dois agora entra e vou importar também um exemplo de modo selection o cross UOL Esporte vai fazer uma validação cruzada para gente nos dados de treinamento para a gente poder verificar como é que tá o nosso modelo dentro dos dados de Treinamento desde que eu estou usando dados treinamento então quero verificar como modelo está aqui nos dá treinamento muito bem agora que a gente tem o nosso as nossas bibliotecas importadas eu preciso dar um contra o Inter e ter um chip dentro é para importar as bibliotecas Pronto agora sim eu vou colocar aqui Model lr2 regresso Vou colocar logit regression aqui abrir e fechar veja que isso aqui ó é uma classe por quê que é uma classe porque ela começa com letras maiúsculas tá então eu identifico seguir com uma classe e uma classe eu preciso criar um objeto dessa forma que estou criando o objeto Model LR vai ser armazenado na sua variar agora eu vou usar esse Model RR para fazer o meu score da validação cruzada então simplesmente utilizo bom pros Val score coloca o meu modelo aqui dentro no caso é o modelo que eu criei é o Model L R vou escolher o x de Treinamento como variáveis x e y seria o target vai ser o meu Y de treinamento e eu posso dividir esse conjunto de dados 10 para dentro então eu vou gerar 10 pontos estão aqui pessoal o que que ele vai fazer ele vai pegar o nosso Conjunto das dividir em 10 vai usar 9 para treinar em um deles ele usa para testar e ele vai repetir isso 10 vezes porque ele dividiu o nosso conjunto de 10 partes então a cada momento ele usa uma dessas partes para testar e os as nove outras sobraram para treinar o modelo E aí então eu vou ter nove partes no modelo na modelagem e uma parte fora da modelagem é uma maneira da gente textual nos modelos sem ter os dados de teste ok porque eu tenho usado o teste aqui no entanto a cidade de teste almocei realidade então e nem pó eu uso né o ideal é não fazer o uso dos aqui uma vez que a gente separou esse conjunto de teste a gente não usa aquilo pego a gente é forçada a fazer isso porque esses dados ficam aguardados e a gente não sabe então preciso de fazer o uso por exemplo de uma validação cruzada muito bem feito isso agora a gente pode imprimir eu vou imprimir o score Lógico que quando a gente faz a impressão da escola ele vai imprimir todos para gente veja bem então tá aqui ó ele já executou já fez a predição de cada um dos fogos então no primeiro food pois 081 depois zero79 depois era 76era 34 e assim sucessivamente o lógico que nós vamos ficar olhando um por um separadamente o ideal é a gente fazer uma média Então nós vamos colocar aqui a NP me aí eu faço uma média desses valores e frente pronto eu tenho 78 por cento na validação cruzada de precisão no Scorpion acurácia Global Então veja pessoal que a gente é é um resultado de 78 por cento nos dados de Treinamento usando validação cruzada sendo que nos dá de teste lá no pego a gente tem um resultado foi de setenta e seis por cento Então veja aqui nos dá de Treinamento eu tô com os dados com um pouco mais de vantagem tá eu Existe uma pequena diferença Então os resultados que eu tenho aqui provavelmente vai ficar um pouco acima dos resultados lá no que a gente vai realmente ela não quero eu preciso agora criar um modelo final modelo final então aqui no modelo final vai ser model.
com LR modelo tá criado Vamos dar um Fit nesse modelo e vou usar os dados todos os dados treino agora aqui não aqui nós usamos nove partes para treinar em uma parte para testar então ele não treinou que modelo final foi apenas para a gente fazer uma avaliação agora se nós vamos fazer um um treinamento final do modelo E aí nós vamos fazer a pressão então aqui hoje é culto pronto modelo tá treinando E agora o que que eu vou e eu vou fazer uma pressão utilizando os nossos dados que a gente tem os próprios dados de Treinamento isso não é uma meta que é muito interessante mas apenas para conhecimento aqui eu vou colocar aqui ó Então veja vou fazer a predição dos dados usando os dados treinamento usando quem o nosso modelo foi treinado por favor e que tá E ele gerou para gente aqui ó Y Fred aqui essa é a predição dos dados de Treinamento Quem são os dados verdadeiros é o y de Treinamento precisado secção e veja Akira acertou a Quina acertou os dois morreram né nos dois casos aqui passageiro sobreviveu sobreviveu sobreviveu morreu e assim ele foi acertando quase aquele errou e acertou aqui levou novamente e assim sucessivamente um beijo que nesse caso parece teve uma boa curar foi 78 por cento acurácia nos dados de Treinamento se a gente quiser a gente pode visualizar também Oi como é que foi a matriz de confusão desses dados e para a gente fazer a matriz de confusão a interessante a gente importa ela aqui ó Então pronto sai que dar ponto metrics in ports com1 geométricos o executar chique tenta a importância do brother agora vou fazer uso dela um o geométricos a gente vai colocar aqui ó beijo We from ou seja o nosso Y verdadeiro que é o estilo de Treinamento meu caso é o estranhamento que isso aqui ó, o y de pressão como que é isso que a gente fez os a pressão muito bem e aqui eu vou mandar imprimir esse Mc aí o que que significa para gente esses dados aqui são os que eram zero Ou seja que morreram no acidente esses aqui são os dados que são um ou seja sobreviveram a acidentes de verdade tá isso aqui realmente foi o que aconteceu Então na linha é a somatória e 468 realmente era zero e ele fez a produção como 0 e teve 109 que era um e Ele previu como 10 Então esse que ele errou e teve aqui nesse caso 233 e era um e ele prediz comum 233 então na diagonal principal é o que ele acertou nesse 81 aqui bom esse aqui é o que era a 0 no entanto ele prediz um é isso que tá querendo dizer a nossa Matriz de confusão e que é a nossa médica que o score acurácia global é esse mais esse dividido pelo Total Isso é uma couraça Global a gente calcular ela aqui a gente pode fazer ela também com vontade de teste então simplesmente coloco score Model the line LR score ele vai fazer para gente aqui eu coloco X em treinamento e aqui eu coloco o y de Treinamento onde eu faço isso eu posso pedir para ele agora a impressão Vou organizar o código de roupa colocar aqui aumenta muito bem shift enter estéreo 78 por cento então é a nossa acurácia Global ele faz isso aqui pra gente só que o que importa é lá no pego então eu vou fazer a predição usando nosso modelo final nos dados e a gente poder fazer essa pretensão dos dados teste eu vou usar tio Y Fred para armazenar os nossos resultados colocar de modo underline LR perdi e vou colocar aqui o X Ele vai fazer a produção pra gente tenta ele fez a pressão do nosso Y de Treinamento eu vou fazer o arquivo para gente submeter lá no pego para ver como é que ficou o meu modelo vamos Submission igual colocar aqui um p&d que é o pandas né ou criar um novo Data Frame is to dataframe eu vou criar ele com os dados de teste ó e vou colocar nele uma coluna e passa Passenger Side eu preciso dessa coluna para submeter lá no quebre Então já vou criar esse Submission errado aqui ó minúsculo de correta Submission tá aqui ó eu tenho o Edu passageiro Agora eu tenho que colocar aqui a coluna do resultado de teste se a gente verificar na nossa pasta eu tenho aqui um exemplo vender Submission e que eu preciso eu preciso da coluna PSG Aires e preciso do Survivor se sobreviveu ou não então vou fazer exatamente como criar mesmo criar uma coluna essa coluna vai ter esse nome e vai receber que ainda o y prédio que foi a pressão que a gente fez usando os dados ideias tudo bem executivos nosso submissão está criado agora eu vou salvar isso aqui para gente beber então para poder fazer a exportação como um arquivo csv eu vou o nome do data sete pontos Shu underline csv colocar o nome do arquivo vou colocar submissa um é o nosso primeiro anda lá em csv. Csv, index coloca falso para ele não colocar o nosso minutos no banco de dados Execute ele ligou para gente o nosso aqui tá aqui ó agora vou lá no pego para submeter-se arquivos ver se ficou Ok ou não Então pessoal tô aqui no pego vou entrar aqui na competição Click submit e aqui para baixo eu clico nesse ícone do meu arquivo Abrir o aplicativo modelo sexo missions submissão e agora ele vai calcular para agente scorpio 0.