agora com a plataforma aberta podemos demonstrar como os bancos de dados podem ser acessados por qualquer pipeline inclusive encontrar algum tipo de filtro para que cons consigamos recuperar apenas os dados desejados vamos ver um exemplo em um pipeline eu vou salvar um payload que por exemplo pode ser um payload de erro que algum motivo noss execução deu erro preciso salar o de entrada para que futuramente precise reprocessar eu consigo utilizar uma base temporária de dados para fazer isso essa demonstração PR comunicação entes eu vou abrir o test mode e vou colar aqui por exemp de
entrada aqui dentro vou fazer o seguinte esse pad ele será salvo em Object Store por enquanto possui nenhum registro vai ser na Collection exemplo bases temporárias para demonstrar que essa Collection está vazia eu vou em outro pipeline e aqui eu vou recuperar todos os registros armazenados nessa mesma Collection Então vou utilizar a operação find by Carry para recuperar todos os registros e na Car vou passar vazio se eu não tenho nenhum tipo de filtro ao confirmar e executar percebo que nenhum dado foi retornado visto que não possuímos registros armazenados nessa nessa Collection volando no primeiro
pipeline e nas configurações nós temos aqui a operação de inserção nessa base temporária utilizando um ID aleatório entretanto antes de fazer essa inserção eu vou acrescentar uma um novo dado aqui vai ser dado por exemplo nome do pipeline nome do pipeline e vou colocar aqui por exemplo T Mode assim quando eu faço o play a inserção ocorrerá temos aqui o update C igual 1 significando que um registro foi inserido indo pro segundo pipeline fazendo a mesma operação nós obtemos aqui o registro que acabou de ser armazenado aqui eu vou fazer um segundo teste na segunda
inserção como teste dois e por fim mais um dado registrado né eu vou vir aqui no teste TRS e eu vou mudar o test mode para por exemplo test modes com s e vou inserir também ao ir no segundo pipeline eu tenho aqui os meus três testes 1 2 e TR isso já nos demonstra que pipelines diferentes conseguem acessar a mesma base de dados e a partir disso a gente precisa tomar um um certo cuidado às vezes nós não queremos retornar o todos os dados de uma base de dados temporários e assim algum tipo de
filtro e para fazer isso eu vou utilizar ainda na Carry os elementos em que por exemplo nome do pipeline nome do pipeline seja igual a test mode eu vou confirmar e aqui temos test mode test mode e test mode a executar apenas dois registros serão retornados e a partir de execution ID e de ids aleatórios ou algum tipo de registro nós conseguimos fazer esse filtro para que pipelines diferentes acessando a mesma base de dados consigam retornar registros diferentes mas justamente por isso à medida que eu vou inserindo aqui dentro em todas as execuções aqui eu
tô retornando apenas dois porque eu coloquei essa Carry de de filtro porém se eu colocar em test modes depois de fazer mais duas inserções eu tenho três registros esses registros eles vão aumentando porque ainda não definimos algum tipo de rotina de limpeza então no pipeline é comum termos algum tipo de rotina de limpeza por exemplo com Excluir todos os registros que foram armazenados então aqui em delete by Carry Se eu colocar cares vazias eu vou apagar todos os registros então para demonstração temos provavelmente cinco ou seis registros inseridos ao Excluir todos os registros cinco registros
foram excluídos e pedir para recuperar novamente porém agora sem esse valor de Carry aqui confirmar nem o registro fo retornado visto que excluímos todos e podemos inclusive fazer com que os registros lidos nessa execução sejam excluídos então ao invés de Excluir todos os registros aqui eu vou copiar esse componente vou inserir novos registros aqui como test modes e vou colocar alguns como test mode novamente temos cinco registros vamos fazer dar um exemplo C armazenados dois com test mode e os outros três com test modes e aqui nós queremos recuperar por exemplo apenas aquele com vamos
recuperar aqui logo copiar aqui e colar vou confirmar vou executar pronto estamos retornando apenas esses e aqui eu posso uma vez que eu já li esses dados de já fiz algum tipo de processamento eu posso excluir na execução esses pipelines então aqui o componente excluir pelad eu farei a seguinte forma eu vou excluir apenas por Carry utilizando a mesma Carry que eu usei anteriormente que é n pipeline test modes Vou confirmar e vou executar e três registros foram excluídos entretanto os outros registros que podem estar sendo utilizados por outros pipelines continuam na base de dados
temporária então nós vimos aqui que diversos pipelines conseguem acessar a mesma base de dados temporária nós precisamos criar algum tipo de rotina de limpeza geralmente utiliza-se algum tipo de filtro para fazer essa leitura dessa base de dados de maneira pontual maneira específica para não retornar todos os registros por fim voltando nós podemos utilizar bancos de dados temporários para armazenar payloads que são muito grandes e seriam grandes demais para ser salvas com session poderia causar um problema de Out of Memory e esse tipo de inserção de base de dados temporaris ela pode ser feita por diversos
outros componentes como DB e o Cassandra DB também a diferença de alguns bancos de dados inclusive o D2 tá é mais fácil utilizar dados não relacionais porque estamos lidando com deson a plataforma lida com dizon entretanto criando tabelas eh para bancos de dados relacionais isso também pode acontecer aqui eu vou dar um exemplo podemos por exemplo utilizar para reprocessamento uma tabela com os seguintes registros error pelad pipeline name e aqui todos esses jons que seriam salvos poderiam ser transformados em string antes da inserção para uma tabela de paginação podemos utilizar por exemplo end nex execution
time stamp pipeline name execution Key e para uma tabela de controle de execução nós podemos colocar esses atributos aqui então dessa forma nós podemos utilizar bancos de dados tanto não relacionais quanto relacionais para inserção de dados temporários Só precisamos tomar o cuidado para fazer a limpeza adequada diariamente ou a partir de alguma regra de limpeza Essa foi a o vídeo sobre base de dados temporárias nos vemos nos próximos vídeos
