Introducción a HDFS

hola en este vídeo vamos a hacer una breve introducción al país están de hadoop o como se conoce con sus siglas en inglés h de feist pero que es adulto adulto es un vuelo de trabajo open source en este caso de apache software foundation el cual nos permite trabajar con big data fue desarrollado por 2 coopten y escrito en java heredó sus nombres del elefante de peluche del hijo de 2 es usado para almacenar y procesar grandes cantidades de datos estructurados y no estructurados o como mejor se le conoce big data hace uso de varias

máquinas en un clúster que son económicas conocido también como un commodity hardware lo que permite que el sistema sea fácilmente escalable pero qué es un cluster de hadoop una máquina es nube muchas máquinas dentro del mismo switch de red se conocen como un rap varios rack componen lo que se conoce como un clúster de salud estos pueden ser tan sencillos o tan complejos como se deseen en este caso vemos una foto del gloucester de hadoop que tiene la empresa ya el cual podemos ver es bastante grande hagamos una comparación entre los sistemas centralizados los sistemas

centralizados presentan un mayor riesgo de pérdida de información ya que la misma se encuentra almacenada en un solo punto en cambio posee tolerancias fallas al replicar la información en varios nodos el poder de procesamiento un sistemas centralizados depende de la capacidad del hardware en hadoop se pueden utilizar equipos de menor nivel para realizar las operaciones y por lo tanto son menos costosos esto sirve porque hadoop lo que hace es que perdición en las tareas grandes en pequeñas tareas y las reparte a través de los nuevos del clúster los sistemas centralizados solo pueden ser mejorados comprando

un mejor hardware y desechando el anterior lo cual es costoso en cambio en hadoop se puede expandir agregando más máquinas económicas al clúster ya existente nada de lo que ya existe dentro del clúster se desaprovecha ahora veamos cuáles son los componentes básicos de hadoop hadoop tiene tres componentes básicos el primero es común el cual es un conjunto de librería que provee una cierta cantidad de fichas para los programadores dentro de haddock a duch mauritius es un framework de trabajo que nos permite tomar operaciones a realizar dentro del clúster picarlas en pequeños pedazos y repartir cada

uno de esos trabajos dentro de los nuevos del clúster y finalmente tenemos el hardware hd fs que es el hardware distributed file system que es el que nos ocupa en este caso en nuestro vídeo pero qué es la del distrito de file system en un sistema distribuidos de archivos o electoras de ja tube donde se pueden almacenar datos estructurados y no estructurados usa el modelo master slate es decir donde hay una máquina que es el maestro y todas las demás son los esclavos de esa máquina se ejecuta sobre sistemas de archivos de la máquina pero

es importante destacar que no son lo mismo hf s crea un nivel de abstracción sobre los recursos desde donde se puede ver hf es como una simple unidad a pesar de ser un clúster de máquina es decir cuando el usuario quiere escribir o leer archivos y datos que están dentro de hd fs a él no le importa en cual máquina del clúster está guardada esa información porque eso es totalmente transparente para ello el h de fs guarda la data en varios nodos y mantiene el registro interno de la ubicación de los datos es decir sabe

dónde está cada cada dato sabe qué tamaño tienen los archivos y sabe los nombres de los mismos y la permisología que tienen los usuarios sobre cada uno de sus archivos para hacer esto hf s divide los datos en bloques de igual tamaño para luego distribuirlos entre los nuevos que conforman el clúster usa word es decir escrito una vez leída muchas veces hf se puede escribir archivos nuevos borrar archivos existentes pero no puede actualizar cuáles son los componentes de hd fs hdf este tiene básicamente dos componentes el negro que es el maestro de todos los nodos

y los datos 'notes que son los esclavos de esos no el rey no mantiene y maneja los datos nobles guardas la meta hasta los archivos almacenados en hf es es decir dónde está la ubicación de los bloques qué tamaño tienen los archivos que permisología tiene esos archivos etcétera además recibe señales de dotarnos de que están activos o no es decir eso se llama gervitz cada está nos debe reportarse con el niño diciéndole yo estoy vivo o no en caso de que haya un niño que no está vivo cuando está no que no está vivo ney

no puede tomar las previsiones del caso para si alguien necesita información que está dentro de ese nuevo específico la pueda buscar dentro de los respaldos que existen las réplicas que existen de esa misma información en otros no dentro del plato los data nos guardan la data de los archivos es decir el name no guarda la metadata de sus archivos y en los data no es donde efectivamente se guardan físicamente la data de esos archivos además los datos no se encargan de hacer los los labores de lectura y escritura de las peticiones de los clientes veamos

que son los bloques de ace fs cada archivo es partición o en bloque antes de ser guardado en hd fest los bloques de hfc no son lo mismo que los bloques del sistema operativo los bloques por defecto son de 128 megas pero estos configurable y se puede cambiar a gusto del que del como cs un archivo puede ser más grande que el disco de cualquier máquina en el clúster pues los bloques de un mismo archivo se pueden escribir en varias máquinas dentro del clot esto es lo que nos permite a nosotros trabajar y manejar big

data dentro de hadoop si un archivo es más pequeño que un bloque su data solo ocupa una porción del bloque en donde está escrito por lo tanto no se desperdicia espacio los bloques son replicados por defecto tres veces dentro del clúster lo cual hace que sea tolerante a fallas pues si uno se cae existen otros nuevos que tienen el mismo bloque almacenado si tenemos un archivo de 450 megas el mismo se partición hará en cuatro nodos tres nodos de 128 megas y un último nodo de 66 megas lo cual suman los 4 150 megas del

archivo estos bloques pueden ser copiados dentro de la misma máquina o dentro de diferentes máquinas o nodos dentro del clúster veamos cómo se realiza la replicación de bloques en hd face el cliente le hace una petición al name none para escribir un archivo el ney no le responde con la permisología y le dice cuáles son los nuevos que puede usar en este caso el cliente escribe su primer bloque en el rac 1 las réplicas de este de este archivo van a ser dos y no van a estar en el mismo rango en este caso nos

va a copiar en otra máquina en el rack 2 y la siguiente réplica también va a estar en el rack 2 es decir la réplica es esta la principal en un martes en un rack no de un rap x y las otras dos están en el mismo rack en cualquier otro del racc del sistema pero veamos cuáles son los comandos h de fs hf se puede hacer acceso a través del common line los comandos hdfc tienen el formato hd fs es decir a dubai system después vienen las palabras de fs que se refiere a distribuir

file system el signo menos y el comando oker hf s a pesar de que no es posible tiene un común en común algunos de sus comandos como catch change your time you take owner copiar made in the tail' de un archivo por ejemplo si tenemos hf sdfs - ls vamos a poder listar que hay en ese directorio dentro de chad fs cuales son todos los archivos que están allí con su permisología todos los comandos hfcs usan pads uri como argumentos a sus comandos que contienen el esquema de la utility y el path el esquema para

hablar del sistema archivos h de fs es hd face y el esquema para hablar del file system local es fácil si por ejemplo tenemos esta esta sentencia aquí lo que decimos es hf sdfs - cp es decir copia del archivo que está en el archivo local que se llama my fire txt que está en el director del cem pool data spark dentro de hd fs en el director user spark 3 y con el nombre mind file punto txt además de esto hdfc tiene algunos comandos que son propios de él en este caso tenemos copy from

local que él copia archivos desde el file system local a hd fs get que es idéntico a capítulo call capítulo que copia archivos de de hs es así el país está en local putt que es y de antiguo copy from local y get merge lo concatena todos los archivos que se encuentran en un directorio y que cumplen con un patrón en un solo archivo esto se hace porque la manera más óptima de trabajar en dentro de hd fs es con archivos muy grandes si nosotros tenemos una cantidad de archivos pequeños que todos tienen el mismo

formato lo más óptimo es hacer 10 meses de ellos y obtener un solo archivo otro comando propio de fsc red que el cual permite cambiar el número de réplicas que se hacen de los bloques en los archivos que se usan como argumento recordemos que el factor por defecto es 3 es decir cada bloque va a estar tres veces en tres nodos distintos dentro del clúster de hadoop bueno amigos espero que este vídeo le haya sido de interés y les haya servido cualquier duda por favor déjenlo en los comentarios chao