Hadoop - HDFS Operaciones

---

---

HDFS Inicio

En un principio tienes que formatear el sistema de archivos HDFS namenode, abierto (HDFS server), y ejecute el siguiente comando.

$ hadoop namenode -format 

Despus de formatear la HDFS, iniciar el sistema de archivos distribuido. El siguiente comando inicia el namenode, as como los nodos de datos en cluster.

$ start-dfs.sh 

Listado de los archivos en los HDFS

Despus de cargar la informacin en el servidor, podemos encontrar la lista de los archivos de un directorio, el estado de un archivo, utilizando "ls". A continuacin se muestra la sintaxis de ls que se puede pasar a un directorio o un nombre de archivo como argumento.

$ $HADOOP_HOME/bin/hadoop fs -ls <args>

Insertar datos en HDFS

Supongamos que tenemos los datos en el archivo llamado archivo.txt en el sistema local que debe guardarse en el sistema de archivos hdfs. Siga los pasos que se indican a continuacin para insertar el archivo requerido en el Hadoop sistema de archivos.

Paso 1

Tiene que crear un directorio de entrada.

$ $HADOOP_HOME/bin/hadoop fs -mkdir /user/input 

Paso 2

Transferir y almacenar un archivo de datos de sistemas locales a la Hadoop sistema de archivos utilizando el comando put.

$ $HADOOP_HOME/bin/hadoop fs -put /home/file.txt /user/input 

Paso 3

Puede comprobar el archivo mediante comando ls.

$ $HADOOP_HOME/bin/hadoop fs -ls /user/input 

Recuperar datos de HDFS

Supongamos que tenemos un archivo llamado into outfile en HDFS. A continuacin se ofrece una demostracin sencilla para recuperar el archivo necesario de la Hadoop sistema de archivos.

Paso 1

En un primer momento, ver los datos de los HDFS con comando cat.

$ $HADOOP_HOME/bin/hadoop fs -cat /user/output/outfile 

Paso 2

Obtener el archivo de HDFS al sistema de archivos local mediante get.

$ $HADOOP_HOME/bin/hadoop fs -get /user/output/ /home/hadoop_tp/ 

Apagar el HDFS

Puede apagar el HDFS, utilizando el siguiente comando.

$ stop-dfs.sh