Hadoop - HDFS Operaciones

HDFS Inicio

En un principio tienes que formatear el sistema de archivos HDFS namenode, abierto (HDFS server), y ejecute el siguiente comando.

$ hadoop namenode -format

Después de formatear la HDFS, iniciar el sistema de archivos distribuido. El siguiente comando inicia el namenode, así como los nodos de datos en cluster.

$ start-dfs.sh

Listado de los archivos en los HDFS

Después de cargar la información en el servidor, podemos encontrar la lista de los archivos de un directorio, el estado de un archivo, utilizando "ls". A continuación se muestra la sintaxis de ls que se puede pasar a un directorio o un nombre de archivo como argumento.

$ $HADOOP_HOME/bin/hadoop fs -ls <args>

Insertar datos en HDFS

Supongamos que tenemos los datos en el archivo llamado archivo.txt en el sistema local que debe guardarse en el sistema de archivos hdfs. Siga los pasos que se indican a continuación para insertar el archivo requerido en el Hadoop sistema de archivos.

Paso 1

Tiene que crear un directorio de entrada.

$ $HADOOP_HOME/bin/hadoop fs -mkdir /user/input

Paso 2

Transferir y almacenar un archivo de datos de sistemas locales a la Hadoop sistema de archivos utilizando el comando put.

$ $HADOOP_HOME/bin/hadoop fs -put /home/file.txt /user/input

Paso 3

Puede comprobar el archivo mediante comando ls.

$ $HADOOP_HOME/bin/hadoop fs -ls /user/input

Recuperar datos de HDFS

Supongamos que tenemos un archivo llamado into outfile en HDFS. A continuación se ofrece una demostración sencilla para recuperar el archivo necesario de la Hadoop sistema de archivos.

Paso 1

En un primer momento, ver los datos de los HDFS con comando cat.

$ $HADOOP_HOME/bin/hadoop fs -cat /user/output/outfile

Paso 2

Obtener el archivo de HDFS al sistema de archivos local mediante get.

$ $HADOOP_HOME/bin/hadoop fs -get /user/output/ /home/hadoop_tp/

Apagar el HDFS

Puede apagar el HDFS, utilizando el siguiente comando.

$ stop-dfs.sh
Advertisements