Hadoop HDFS - Visão Geral

Hadoop File System foi desenvolvido usando sistema de arquivos distribuído design. É executado em hardware de consumo. Ao contrário de outros sistemas distribuídos, HDFS é altamente tolerante a falhas, proporciona uma e projetado com hardware de baixo custo.

HDFS armazena grande quantidade de dados e permite um acesso mais fácil. Para armazenar dados tão grandes, os arquivos são armazenados em várias máquinas. Esses arquivos são armazenados de forma redundante para resgatar o sistema de possíveis perdas de dados em caso de falha. HDFS também faz com que os aplicativos disponíveis para processamento paralelo.

Recursos do HDFS

É adequado para o armazenamento e processamento distribuído.
Hadoop fornece uma interface de comando para interagir com HDFS.
O construído em servidores da datanode namenode e ajuda os usuários a verificar facilmente o status do cluster.
Streaming acesso aos dados do sistema de arquivos.
HDFS fornece as permissões de arquivo e de autenticação.

Arquitetura HDFS

Abaixo está a arquitetura de um Hadoop File System.

HDFS segue a arquitetura mestre-escravo e possui os seguintes elementos.

Namenode

O namenode é a commodity hardware que contém o sistema operacional GNU/Linux e o namenode software. Trata-se de um software que pode ser executado em hardware de consumo. O sistema tendo o namenode age como o master server e ele não as seguintes tarefas:

Gerencia o sistema de arquivos o namespace.
Regula acesso do cliente aos arquivos.
Ele também executa as operações de sistema de arquivos, tais como renomear, fechando e abrindo os arquivos e diretórios.

Datanode

O datanode é uma commodity hardware com o sistema operacional GNU/Linux e datanode software. Para cada nó (Commodity hardware/Sistema) em um cluster, haverá um datanode. Esses nós gerenciar o armazenamento de dados do seu sistema.

Datanodes realizar leitura-gravação das operações sobre os sistemas de arquivos, conforme solicitação do cliente.
Eles também executar operações como criação, exclusão, e replicação de acordo com as instruções do namenode.

Bloquear

Em geral, os dados do usuário são armazenados nos arquivos da HDFS. O arquivo em um sistema de arquivo será dividido em um ou mais segmentos e/ou dados armazenados em cada um nós. Esses arquivos são chamados segmentos como blocos. Em outras palavras, o montante mínimo de dados que HDFS pode ler ou escrever é chamado de bloco. O tamanho de bloco padrão é de 64MB, mas pode ser aumentada conforme a necessidade de mudança na configuração HDFS.

Objetivos da HDFS

Detecção e recuperação de falhas: Desde HDFS inclui um grande número de hardware de consumo, a falha de componentes é freqüente. Portanto HDFS devem dispor de mecanismos que permitam rápida e detecção automática de falhas e recuperação.
Grandes datasets : HDFS deveria ter centenas de nós por cluster para gerenciar as aplicações de grandes conjuntos de dados.
Hardware em dados: UMA tarefa solicitada pode ser feito de forma eficiente, quando o cálculo realiza-se perto dos dados. Especialmente nos casos em que grandes conjuntos de dados são envolvidos, ela reduz o tráfego de rede e aumenta a produtividade.