O datanode HDFS usa todo o espaço disponível

Question

Eu tenho um disco rígido de 1TB (931GB utilizável) que dediquei ao HDFS. Eu montei em / hdfs. Aqui está o meu hdfs-site.xml

<configuration>

  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>

  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/hdfs</value>
  </property>

  <property>
    <name>dfs.datanode.name.dir</name>
    <value>/hdfs</value>
  </property>

</configuration>

Uso:

% df -H  /dev/sdd1
Filesystem      Size  Used Avail Use% Mounted on
/dev/sdd1       984G   78M  934G   1% /hdfs

 % hdfs dfs -df -h 
Filesystem          Size  Used  Available  Use%
hdfs://localhost  15.7 G   4 K     15.7 G    0%

Versão:

% hadoop version
Hadoop 2.8.1
Subversion https://git-wip-us.apache.org/repos/asf/hadoop.git -r 20fe5304904fc2f5a18053c389e43cd26f7a70fe
Compiled by vinodkv on 2017-06-02T06:14Z
Compiled with protoc 2.5.0
From source with checksum 60125541c2b3e266cbf3becc5bda666
This command was run using /opt/hadoop-2.8.1/share/hadoop/common/hadoop-common-2.8.1.jar

Por que o HDFS está usando apenas uma pequena fração do espaço disponível? Como posso dizer para usar todo o espaço disponível?

    

Answer 1

A configuração XML estava errada:

dfs.datanode.name.dir → dfs.datanode.data.dir