报错信息:
副本不足的块-测试 HDFS 是否具有过多副本不足块。
不良 : 群集中有 8 个 副本不足的块 块。群集中共有 10 个块。百分比 副本不足的块: 80.00%。 临界阈值:40.00%。
分析原因:
因为此次同事让我部署的只有一台机器。而CDH安装初始化时默认是3个副本。
因此出现这个报错,是初始化设置的副本备份数与DataNode的个数不同造成的。
解决方案:
1.设置目标备份数为1
2.通过命令修改当前备份数
点击集群-HDFS-配置,搜索dfs.replication,设置为1后保存更改。
dfs.replication这个参数其实只在文件被写入dfs时起作用,虽然更改了配置文件,但是不会改变之前写入的文件的备份数,所以我们还需要步骤2
通过命令更改备份数:
这里的-R 1的数字1就对应我们的DataNode个数。
su hdfs
hadoop fs -setrep -R 1 /