在生产环境大规模使用过 Hadoop 做大数据存储的同学中,或多或少都遇到过 HDFS NameNode 的扩展性问题。随着数据规模的增长,NameNode 所持有的元数据信息将不断地膨胀,继而引发各种性能问题。
NameNode 在这方面的问题来自于早期设计中没有将块管理完全分离出去。对此,社区在过去很长一段时间内设计实现了一套全新的基于容器化思想的块服务架构层:HDDS(Hadoop分布式数据存储层)。这个块服务层在未来不仅能够服务于 HDFS,还能有别的一些使用场景,比如对象存储。
本次 Chat 将带领大家学习了解 HDDS,它也是继 HDFS、MapReduce、YARN 之后的 Hadoop 第四大组件模块。HDDS 的现有实现方式一部分吸取了 HDFS 设计上的一些经验教训,所以它有着全新的架构设计。
通过本次 Chat 的学习,您将学习到:
HDDS 的起源和诞生;HDDS 的架构体系;HDDS 如何解决 HDFS 的扩展性问题;HDDS 未来的使用场景。
阅读全文: /gitchat/activity/5bd332028c582a63a4cd09a3
您还可以下载 CSDN 旗下精品原创内容社区 GitChat App , GitChat 专享技术内容哦。