分布式框架有哪些

1、Hadoop三大核心组件分别是HDFS、MapReduce和YARN。HDFS是Hadoop生态系统中的分布式文件系统，用于存储大规模数据集。HDFS将数据分布在多个节点上，支持数据冗余备份，确保数据的可靠性和高可用性。它是支持Hadoop分布式计算的基础，可以让Hadoop系统高效地处理大规模数据。

2、大数据在存储和管理时用到的关键技术主要包括： 分布式存储技术 Hadoop的HDFS：该技术能够将数据分散地存储在多个节点上，通过多个节点的协同工作，实现对海量数据的高效存储和访问。

3、资源利用率： 在处理大数据时，Hadoop的MapReduce在处理过程中需要大量磁盘读写和磁盘切换，效率相对较低；Spark采用了基于内存的计算模式，避免了频繁的数据读写开销，更高效。相同点： 分布式计算框架： Hadoop和Spark都是分布式计算框架，用于处理大规模数据集。

4、Apache Geode 是一个数据管理平台，提供实时、一致的数据访问，适用于数据密集型应用。它通过内存、CPU、网络资源和可选的本地磁盘动态复制和分区技术，实现高可用性、性能优化、可扩展性和容错性。Geode 作为分布式数据容器和内存数据管理系统，提供异步事件通知和保证消息传递。

5、Dask 是一个灵活的 Python 并行/分布式计算框架，旨在为开发者提供与 NumPy array 和 Pandas DataFrame 兼容的计算环境。相较于其他类似框架如 Ray 和 Modin，Dask 在使用 SGE、SLURM 等作业管理系统进行分布式计算时显得更为便捷。