分布式系统
- Spark 论文笔记 2022-01-10
MapReduce 非常成功，然而这些围绕无环图建立的系统大多不通用，这时候 Spark 横空出世，通过一种名叫 RDD 的分布式数据结构，提出了一种可以支持： those …
- GFS 论文笔记 2020-10-29
GFS 是一个分布式文件系统，它有如下四个特点： 对机器失效建模 - GFS 运行在一个由大量便宜硬件组成的集群上，因此该集群会因为各种各样的原因发生部分失效 其中存储的文件…
- RDD 论文笔记 2020-10-29
Resilient Distributed Datasets (RDDs) 就是一个对分布式系统的内存抽象。 本质上是一个限制严格的共享内存模型，只提供粗粒度的 transfo…
- MapReduce 论文笔记 2019-11-25
起源 几位作者在工作中针对巨量的数据，写了上百种数据处理程序，它们有一些特征： 业务逻辑简单 数据量巨大，因此需要在上百台计算机上进行分布式计算 这就提出了几项挑战： 如…