論文ノート

Spark 論文ノート 2022-01-10
/技術/ /分散システム/ MapReduceは非常に成功しましたが、これらの非循環グラフを中心に構築されたシステムの多くは汎用的ではありませんでした。そのような中でSparkが登場し、RDDと呼ばれる分…
GFS 論文ノート 2020-10-29
/技術/ /分散システム/ GFSは分散ファイルシステムであり、以下の4つの特徴を持っています：機械の故障を前提とした設計 - GFSは大量の安価なハードウェアで構成されるクラスタ上で動作するため、様…
RDD 論文ノート 2020-10-29
/技術/ /分散システム/ Resilient Distributed Datasets (RDDs) は、分散システムに対するメモリ抽象化です。本質的には、制限の厳しい共有メモリモデルであり、粗粒度の…
MapReduce 論文ノート 2019-11-25
/技術/ /分散システム/ 起源著者らは、膨大な量のデータを扱う業務において、何百ものデータ処理プログラムを書きました。それらには以下の特徴がありました：ビジネスロジックは単純データ量が膨大なため…