关于 hadoop (hdfs)

一、首先是一些网上资料

继续阅读

Brewer 的 CAP 理论

Brewer 在 2000 年基于他在伯克利大学的工作以及对 Inktomi 的观察上提出了 CAP 理论(牛人就是观察出的理论啊!),这之前(1997 年SOSP Cluster-Based Scalable Network Services 和1999年 Cluster-Based Scalable Network Services)他和他的同事也提出了应该在高扩展性系统做出取舍权衡,所以在 2000 年提出的这个理论也不是一个特别意外新颖的观点,和许多著名的理论相同,他们都是建立大量工作和牛人基础之上的。

继续阅读

FAST:Quick Application Launch on Solid-State Drives

FAST:Quick Application Launch on Solid-State Drives(后简称 FAST ,请区别于 FAST 会议)这篇文章是 2011 FAST 会议上的一篇文章,题目中的 FAST 是 Fast Application STarter 的简称,读完本文最大的感触就是加深了:“并行性是计算机提高性能的重要手段 ”的理解。

从计算机的硬件来看,处理器流水线提高指令执行速度,处理器频率在受到温度制约后无法提升后,开始发展了多核、多处理器,内存也依靠双通道大量提升速度和容量,硬盘通过组成 RAID 提高读写速度和安全性。从软件来说,依靠多线程提高并发性也是改进程序性能的方法。FAST 文章主要是提出了将应用程序读操作时间和计算时间进行重叠以提升应用程序加载速度,我认为这就是讲 I/O 和计算进行并行提高性能的一种软方法,也是论文的主要贡献。

继续阅读

POTSHARDS: Secure Long-Term Storage Without Encryption

原文地址

summary:文章介绍了一种在不可信的存储提供商(Storage Service Provider)上建立长期文档的可信存储,采用的方法不是加密而是秘密分享(secret sharing)技术。首先文章谈到文档系统应该满足几个安全特性:

  1. 授权用户必须能够访问数据
  2. 即使缺少密钥,计算适当时间后也可以访问数据
  3. 保证数据的完整性,用户所读到的数据是之前写入的,而不是被篡改的。