分布式基础知识跟算法理论
分布式基础知识和算法理论
BY NODEXY@2014.8.12
本文永久链接:http://nodex.iteye.com/blog/2103218
在大数据的背景下,不管是做存储,做搜索,做数据分析,或者做产品或服务本身,面向互联网和移动互联网用户,已经不可避免地要面对分布式环境。笔者在此收录一些分布式相关的基础知识和算法理论介绍,在完善自我知识体系的同时,也希望对新手能有所帮助。 本文以转载同行技术博客文章的形式组织。
一 分布式基础理论
【分布式存储理论基础】CAP,BASE,ACID
http://blog.csdn.net/sunxinhere/article/details/7936485
此文主要从流行的几大理论展开,简单介绍了各个理论的基本含义和内容:
1. CAP 理论
Consistency 一致性
Availability 可用性
Partition Tolerance 分区容忍性
CAP理论指出上述三者只可同时实现其中两者,不可同时实现三者。
2. BASE模型
Basically Available 基本可用
Soft-state 柔性事务
Eventualy Consistent 最终一致性
从CAP理论看,BASE模型牺牲了一致性而实现了可用性和分区容忍性。 这在很多的互联网产品中非常常见,用户希望非常好的交互和体验,操作流畅,至于背后的数据什么时候完成上传和同步,并不敏感,只要告诉我在做什么现在是什么状态即可。
3. ACID
在关系数据库理论中事务具有四个基本的特性 :
Atomicity 原子性
Consistency 一致性
Isolation 独立性/隔离性
Durability 持久性
分布式系统原理
http://www.cnblogs.com/gowhy/archive/2012/12/28/2837399.html
此文是原作者根据个人理解总结的(也可能是从网络或书籍整理而来,无从考证),所以有比较强的主观性,仅供参考;内容主要分为:
分布式系统基础要点
分布式系统原理
数据副本协议
日志技术
CAP理论
二 分布式相关算法
Paxos算法
http://zh.wikipedia.org/zh-cn/Paxos%E7%AE%97%E6%B3%95
此文是Paxos算法的WIKI词条,供参考!
分布式一致性Paxos算法学习笔记
www.cnblogs.com/ychellboy/category/226023.html
此文是一位同行的博客笔记,很有参考意义,目前共有4篇:
分布式一致性Paxos算法学习笔记(一) Paxos大杂烩
分布式一致性Paxos算法学习笔记(二) 算法详解
分布式一致性Paxos算法学习笔记(三) 算法的工程化描述
分布式一致性Paxos算法学习笔记(四) 算法回顾
分布式算法
http://www.cnblogs.com/chen77716/category/314763.html
以上是一位同行的博客分类“分布式算法”,主要涉及以下内容:
一致性哈希 Consistent Hashing http://www.cnblogs.com/chen77716/archive/2010/10/18/2130806.html
Chord算法(原理)http://www.cnblogs.com/chen77716/archive/2010/12/06/2130805.html
Paxos算法 1. 算法形成理论 2. 算法过程 3. 实现探讨 http://www.cnblogs.com/chen77716/archive/2011/01/27/2130804.html
Viewstamps 算法 http://www.cnblogs.com/chen77716/archive/2011/03/03/2130801.html
Paxos lease http://www.cnblogs.com/chen77716/archive/2011/03/21/2130800.html
keyspace中的paxos http://www.cnblogs.com/chen77716/archive/2011/03/21/2130799.html
Gossip算法 http://www.cnblogs.com/chen77716/archive/2011/03/24/2130798.html
基于Lease的一致性 http://www.cnblogs.com/chen77716/archive/2011/03/31/2130797.html
φ累积失败检测算法 http://www.cnblogs.com/chen77716/archive/2011/06/13/2130796.html
PS: 这位同行的CSDN博客 http://blog.csdn.net/chen77716 内容大体相当,目前cnblogs的博客已不再更新,主要更新CSDN的了。
memcache的一致性hash算法使用
http://blog.csdn.net/kongqz/article/details/6695417
memcache集群使用原则
http://blog.csdn.net/kongqz/article/details/8910110
以上两篇是一位同行关于memcache的相关文章,可供参考。
很多技术网站也有不错的内容,可供参考:
INFOQ 架构频道
http://www.infoq.com/performance-scalability
HighScalability 网站
http://highscalability.com/
# END