分布式要学哪些技术

⑴ java分布式架构有哪些技术

既然是分布式系统，系统间通信的技术就不可避免的要掌握。

首先，我们必须掌握一些基本知识，例如网络通信协议（例如TCP / UDP等），网络IO（Blocking-IO，NonBlocking-IO，Asyn-IO），网卡（多队列等）。 了解有关连接重用，序列化/反序列化，RPC，负载平衡等的信息。

在学习了这些基本知识之后，您基本上可以在分布式系统中编写一个简单的通信模块，但这实际上还远远不够。 现在，您已经进入了分布式字段，您已经对规模有很多要求。 这意味着需要一种通信程序，该程序可以支持大量连接，高并发性和低资源消耗。

大量的连接通常会有两种方式：

大量client连一个server

当前在NonBlocking-IO非常成熟的情况下，支持大量客户端的服务器并不难编写，但是在大规模且通常是长连接的情况下，有一点需要特别注意 ，即服务器挂起时不可能所有客户端都在某个时间点启动重新连接。 那基本上是一场灾难。 我见过一些没有经验的类似案例。 客户端规模扩大后，服务器基本上会在重新启动后立即刷新。 大量传入连接中断（当然，服务器的积压队列首先应设置为稍大一些）。 可以使用的通常方法是在客户端重新连接之前睡眠一段随机的时间。 另外，重连间隔采用避让算法。

一个client连大量的server

有些场景也会出现需要连大量server的现象，在这种情况下，同样要注意的也是不要并发同时去建所有的连接，而是在能力范围内分批去建。

除了建连接外，另外还要注意的地方是并发发送请求也同样，一定要做好限流，否则很容易会因为一些点慢导致内存爆掉。

这些问题在技术风险上得考虑进去，并在设计和代码实现上体现，否则一旦随着规模上去了，问题一时半会还真不太好解。

高并发这个点需要掌握CAS、常见的lock-free算法、读写锁、线程相关知识（例如线程交互、线程池）等，通信层面的高并发在NonBlocking-IO的情况下，最重要的是要注意在整体设计和代码实现上尽量减少对io线程池的时间占用。

低资源消耗这点的话NonBlocking-IO本身基本已经做到。

伸缩性

分布式系统基本上意味着规模不小。 对于此类系统，在设计时必须考虑可伸缩性。 在体系结构图上绘制的任何点，如果请求量或数据量继续增加，该怎么办？ 通过添加机器来解决。 当然，此过程不需要考虑无限的情况。 如果您有经验的建筑师，从相对较小的规模到非常大型的范围，那么优势显然并不小，而且它们也将越来越稀缺。 。

横向可扩展性（Scale Out）是指通过增加服务器数量来提高群集的整体性能。 垂直可伸缩性（Scale Up）是指提高每台服务器的性能以提高集群的整体性能。 纵向可扩展性的上限非常明显，而分布式系统则强调水平可伸缩性。

分布式系统应用服务最好做成无状态的

应用服务的状态是指运行时程序因为处理服务请求而存在内存的数据。分布式应用服务最好是设计成无状态。因为如果应用程序是有状态的，那么一旦服务器宕机就会使得应用服务程序受影响而挂掉，那存在内存的数据也就丢失了，这显然不是高可靠的服务。把应用服务设计成无状态的，让程序把需要保存的数据都保存在专门的存储上(eg. 数据库)，这样应用服务程序可以任意重启而不丢失数据，方便分布式系统在服务器宕机后恢复应用服务。

伸缩性的问题围绕着以下两种场景在解决：

无状态场景

对于无状态场景，要实现随量增长而加机器支撑会比较简单，这种情况下只用解决节点发现的问题，通常只要基于负载均衡就可以搞定，硬件或软件方式都有；

无状态场景通常会把很多状态放在db，当量到一定阶段后会需要引入服务化，去缓解对db连接数太多的情况。

有状态场景

所谓状态其实就是数据，通常采用Sharding来实现伸缩性，Sharding有多种的实现方式，常见的有这么一些：

2.1 规则Sharding

基于一定规则把状态数据进行Sharding，例如分库分表很多时候采用的就是这样的，这种方式支持了伸缩性，但通常也带来了很复杂的管理、状态数据搬迁，甚至业务功能很难实现的问题，例如全局join，跨表事务等。

2.2 一致性Hash

一致性Hash方案会使得加机器代价更低一些，另外就是压力可以更为均衡，例如分布式cache经常采用，和规则Sharding带来的问题基本一样。

2.3 Auto Sharding

Auto Sharding的好处是基本上不用管数据搬迁，而且随着量上涨加机器就OK，但通常Auto Sharding的情况下对如何使用会有比较高的要求，而这个通常也就会造成一些限制，这种方案例如HBase。

2.4 Copy

Copy这种常见于读远多于写的情况，实现起来又会有最终一致的方案和全局一致的方案，最终一致的多数可通过消息机制等，全局一致的例如zookeeper/etcd之类的，既要全局一致又要做到很高的写支撑能力就很难实现了。

即使发展到今天，Sharding方式下的伸缩性问题仍然是很大的挑战，非常不好做。

上面所写的基本都还只是解决的方向，到细节点基本就很容易判断是一个解决过多大规模场景问题的架构师，:)

稳定性

作为分布式系统，必须要考虑清楚整个系统中任何一个点挂掉应该怎么处理（到了一定机器规模，每天挂掉一些机器很正常），同样主要还是分成了无状态和有状态：

无状态场景

对于无状态场景，通常好办，只用节点发现的机制上具备心跳等检测机制就OK，经验上来说无非就是纯粹靠4层的检测对业务不太够，通常得做成7层的，当然，做成7层的就得处理好规模大了后的问题。

有状态场景

对于有状态场景，就比较麻烦了，对数据一致性要求不高的还OK，主备类型的方案基本也可以用，当然，主备方案要做的很好也非常不容易，有各种各样的方案，对于主备方案又觉得不太爽的情况下，例如HBase这样的，就意味着挂掉一台，另外一台接管的话是需要一定时间的，这个对可用性还是有一定影响的；

全局一致类型的场景中，如果一台挂了，就通常意味着得有选举机制来决定其他机器哪台成为主，常见的例如基于paxos的实现。

可维护性

维护性是很容易被遗漏的部分，但对分布式系统来说其实是很重要的部分，例如整个系统环境应该怎么搭建，部署，配套的维护工具、监控点、报警点、问题定位、问题处理策略等等。

⑵ java分布式技术都包括什么能详细列举么

分布式是一种思想，范围很广，我得先知道它的诞生：

1. 以前是一个数据库 一个JSP 就可以做一个应用了，后来随着业务复杂，我们开始分层，比如MVC之类的，再后来我们的数据越来越多了，比如有上亿的数据，这个时候我们一个数据库查询太慢了，就开始分库，这也算是分布式的一种。

2. 还有比如我们的系统访问的人多了，比如双11，上千万人同时访问，我们的服务器（网站）支持不住了，这个时候就要部署到很多个服务器，每个服务器分摊请求，这也是分布式

3. 当然随着业务扩大， 我们得分业务了，比如注册登录的，物流的，卖东西的 等等，不同的系统，但是各个系统之间进行协调，也算分布式一种

以上都算是分布式的来源，主要是解决 压力过大，大家协同工作的，那么这就涉及到一些常用的东西，或者像你说的的技术

1.你用N个数据库才放数据，至少CRUD 方面就 麻烦些了，得用cobar,tddl,mysql-proxy 等协调

2.服务器：你部署了很多服务器，肯定得用个东西来分发请求这些吧，nginx,apache 等分发请求。

3.你公司有很多系统，想很好的联系在一起，光用接口不满足了，得用一些JMS ,像activemq,ons 之类的来协调吧

4.为了解决io问题，得加缓存吧，那么缓存对应上面的，也得分布式吧，就涉及memcache,redies 等等

上面就简单的介绍了下 分布式 的东西，还有很多啦，这是常用的一些，希望你能慢慢来，不是一下子 能理解得

⑶ 分布式常用技术有哪些

这个太多了，大数据方面常用的分布式存储技术为HDFS、HBase，分布式计算技术有MapRece、Spark等等。

⑷ java 分布式 用到哪些技术

分布式是一种思想，范围很广，我得先知道它的诞生： 以前是一个数据库 一个JSP 就可以做一个应用了，后来随着业务复杂，我们开始分层，比如MVC之类的，再后来我们的数据越来越多了，比如有上亿的数据，这个时候我们一个数据库查询太慢了，就开始分库，这也算是分布式的一种。 还有比如我们的系统访问的人多了，比如双11，上千万人同时访问，我们的服务器（网站）支持不住了，这个时候就要部署到很多个服务器，每个服务器分摊请求，这也是分布式 当然随着业务扩大， 我们得分业务了，比如注册登录的，物流的，卖东西的 等等，不同的系统，但是各个系统之间进行协调，也算分布式一种
当时在远标培训这些都学得比较全面。

⑸ 如何学习分布式系统

有一些系统设计基础的话，给你推荐几本书吧： 《面向模式的软件架构 卷4：分布式计算的模式语言》出版社：人民邮电出版社 主要讲分布式计算系统软件的设计和实现。 偏软件方向，相对较专业。 《分布式计算（第二版）》出版社：电子工业出版社 主要介绍分布式计算的数学基础和理论，揭示设计分布式系统的底层问题（通信、协调、同步及不确定）和基本的算法概念及下界技术。 容易理解，适合自学。 《分布式系统原理与范型》出版社：清华大学出版社 全书的第一部分讨论了分布式系统的原理、概念和技术，其中包括通信、进程、命名、同步、一致性和复制、容错以及安全。第二部分给出了一些实际的分布式系统：基于对象的分布式系统、分布式文件系统、基于文档的分布式系统以及基于协作的分布式系统，介绍了一些实际系统的设计思想和实现技术。 容易理解，适合自学。

⑹ 分布式架构需要哪些技术

我做过50w用户的小型棋牌游戏。 当时使用了20台服务器集群，前段服务器用websocket和客户端连接， 服务器是c++写的。 之后据说被人用nodejs重构了...
大致说一下吧。 分布式有逻辑层和数据层这一分。而且架构也分前端（处理客户端连接和session管理）后端（负责数据， 业务）还有lbs服务器。 一般客户端访问lbs服务器， 会得到一个路由（前段服务器的ip），然后连接到前端上。 前端会生成session以及连接， 用户通过前端的接口来访问后端服务器来完成数据交互，
用到的技术有redis（数据共享以及缓存） mq（解耦合以及服务器之前的消息发送） rpc（服务器之间的数据实时同步） sysstat（子服务器状态监控）nginx（负载均衡。

⑺ 搭建一个大型网站分布式架构需要哪些技术

大型分布式网站架构设计与实践 这本书可以看看。

⑻ 要在java分布式开发领域发展，需要学习的技术路线

先理解为什么需要分布式，因为服务器处理的能力需要提升，这里有两个方面，第一是纵向 也就是增加cpu的能力，或者加内存；另一个方向就是 横向 ，就是分布式。将本来一台计算机的压力分给多太计算机，从而可以平均分布io，同时提升响应速度。
建议先从分布式 数据库看起，之后你可以用 虚拟机,和 本机进行测试 分布式数据库。
之后你可以使用 java操作这种分布式 数据库。
从而 依旧用虚拟机练习web项目，将原来的项目改为分布的，练练tomcat集群。
最好的学习方式就是项目驱动，做几个分布式的项目就差不多了。 从项目中逐渐找自己不会的知识点去学习是最快的。

⑼ 网站分布式技术有哪些

分布式软件系统(Distributed Software Systems)是支持分布式处理的软件系统,是在由通信网络互联的多处理机体系结构上执行任务的系统。它包括分布式操作系统、分布式程序设计语言及其编译(解释)系统、分布式文件系统和分布式数据库系统等。

分布式操作系统负责管理分布式处理系统资源和控制分布式程序运行。它和集中式操作系统的区别在于资源管理、进程通信和系统结构等方面。也可以利用nicebox来进行。

分布式程序设计语言用于编写运行于分布式计算机系统上的分布式程序。一个分布式程序由若干个可以独立执行的程序模块组成,它们分布于一个分布式处理系统的多台计算机上被同时执行。它与集中式的程序设计语言相比有三个特点：分布性、通信性和稳健性。

分布式文件系统具有执行远程文件存取的能力,并以透明方式对分布在网络上的文件进行管理和存取。

⑽ 当前最流行的分布式对象技术有哪些

分布式对象技术(DOT-Distributed Object Technology)是当前国内外学术界和企业应用界研究与应用的热点,是关于在分布式网络计算环境下分布式对象特性和应用的研究技术,以组件技术、网络技术、体系结构技术、分布式系统技术和软件工程技术等当前热点技术为支撑,代表了未来重用和分布式领域理论和应用的研究方向.该论文在系统分析和总结前人工作基础上,对DOT展开理论基础、体系结构、管理技术、分析建模和实践应用的研究和实践.