并行编程技术采用什么模式的思想

Ⅰ 并行技术的介绍

并行技术可分为三类，分别是线程库、消息传递库和编译器支持。线程库可实现对线程的显性控制；如果需要对线程进行精细管理，可以考虑使用这些显性线程技术。借助消息传递库，应用程序可同时利用多台计算机，它们彼此间不必共享同一内存空间。MPI 广泛应用于科学计算领域。第三项技术是在编译器中实现的线程处理支持，采用的形式自动并行化。一旦将线程处理引入到应用程序中，开发人员就可能要面对一系列新的编程缺陷（Bug）。其中许多缺陷是难以检测到的，需要付出额外的时间和关注以确保程序的正确运行。并行技术可以分为多进程编程和多线程编程。人们总会用某种IPC(inter-process communication，进程间通信)的形式来实现进程间同步，如管道(pipes)，信号量(semaphores)，信息队列(message queues)，或者共享存储(shared memory)。在所有的这些IPC形式中，共享存储器是最快的(除了门(doors)之外)。在处理进程间资源管理，IPC和同步时，你可以选择 POSIX或者System V的定义。

Ⅱ MPI的MPI并行编程

并行编程模式
对等模式—程序的各个部分地位相同,功能和代码基本一致,只是处理的数据或对象不同；主从模式—程序通信进程之间的一种主从或依赖关系 。
点对点通信模式
阻塞—发送完成的数据已经拷贝出发送缓冲区,即发送缓冲区可以重新分配使用,阻塞接受的完成意味着接收数据已经拷贝到接收缓冲区,即接收方已可以使用。非阻塞—在必要的硬件支持下,可以实现计算和通信的重叠。4种通信模式：标准通信模式、缓存通信模式、同步通信模式、就绪通信模式 。颤模
组通信
一个特定组内所有进程都参加全局的数据处理和通信操作 。
功能：通信—组内数据的传输；同步—所有进程在特定的点上取得一致；计算—对给定的数据完成一定的操茄搏缓作 。
类型：1）数据移动：广播（mpi bcast） 收集（mpi gather） 散射（mpi scater）组收集（mpi all gather）全交换银敬（all to all）；2）聚集：规约（mpi rece）将组内所有的进程输入 缓冲区中的数据按，定操作OP进行运算,并将起始结果返回到root进程的接收缓冲区扫描（mpi scan）要求每一个进程对排在它前面的进程进行规约操作,结果存入自身的输出缓冲区；3）同步：路障（mpi barrier）实现通信域内所有进程互相同步,它们将处于等待状态,直到所有进程执行它们各自的MPI-BARRIER调用 。

Ⅲ mpi是什么意思

MPI是多点接口(Multi Point Interface)的简称，是西门子公司开发的用于PLC之间通讯的保密的协议。

MPI通讯是当通信速率要求不高、通信数据量不大时，可以采丛山用的一种简单经济的通讯方式。MPI通信可使用PLC S7-200/300/400、操饥绝作面板TP/OP及上位机MPI/PROFIBUS通信卡如CP5512/CP5611/CP5613等进行数据烂郑姿交换。

MPI网络的通信速率为19.2Kbps~12Mbps，最多可以连接32个节点，最大通讯距离为50m，但是可以通过中继器来扩展长度。

并行编程模式：

对等模式—程序的各个部分地位相同,功能和代码基本一致,只是处理的数据或对象不同；主从模式—程序通信进程之间的一种主从或依赖关系。

点对点通信模式：

阻塞—发送完成的数据已经拷贝出发送缓冲区,即发送缓冲区可以重新分配使用,阻塞接受的完成意味着接收数据已经拷贝到接收缓冲区,即接收方已可以使用。非阻塞—在必要的硬件支持下,可以实现计算和通信的重叠。4种通信模式：标准通信模式、缓存通信模式、同步通信模式、就绪通信模式。

Ⅳ 并行编程技术是谁的核心技术体系

并行编程技术是谁的核心技术体系
在摩尔定律失效之前，提升处理器性能通过主频提升、硬件超线程等技术就能满足应用需要。随着主频提升慢慢接近撞上光速这道墙，摩尔定律开始逐渐失效，多核集成为处理器性能提升的主流手段。现在市面上已经很难看到单核的处理器，就是这一发展趋势的佐证。要充分发挥多核丰富的计算资源优势，多核下的并行编程就不可避免，Linux kernel就是一典型的多核并行编程哗袭纤场景。但多核下的并行编程却挑战多多。

多核并行编程的挑战

目前主流的计算机都是冯诺依曼架构，即共享内存的计算模型，这种过程计算模乱仿型对并行计算并不友好。下图是一种典型的计算机硬件体系架构。

这种架构中，有如下设计特点：

多个CPU核改善处理器的计算处理能力；
多级cache改善CPU访问主存的效率；
各个CPU都有本地内存（NUMA（非一致性内存访问）），进一步改善CPU访问主存的效率；
store buffer模块改善cache write由于应答延迟而造成的写停顿问题；
invalidate queue模块改善使无效应答的时延，把使无效命令放入queue后就立即发送应答；
外设DMA支持直接访问主存，改善CPU使用效率；
这些硬件体系设计特点也引入很多问题，最大的问题就是cache一致性问题和乱序执行问题。

cache一致性问题由cache一致性协议MESI解决，MESI由硬件保禅逗证，对软件来说是透明的。MESI协议保证所有CPU对单个cache line中单个变量修改的顺序保持一致，但不保证不同变量的修改在所有CPU上看到的是相同顺序。这就造成了乱序。不仅如此，乱序的原因还有很多：

store buffer引起的延迟处理，会造成乱序；
invalidate queue引起的延迟处理，会造成乱序；
编译优化，会造成乱序；
分支预测、多流水线等CPU硬件优化技术，会造成乱序；
外设DMA，会造成数据乱序；
这种情况造成，就连简单的++运算操作的原子性都无法保证。这些问题必须采用多核并行编程新的技术手段来解决。

多核并行编程关键技术

锁技术

Linux kernel提供了多种锁机制，如自旋锁、信号量、互斥量、读写锁、顺序锁等。各种锁的简单比较如下，具体实现和使用细节这里就不展开了，可以参考《Linux内核设计与实现》等书的相关章节。

自旋锁，不休眠，无进程上下文切换开销，可以用在中断上下文和临界区小的场合；
信号量，会休眠，支持同时多个并发体进入临界区，可以用在可能休眠或者长的临界区的场合；
互斥量，类似与信号量，但只支持同时只有一个并发体进入临界区；
读写锁，支持读并发，写写/读写间互斥，读会延迟写，对读友好，适用读侧重场合；
顺序锁，支持读并发，写写/读写间互斥，写会延迟读，对写友好，适用写侧重场合；
锁技术虽然能有效地提供并行执行下的竞态保护，但锁的并行可扩展性很差，无法充分发挥多核的性能优势。锁的粒度太粗会限制扩展性，粒度太细会导致巨大的系统开销，而且设计难度大，容易造成死锁。除了并发可扩展性差和死锁外，锁还会引入很多其他问题，如锁惊群、活锁、饥饿、不公平锁、优先级反转等。不过也有一些技术手段或指导原则能解决或减轻这些问题的风险。

按统一的顺序使用锁（锁的层次），解决死锁问题；
指数后退，解决活锁/饥饿问题；
范围锁（树状锁），解决锁惊群问题；
优先级继承，解决优先级反转问题 ；
原子技术

原子技术主要是解决cache和内存不一致性和乱序执行对原子访问的破坏问题。Linux kernel中主要的原子原语有：

ACCESS_ONCE()、READ_ONCE() and WRITE_ONCE()：禁止编译器对数据访问的优化，强制从内存而不是缓存中获取数据；
barrier()：乱序访问内存屏障，限制编译器的乱序优化；
smb_wmb()：写内存屏障，刷新store buffer，同时限制编译器和CPU的乱序优化；
smb_rmb()：读内存屏障，刷新invalidate queue，同时限制编译器和CPU的乱序优化；
smb_mb()：读写内存屏障，同时刷新store buffer和invalidate queue，同时限制编译器和CPU的乱序优化；
atomic_inc()/atomic_read()等：整型原子操作；
严格来说，Linux kernel作为系统软件，实现受硬件影响很大，不同硬件有不同的内存模型，因此，不同于高级语言，Linux kernel的原子原语语义并没有一个统一模型。比如在SMP的ARM64 CPU上，barrier、smb_wmb、smb_rmb的实现与smb_mb都是一样的，都是volatile ("" ::: "memory")。

另外，再多提一句的是，atomic_inc()原语为了保证原子性，需要对cache进行刷新，而缓存行在多核体系下传播相当耗时，其多核下的并行可扩展性差。

无锁技术

上一小节中所提到的原子技术，是无锁技术中的一种，除此之外，无锁技术还包括RCU、Hazard pointer等。值得一提的是，这些无锁技术都基于内存屏障实现的。

Hazard pointer主要用于对象的生命周期管理，类似引用计数，但比引用计数有更好的并行可扩展性；
RCU适用的场景很多，其可以替代：读写锁、引用计数、垃圾回收器、等待事物结束等，而且有更好的并行扩展性。但RCU也有一些不适用的场景，如写侧重；临界区长；临界区内休眠等场景。
不过，所有的无锁原语也只能解决读端的并行可扩展性问题，写端的并行可扩展性只能通过数据分割技术来解决。

数据分割技术

分割数据结构，减少共享数据，是解决并行可扩展性的根本办法。对分割友好（即并行友好）的数据结构有：

数组
哈希表
基树（Radix Tree）/稀疏数组
跳跃列表（skip list）
使用这些便于分割的数据结构，有利于我们通过数据分割来改善并行可扩展性。

除了使用合适的数据结构外，合理的分割指导规则也很重要：

读写分割：以读为主的数据与以写为主的数据分开；
路径分割：按独立的代码执行路径来分割数据；
专项分割：把经常更新的数据绑定到指定的CPU/线程中；
所有权分割：按CPU/线程个数对数据结构进行分割，把数据分割到per-cpu/per-thread中；
4种分割规则中，所有权分割是分割最彻底的。

以上这些多核并行编程内容基本上涵盖了Linux kernel中所有的并发编程关键技术。当然并行编程还有很多其他技术没有应用到Linux kernel中的，如无副作用的并行函数式编程技术（Erlang/Go等）、消息传递、MapRece等等。

Ⅳ 什么是并行工程并行开发模式有哪些优点

并行工程（Concurrent Engineering） 并行工程是对产品及其相关过程（包括制造过程和支持过程）进行并行、集成化处理的系统方法和综合技术。并行工程具有以下五个方面的特点：
1、基于集成制造的并行性。
2、并行有序。
3、碧含陵群组协同。
4、面向工程老嫌的设计。
5、计算机仿真技术
并行工程(Concurrent Engineering) 并行工程是对产品及其相关过程（包括制造过程和支持过程）进行并行、集成化处理的系统方法和综合技术。它要求产品开发人员从设计开始就考虑产品寿命周期的全过程，不仅要考虑产品的各项性能，如质量、成本和用户要求，还应考虑与产品有关的悔戚各工艺过程的质量及服务的质量。它通过提高设计质量来缩短设计周期，通过优化生产过程来提高生产效率，通过降低产品整个寿命周期的消耗，如产品生产过程中原材料消耗、工时消耗等，以降低生产成本。

Ⅵ 并行编程(Future)

说到并行，常见的几种模式 “回调驱动（多线程环境下）”、“消息/事件驱动（Actor模型中）。
回调是最常见的异步并发模式，它有即时性高、接口设计简单等有点。但相对于Future，其缺点也非常明显。
首先，多线程环境下的回调一般是在触发回调的模块线程中执行的，这就意味着编写回调方法时通常必须考虑线程互斥问题
其次，回调方式接口的提供者在本模块的线程中执行用户应用的回调也是相对不安全的，因为你无法确定它会花费多长时间或出现什么异常，从而可能间接导致本模块的即时性和可靠性受影响；
再者，使用回调接口不利于顺序流程的开发，因为回调方法的执行是孤立的，要与正常流程汇合是比较困难的。因此回调接口适合于在回调中只需要完成简单任务，并且不必与其它流程汇合的场景。

Future对象本身可以看作是一个显式的引用，一个对异步处理结果的引用,可以通过调用Future.isDone()判断引用的对象是否就绪，并采取不同的处理；而后一种情况则只需调用get()或
get(long timeout, TimeUnit unit)通过同步阻塞方式等待对象就绪。实际运行期是阻塞还是立即返回就取决于get()的调用时机和对象就绪的先后了.

除了上面提到的基础形态之外，Future还有丰富的衍生变化，这里就列举几个常见的。

与一般的Future不同，Lazy Future在创建之初不会主动开始准备引用的对象，而是等到请求对象时才开始相应的工作。因此，Lazy Future本身并不是为了实现并发，而是以节约不必要的运算资源为出发点，效果上与Lambda/Closure类似。例如设计某些API时，你可能需要返回一组信息，而其中某些信息的计算可能会耗费可观的资源。但调用者不一定都关心所有的这些信息，因此将那些需要耗费较多资源的对象以Lazy Future的形式提供，可以在调用者不需要用到特定的信息时节省资源。

另外Lazy Future也可以用于避免过早的获取或锁定资源而产生的不必要的互斥。

Promise可以看作是Future的一个特殊分支，常见的Future一般是由服务调用者直接触发异步处理流程，比如调用服务时立即触发处理或 Lazy Future的取值时触发处理。但Promise则用于显式表示那些异步流程并不直接由服务调用者触发的情景。例如Future接口的定时控制，其异步流程不是由调用者，而是由系统时钟触发，再比如淘宝的分布式订阅框架提供的Future式订阅接口，其等待数据的可用性不是由订阅者决定，而在于发布者何时发布或更新数据。因此，相对于标准的Future，Promise接口一般会多出一个set()或fulfill()接口。

常规的Future是一次性的，也就是说当你获得了异步的处理结果后，Future对象本身就失去意义了。但经过特殊设计的Future也可以实现复用，这对于可多次变更的数据显得非常有用。例如前面提到的淘宝分布式订阅框架所提供的Future式接口，它允许多次调用waitNext()方法（相当于Future.get()），每次调用时是否阻塞取决于在上次调用后是否又有数据发布，如果尚无更新，则阻塞直到下一次的数据发布。这样设计的好处是，接口的使用者可以在其任何合适的时机，或者直接简单的在独立的线程中通过一个无限循环响应订阅数据的变化，同时还可兼顾其它定时任务，甚至同时等待多个Future。简化的例子如下：

for (;;) {
schele = getNextScheledTaskTime();
while(schele > now()) {
try {
data = subscription.waitNext(schele - now());
processData(data);
} catch(Exception e) {...}
}
doScheledTask();
}

【原文来自： http://www.cnblogs.com/uptownBoy/articles/1772483.html 】

Ⅶ pfs是什么意思

PFS（敬乎如Program Fit Size）是一种编程优化策略，主要用于提高程序运行效率。它的核心思想是将程序分解为更小的片段，然后将这些片段分配到计算机的不同处理器核心上并行执行，以实现更高的运行速度。在多核处理器时代，并行编程成为提高性能的关键技术之一。

3. 降低延迟：并行执行可以减少程序执行的总时间，从而降低延迟。这对于实时响应和交互式应用程序特别有帮助。

4. 代码易于实现：PFS通常采用迭代或递归的方式将程序分解为更小的部分。这使得程序员可以更容易地理解和实现并行代码，同时保持代码的可读性和可维护性。

然而，PFS也存在一些挑战和限制：

1. 并行性和可扩展性：实现高效的并行编程需要对问题进行恰当的分解，以确保所有并行部分都能有效地协同工作。

2. 同步和互斥：为了避免并行执行的程序之间出现竞争条件和死锁亮启现象，需要正确设计和实现同步和互斥机制。

3. 调度和负载均衡：在多核处理器上，需要根据不同核心的性能和负载情况动态地分配任务，以实现更高的资源利用率和性能。

总之，PFS是一种在多核处理器时代提高程序性能的有效策略。通过合理地分解程序、并行执行任务以及正确地实现同步和互斥机制，可以显着提高程序的执行效率。然而，实现高效的PFS需要对并行编程、调度策略和系统性能有深入的了解和实践经验。

Ⅷ 云计算主要学习什么内容，这个是属于一个新专业吗

云计算和大数据都属于互联网催生的新专业

云计算的关键技术有三大点：

⑴虚拟化技术：云计算的虚拟化技术不同于传统的单一虚拟化，它是涵盖整个IT架构的，包括资源、网络、应用和桌面在内的全系统虚拟化，它的优势在于能够把所有硬件设备、软件应用和数据隔离开来，打破硬件配置、软件部署和数据分布的界限，实现IT架构的动态化，实现资源集中管理，使应用能够动态地使用虚拟资源和物理资源，提高系统适应需求和环境的能力。

对于信息系统仿真，云计算虚拟化技术的应用意义并不仅仅在于提高资源利用率并降低 成本，更大的意义是提供强大的计算能力。众所周知，信息系统仿真系统是一种具有超大计算量的复杂系统，计算能力对于系统运行效率、精度和可靠性影响很大，而虚拟化技术可以将大量分散的、没有得到充分利用的计算能力，整合到计算高负荷的计算机或服务器上，实现全网资源统一调度使用，友败从而在存储、传输、运算等多个计算方面达到高效。

⑵分布式资源管理技术：信息系统仿真系统在大多数情况下会处在多节点并发执行环境中，要保证系统状态的正确性，必须保证分布数据的一致性。为了分布的一致性问题，计算机界的很多公亮扮司和研究人员提出了各种各样的协议，这些协议即是一些需要遵循的规则，也就是说，在云计算出现之前，解决分布的一致性问题是靠众多协议的。但对于大规模，甚至超大规模的分布式系统来说，无法保证各个分系统、子系统都使用同样的协议，也就无法保证分布的一致性问题得到解决。云计算中的分布式资源管理技术圆满解决了这一问题。Google公司的Chubby是最着名的分布式资源管理好键颤系统，该系统实现了Chubby服务锁机制，使得解决分布一致性问题的不再仅仅依赖一个协议或者是一个算法，而是有了一个统一的服务(service)。

⑶并行编程技术：云计算采用并行编程模式。在并行编程模式下，并发处理、容错、数据分布、负载均衡等细节都被抽象到一个函数库中，通过统一接口，用户大尺度的计算任务被自动并发和分布执行，即将一个任务自动分成多个子任务，并行地处理海量数据。

对于信息系统仿真这种复杂系统的编程来说，并行编程模式是一种颠覆性的革命，它是在网络计算等一系列优秀成果上发展而来的，所以更加淋漓尽致地体现了面向服务的体系架构(SOA)技术。可以预见，如果将这一并行编程模式引入信息系统仿真领域，定会带来信息系统仿真软件建设的跨越式进步。

如果你想要专业的学习云计算，更多需要的是付出时间和精力。课工场的课程很不错，你可以根据自己的实际需求去实地看一下，先好好试听之后，再选择适合自己的。只要努力学到真东西，前途自然不会差。

Ⅸ 并行编程技术，什么是并行编程技术

并行编程通常是指软件代码，它促进在同一时间执行多个计算任务的性能。
这有点像有一个操场上有20个滑梯而不是一个。孩子们不必排队等待轮到自己，因为他们可以同时玩。你可以使用电脑鼠标，一边听在线广播，一边更新电子表格中的信息，并对你的个人电脑做病毒扫描，这唯一的理由就是并发编程。