並行編程技術採用什麼模式的思想

Ⅰ 並行技術的介紹

並行技術可分為三類，分別是線程庫、消息傳遞庫和編譯器支持。線程庫可實現對線程的顯性控制；如果需要對線程進行精細管理，可以考慮使用這些顯性線程技術。藉助消息傳遞庫，應用程序可同時利用多台計算機，它們彼此間不必共享同一內存空間。MPI 廣泛應用於科學計算領域。第三項技術是在編譯器中實現的線程處理支持，採用的形式自動並行化。一旦將線程處理引入到應用程序中，開發人員就可能要面對一系列新的編程缺陷（Bug）。其中許多缺陷是難以檢測到的，需要付出額外的時間和關注以確保程序的正確運行。並行技術可以分為多進程編程和多線程編程。人們總會用某種IPC(inter-process communication，進程間通信)的形式來實現進程間同步，如管道(pipes)，信號量(semaphores)，信息隊列(message queues)，或者共享存儲(shared memory)。在所有的這些IPC形式中，共享存儲器是最快的(除了門(doors)之外)。在處理進程間資源管理，IPC和同步時，你可以選擇 POSIX或者System V的定義。

Ⅱ MPI的MPI並行編程

並行編程模式
對等模式—程序的各個部分地位相同,功能和代碼基本一致,只是處理的數據或對象不同；主從模式—程序通信進程之間的一種主從或依賴關系 。
點對點通信模式
阻塞—發送完成的數據已經拷貝出發送緩沖區,即發送緩沖區可以重新分配使用,阻塞接受的完成意味著接收數據已經拷貝到接收緩沖區,即接收方已可以使用。非阻塞—在必要的硬體支持下,可以實現計算和通信的重疊。4種通信模式：標准通信模式、緩存通信模式、同步通信模式、就緒通信模式 。顫模
組通信
一個特定組內所有進程都參加全局的數據處理和通信操作 。
功能：通信—組內數據的傳輸；同步—所有進程在特定的點上取得一致；計算—對給定的數據完成一定的操茄搏緩作 。
類型：1）數據移動：廣播（mpi bcast） 收集（mpi gather） 散射（mpi scater）組收集（mpi all gather）全交換銀敬（all to all）；2）聚集：規約（mpi rece）將組內所有的進程輸入 緩沖區中的數據按，定操作OP進行運算,並將起始結果返回到root進程的接收緩沖區掃描（mpi scan）要求每一個進程對排在它前面的進程進行規約操作,結果存入自身的輸出緩沖區；3）同步：路障（mpi barrier）實現通信域內所有進程互相同步,它們將處於等待狀態,直到所有進程執行它們各自的MPI-BARRIER調用 。

Ⅲ mpi是什麼意思

MPI是多點介面(Multi Point Interface)的簡稱，是西門子公司開發的用於PLC之間通訊的保密的協議。

MPI通訊是當通信速率要求不高、通信數據量不大時，可以采叢山用的一種簡單經濟的通訊方式。MPI通信可使用PLC S7-200/300/400、操飢絕作面板TP/OP及上位機MPI/PROFIBUS通信卡如CP5512/CP5611/CP5613等進行數據爛鄭姿交換。

MPI網路的通信速率為19.2Kbps~12Mbps，最多可以連接32個節點，最大通訊距離為50m，但是可以通過中繼器來擴展長度。

並行編程模式：

對等模式—程序的各個部分地位相同,功能和代碼基本一致,只是處理的數據或對象不同；主從模式—程序通信進程之間的一種主從或依賴關系。

點對點通信模式：

阻塞—發送完成的數據已經拷貝出發送緩沖區,即發送緩沖區可以重新分配使用,阻塞接受的完成意味著接收數據已經拷貝到接收緩沖區,即接收方已可以使用。非阻塞—在必要的硬體支持下,可以實現計算和通信的重疊。4種通信模式：標准通信模式、緩存通信模式、同步通信模式、就緒通信模式。

Ⅳ 並行編程技術是誰的核心技術體系

並行編程技術是誰的核心技術體系
在摩爾定律失效之前，提升處理器性能通過主頻提升、硬體超線程等技術就能滿足應用需要。隨著主頻提升慢慢接近撞上光速這道牆，摩爾定律開始逐漸失效，多核集成為處理器性能提升的主流手段。現在市面上已經很難看到單核的處理器，就是這一發展趨勢的佐證。要充分發揮多核豐富的計算資源優勢，多核下的並行編程就不可避免，Linux kernel就是一典型的多核並行編程嘩襲纖場景。但多核下的並行編程卻挑戰多多。

多核並行編程的挑戰

目前主流的計算機都是馮諾依曼架構，即共享內存的計算模型，這種過程計算模亂仿型對並行計算並不友好。下圖是一種典型的計算機硬體體系架構。

這種架構中，有如下設計特點：

多個CPU核改善處理器的計算處理能力；
多級cache改善CPU訪問主存的效率；
各個CPU都有本地內存（NUMA（非一致性內存訪問）），進一步改善CPU訪問主存的效率；
store buffer模塊改善cache write由於應答延遲而造成的寫停頓問題；
invalidate queue模塊改善使無效應答的時延，把使無效命令放入queue後就立即發送應答；
外設DMA支持直接訪問主存，改善CPU使用效率；
這些硬體體系設計特點也引入很多問題，最大的問題就是cache一致性問題和亂序執行問題。

cache一致性問題由cache一致性協議MESI解決，MESI由硬體保禪逗證，對軟體來說是透明的。MESI協議保證所有CPU對單個cache line中單個變數修改的順序保持一致，但不保證不同變數的修改在所有CPU上看到的是相同順序。這就造成了亂序。不僅如此，亂序的原因還有很多：

store buffer引起的延遲處理，會造成亂序；
invalidate queue引起的延遲處理，會造成亂序；
編譯優化，會造成亂序；
分支預測、多流水線等CPU硬體優化技術，會造成亂序；
外設DMA，會造成數據亂序；
這種情況造成，就連簡單的++運算操作的原子性都無法保證。這些問題必須採用多核並行編程新的技術手段來解決。

多核並行編程關鍵技術

鎖技術

Linux kernel提供了多種鎖機制，如自旋鎖、信號量、互斥量、讀寫鎖、順序鎖等。各種鎖的簡單比較如下，具體實現和使用細節這里就不展開了，可以參考《Linux內核設計與實現》等書的相關章節。

自旋鎖，不休眠，無進程上下文切換開銷，可以用在中斷上下文和臨界區小的場合；
信號量，會休眠，支持同時多個並發體進入臨界區，可以用在可能休眠或者長的臨界區的場合；
互斥量，類似與信號量，但只支持同時只有一個並發體進入臨界區；
讀寫鎖，支持讀並發，寫寫/讀寫間互斥，讀會延遲寫，對讀友好，適用讀側重場合；
順序鎖，支持讀並發，寫寫/讀寫間互斥，寫會延遲讀，對寫友好，適用寫側重場合；
鎖技術雖然能有效地提供並行執行下的競態保護，但鎖的並行可擴展性很差，無法充分發揮多核的性能優勢。鎖的粒度太粗會限制擴展性，粒度太細會導致巨大的系統開銷，而且設計難度大，容易造成死鎖。除了並發可擴展性差和死鎖外，鎖還會引入很多其他問題，如鎖驚群、活鎖、飢餓、不公平鎖、優先順序反轉等。不過也有一些技術手段或指導原則能解決或減輕這些問題的風險。

按統一的順序使用鎖（鎖的層次），解決死鎖問題；
指數後退，解決活鎖/飢餓問題；
范圍鎖（樹狀鎖），解決鎖驚群問題；
優先順序繼承，解決優先順序反轉問題 ；
原子技術

原子技術主要是解決cache和內存不一致性和亂序執行對原子訪問的破壞問題。Linux kernel中主要的原子原語有：

ACCESS_ONCE()、READ_ONCE() and WRITE_ONCE()：禁止編譯器對數據訪問的優化，強制從內存而不是緩存中獲取數據；
barrier()：亂序訪問內存屏障，限制編譯器的亂序優化；
smb_wmb()：寫內存屏障，刷新store buffer，同時限制編譯器和CPU的亂序優化；
smb_rmb()：讀內存屏障，刷新invalidate queue，同時限制編譯器和CPU的亂序優化；
smb_mb()：讀寫內存屏障，同時刷新store buffer和invalidate queue，同時限制編譯器和CPU的亂序優化；
atomic_inc()/atomic_read()等：整型原子操作；
嚴格來說，Linux kernel作為系統軟體，實現受硬體影響很大，不同硬體有不同的內存模型，因此，不同於高級語言，Linux kernel的原子原語語義並沒有一個統一模型。比如在SMP的ARM64 CPU上，barrier、smb_wmb、smb_rmb的實現與smb_mb都是一樣的，都是volatile ("" ::: "memory")。

另外，再多提一句的是，atomic_inc()原語為了保證原子性，需要對cache進行刷新，而緩存行在多核體系下傳播相當耗時，其多核下的並行可擴展性差。

無鎖技術

上一小節中所提到的原子技術，是無鎖技術中的一種，除此之外，無鎖技術還包括RCU、Hazard pointer等。值得一提的是，這些無鎖技術都基於內存屏障實現的。

Hazard pointer主要用於對象的生命周期管理，類似引用計數，但比引用計數有更好的並行可擴展性；
RCU適用的場景很多，其可以替代：讀寫鎖、引用計數、垃圾回收器、等待事物結束等，而且有更好的並行擴展性。但RCU也有一些不適用的場景，如寫側重；臨界區長；臨界區內休眠等場景。
不過，所有的無鎖原語也只能解決讀端的並行可擴展性問題，寫端的並行可擴展性只能通過數據分割技術來解決。

數據分割技術

分割數據結構，減少共享數據，是解決並行可擴展性的根本辦法。對分割友好（即並行友好）的數據結構有：

數組
哈希表
基樹（Radix Tree）/稀疏數組
跳躍列表（skip list）
使用這些便於分割的數據結構，有利於我們通過數據分割來改善並行可擴展性。

除了使用合適的數據結構外，合理的分割指導規則也很重要：

讀寫分割：以讀為主的數據與以寫為主的數據分開；
路徑分割：按獨立的代碼執行路徑來分割數據；
專項分割：把經常更新的數據綁定到指定的CPU/線程中；
所有權分割：按CPU/線程個數對數據結構進行分割，把數據分割到per-cpu/per-thread中；
4種分割規則中，所有權分割是分割最徹底的。

以上這些多核並行編程內容基本上涵蓋了Linux kernel中所有的並發編程關鍵技術。當然並行編程還有很多其他技術沒有應用到Linux kernel中的，如無副作用的並行函數式編程技術（Erlang/Go等）、消息傳遞、MapRece等等。

Ⅳ 什麼是並行工程並行開發模式有哪些優點

並行工程（Concurrent Engineering） 並行工程是對產品及其相關過程（包括製造過程和支持過程）進行並行、集成化處理的系統方法和綜合技術。並行工程具有以下五個方面的特點：
1、基於集成製造的並行性。
2、並行有序。
3、碧含陵群組協同。
4、面向工程老嫌的設計。
5、計算機模擬技術
並行工程(Concurrent Engineering) 並行工程是對產品及其相關過程（包括製造過程和支持過程）進行並行、集成化處理的系統方法和綜合技術。它要求產品開發人員從設計開始就考慮產品壽命周期的全過程，不僅要考慮產品的各項性能，如質量、成本和用戶要求，還應考慮與產品有關的悔戚各工藝過程的質量及服務的質量。它通過提高設計質量來縮短設計周期，通過優化生產過程來提高生產效率，通過降低產品整個壽命周期的消耗，如產品生產過程中原材料消耗、工時消耗等，以降低生產成本。

Ⅵ 並行編程(Future)

說到並行，常見的幾種模式 「回調驅動（多線程環境下）」、「消息/事件驅動（Actor模型中）。
回調是最常見的非同步並發模式，它有即時性高、介面設計簡單等有點。但相對於Future，其缺點也非常明顯。
首先，多線程環境下的回調一般是在觸發回調的模塊線程中執行的，這就意味著編寫回調方法時通常必須考慮線程互斥問題
其次，回調方式介面的提供者在本模塊的線程中執行用戶應用的回調也是相對不安全的，因為你無法確定它會花費多長時間或出現什麼異常，從而可能間接導致本模塊的即時性和可靠性受影響；
再者，使用回調介面不利於順序流程的開發，因為回調方法的執行是孤立的，要與正常流程匯合是比較困難的。因此回調介面適合於在回調中只需要完成簡單任務，並且不必與其它流程匯合的場景。

Future對象本身可以看作是一個顯式的引用，一個對非同步處理結果的引用,可以通過調用Future.isDone()判斷引用的對象是否就緒，並採取不同的處理；而後一種情況則只需調用get()或
get(long timeout, TimeUnit unit)通過同步阻塞方式等待對象就緒。實際運行期是阻塞還是立即返回就取決於get()的調用時機和對象就緒的先後了.

除了上面提到的基礎形態之外，Future還有豐富的衍生變化，這里就列舉幾個常見的。

與一般的Future不同，Lazy Future在創建之初不會主動開始准備引用的對象，而是等到請求對象時才開始相應的工作。因此，Lazy Future本身並不是為了實現並發，而是以節約不必要的運算資源為出發點，效果上與Lambda/Closure類似。例如設計某些API時，你可能需要返回一組信息，而其中某些信息的計算可能會耗費可觀的資源。但調用者不一定都關心所有的這些信息，因此將那些需要耗費較多資源的對象以Lazy Future的形式提供，可以在調用者不需要用到特定的信息時節省資源。

另外Lazy Future也可以用於避免過早的獲取或鎖定資源而產生的不必要的互斥。

Promise可以看作是Future的一個特殊分支，常見的Future一般是由服務調用者直接觸發非同步處理流程，比如調用服務時立即觸發處理或 Lazy Future的取值時觸發處理。但Promise則用於顯式表示那些非同步流程並不直接由服務調用者觸發的情景。例如Future介面的定時控制，其非同步流程不是由調用者，而是由系統時鍾觸發，再比如淘寶的分布式訂閱框架提供的Future式訂閱介面，其等待數據的可用性不是由訂閱者決定，而在於發布者何時發布或更新數據。因此，相對於標準的Future，Promise介面一般會多出一個set()或fulfill()介面。

常規的Future是一次性的，也就是說當你獲得了非同步的處理結果後，Future對象本身就失去意義了。但經過特殊設計的Future也可以實現復用，這對於可多次變更的數據顯得非常有用。例如前面提到的淘寶分布式訂閱框架所提供的Future式介面，它允許多次調用waitNext()方法（相當於Future.get()），每次調用時是否阻塞取決於在上次調用後是否又有數據發布，如果尚無更新，則阻塞直到下一次的數據發布。這樣設計的好處是，介面的使用者可以在其任何合適的時機，或者直接簡單的在獨立的線程中通過一個無限循環響應訂閱數據的變化，同時還可兼顧其它定時任務，甚至同時等待多個Future。簡化的例子如下：

for (;;) {
schele = getNextScheledTaskTime();
while(schele > now()) {
try {
data = subscription.waitNext(schele - now());
processData(data);
} catch(Exception e) {...}
}
doScheledTask();
}

【原文來自： http://www.cnblogs.com/uptownBoy/articles/1772483.html 】

Ⅶ pfs是什麼意思

PFS（敬乎如Program Fit Size）是一種編程優化策略，主要用於提高程序運行效率。它的核心思想是將程序分解為更小的片段，然後將這些片段分配到計算機的不同處理器核心上並行執行，以實現更高的運行速度。在多核處理器時代，並行編程成為提高性能的關鍵技術之一。

3. 降低延遲：並行執行可以減少程序執行的總時間，從而降低延遲。這對於實時響應和互動式應用程序特別有幫助。

4. 代碼易於實現：PFS通常採用迭代或遞歸的方式將程序分解為更小的部分。這使得程序員可以更容易地理解和實現並行代碼，同時保持代碼的可讀性和可維護性。

然而，PFS也存在一些挑戰和限制：

1. 並行性和可擴展性：實現高效的並行編程需要對問題進行恰當的分解，以確保所有並行部分都能有效地協同工作。

2. 同步和互斥：為了避免並行執行的程序之間出現競爭條件和死鎖亮啟現象，需要正確設計和實現同步和互斥機制。

3. 調度和負載均衡：在多核處理器上，需要根據不同核心的性能和負載情況動態地分配任務，以實現更高的資源利用率和性能。

總之，PFS是一種在多核處理器時代提高程序性能的有效策略。通過合理地分解程序、並行執行任務以及正確地實現同步和互斥機制，可以顯著提高程序的執行效率。然而，實現高效的PFS需要對並行編程、調度策略和系統性能有深入的了解和實踐經驗。

Ⅷ 雲計算主要學習什麼內容，這個是屬於一個新專業嗎

雲計算和大數據都屬於互聯網催生的新專業

雲計算的關鍵技術有三大點：

⑴虛擬化技術：雲計算的虛擬化技術不同於傳統的單一虛擬化，它是涵蓋整個IT架構的，包括資源、網路、應用和桌面在內的全系統虛擬化，它的優勢在於能夠把所有硬體設備、軟體應用和數據隔離開來，打破硬體配置、軟體部署和數據分布的界限，實現IT架構的動態化，實現資源集中管理，使應用能夠動態地使用虛擬資源和物理資源，提高系統適應需求和環境的能力。

對於信息系統模擬，雲計算虛擬化技術的應用意義並不僅僅在於提高資源利用率並降低 成本，更大的意義是提供強大的計算能力。眾所周知，信息系統模擬系統是一種具有超大計算量的復雜系統，計算能力對於系統運行效率、精度和可靠性影響很大，而虛擬化技術可以將大量分散的、沒有得到充分利用的計算能力，整合到計算高負荷的計算機或伺服器上，實現全網資源統一調度使用，友敗從而在存儲、傳輸、運算等多個計算方面達到高效。

⑵分布式資源管理技術：信息系統模擬系統在大多數情況下會處在多節點並發執行環境中，要保證系統狀態的正確性，必須保證分布數據的一致性。為了分布的一致性問題，計算機界的很多公亮扮司和研究人員提出了各種各樣的協議，這些協議即是一些需要遵循的規則，也就是說，在雲計算出現之前，解決分布的一致性問題是靠眾多協議的。但對於大規模，甚至超大規模的分布式系統來說，無法保證各個分系統、子系統都使用同樣的協議，也就無法保證分布的一致性問題得到解決。雲計算中的分布式資源管理技術圓滿解決了這一問題。Google公司的Chubby是最著名的分布式資源管理好鍵顫系統，該系統實現了Chubby服務鎖機制，使得解決分布一致性問題的不再僅僅依賴一個協議或者是一個演算法，而是有了一個統一的服務(service)。

⑶並行編程技術：雲計算採用並行編程模式。在並行編程模式下，並發處理、容錯、數據分布、負載均衡等細節都被抽象到一個函數庫中，通過統一介面，用戶大尺度的計算任務被自動並發和分布執行，即將一個任務自動分成多個子任務，並行地處理海量數據。

對於信息系統模擬這種復雜系統的編程來說，並行編程模式是一種顛覆性的革命，它是在網路計算等一系列優秀成果上發展而來的，所以更加淋漓盡致地體現了面向服務的體系架構(SOA)技術。可以預見，如果將這一並行編程模式引入信息系統模擬領域，定會帶來信息系統模擬軟體建設的跨越式進步。

如果你想要專業的學習雲計算，更多需要的是付出時間和精力。課工場的課程很不錯，你可以根據自己的實際需求去實地看一下，先好好試聽之後，再選擇適合自己的。只要努力學到真東西，前途自然不會差。

Ⅸ 並行編程技術，什麼是並行編程技術

並行編程通常是指軟體代碼，它促進在同一時間執行多個計算任務的性能。
這有點像有一個操場上有20個滑梯而不是一個。孩子們不必排隊等待輪到自己，因為他們可以同時玩。你可以使用電腦滑鼠，一邊聽在線廣播，一邊更新電子表格中的信息，並對你的個人電腦做病毒掃描，這唯一的理由就是並發編程。