并行计算与分布式计算窍门

计算时代的兴起离不开硬件架构的发展，最终产生了系统软件，特别是在编译器和操作系统领域，实现了系统管理和应用开发。应用和系统的研发是最令人感兴趣的地方，当设计出问题解决环境并且可以为工程师们提供便利时，这种研发就会被逐渐整合。这标志着计算范式已经成熟并成为主流。另外，计算时代的每个方面都经历着三个阶段;研究和开发(R&D)、商业化、商品化。

并行计算与分布式计算

虽然并行计算和分布式计算存在细微的差别，但两个概念往往可以互换。并行代表一类紧耦合系统，而分布式则代表更广泛的一类系统，包括紧耦合系统。

更准确地说，并行计算指的是将计算任务分配给几个共享相同内存的处理器的计算模式。并行计算系统的架构通常表现为组件的同构性;每个处理器都是相同类型的，且拥有相同的处理性能。共享内存有一个独立的地址空间，可供所有处理器访问。并行程序被分成若干执行单元并分配给不同的处理器，它们之间依靠共享内存相互通信。起初，只有具有共享同一物理内存的多处理器的架构才可称为并行系统。随着时间的推移，这些限制条件已经放宽，只要是基于共享内存这一概念的架构，无论是物理内存系统，还是由库、特定的硬件和高效的网络基础设施组成的系统，都可以称为并行系统。例如，一个集群中节点通过无限带宽网络连接，且配置了分布式共享内存系统，就可以称作并行系统。

分布式计算是指那些将计算任务进行划分，并在不同计算单元中同时执行的架构或系统，不论计算单元是不同节点上的处理器，或是同一计算机上的处理器，再或是同一处理器中的内核。因此，相比并行计算，分布式计算包含的系统和应用程序的范围更广，是更为通用的概念。尽管没有规定，但分布式这一术语通常意味着计算单元的位置不同，且这些单元在硬件和软件功能上也可能各不相同。典型的分布式系统实例是计算网格或互联网计算系统，分布式系统在全球范围内集成各种架构、系统和应用。

并行处理硬件架构

并行处理的核心元素是 CPU。根据可以同时处理的指令流和数据流的数量，计算机系统可以分为以下四类：

●单指令流单数据流(SISD)系统。

●单指令流多数据流(SIMD)系统。

● 多指令流单数据流(MISD)系统。

●多指令流多数据流(MIMD)系统。

（编辑：宜春站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!