平行運算

Flynn 分類法

平行化層級

• Bit-level — 4 位 → 8 位 → 16 位 → 32 位 → 64 位
• Instruction-level — 一條指令多重運算（SIMD、SSE/AVX）
• Thread-level — 多執行緒共享記憶體（多核心 CPU）
• Process-level — 多程序獨立記憶體空間（叢集）
• Node-level — 多機器分散式計算（MPI、Hadoop）

共享記憶體平行化

// POSIX Threads 範例
#include <pthread.h>
#define NUM_THREADS 4

void *partial_sum(void *arg) {
    // 每個執行緒計算部分和
    return NULL;
}

int main() {
    pthread_t threads[NUM_THREADS];
    for (int i = 0; i < NUM_THREADS; i++)
        pthread_create(&threads[i], NULL, partial_sum, &data[i]);
    for (int i = 0; i < NUM_THREADS; i++)
        pthread_join(threads[i], NULL);
    return 0;
}

分散式記憶體

MPI（Message Passing Interface）是分散式記憶體系統的標準。每個程序有獨立記憶體，透過訊息傳遞通訊。適合大規模叢集和超級電腦。OpenMP 則用於共享記憶體系統，透過編譯器指令（#pragma omp）簡化平行化。

相關連結

• wiki: 平行運算