GPU 運算加速的核心,是把神經網路中大量可平行的矩陣運算,交給專門為高度平行計算設計的 GPU 處理。CUDA 官方文件指出,GPU 專精於高度平行的運算,並把較多電晶體用在資料處理單元,CPU 則把較多電晶體用在資料快取與流程控制。
想了解怎麼查自己電腦的顯卡型號,可前往 win 查詢顯卡型號 觀看。
本文接著說明 Tensor Cores 的硬體加速機制、運算受限與記憶體受限兩種瓶頸,並提供 PyTorch 混合精度與梯度累積的程式範本與常見問題排查。
一、 核心速查與常見瓶頸對照
在探討底層硬體架構前,先釐清傳統運算單元在面對機器學習時的常見誤區,以及不同硬體在平行處理上的結構差異。
1. 常見錯誤寫法的工程瓶頸
- 誤用純 CPU 進行大規模矩陣運算:CPU 把較多電晶體用在資料快取與流程控制,不適合拿來承擔大量可平行的矩陣乘法,大型模型的訓練與微調應交給 GPU。
- 忽視 GPU 記憶體頻寬限制:只比較運算能力(FLOPS),卻忽略記憶體頻寬與容量,運算單元就可能花大量時間等資料(Memory Bound)。
- 未妥善配置混合精度(Mixed Precision):全數使用 FP32 進行運算,沒有搭配 Tensor Cores 支援的較低精度格式(如 FP16、BF16),就用不到這組矩陣乘加硬體。
2. 核心機制規格對照表
| 硬體特性維度 | 中央處理器 (CPU) | 繪圖處理器 (GPU) | 張量核心 (Tensor Cores) |
|---|---|---|---|
| 核心設計哲學 | 把較多電晶體用在資料快取與流程控制 | 專精於高度平行運算,把較多電晶體用在資料處理單元 | 加速矩陣乘法與累加運算的專用硬體單元 |
| 適用運算場景 | 作業系統調度、邏輯判斷、序列任務 | 影像渲染、深度學習、大規模矩陣運算 | 以矩陣乘法表示的運算,例如全連接層 |
二、 關鍵機制解析:底層規範與注意事項
1. 張量核心 (Tensor Cores) 的矩陣運算加速原理
Tensor Cores 是 NVIDIA GPU 中用來加速矩陣乘法與累加運算的硬體單元。NVIDIA 的深度學習效能文件指出,Tensor Cores 自 Volta 架構引入,指令以小型矩陣區塊為單位運算。CUDA 程式指南則說明,C++ 的 warp 矩陣運算(WMMA)利用 Tensor Cores 加速 D = A * B + C 形式的矩陣問題。
- 混合精度運算:NVIDIA 文件說明 Tensor Cores 可以用比輸入更高的精度計算並累加乘積。以 CUDA 的 WMMA 為例,
__half輸入的累加器可以是float或__half,__nv_bfloat16輸入則必須搭配float累加器。 - 支援的精度:NVIDIA 官方 Tensor Cores 頁面列出的精度因架構而異(例如 Blackwell 與 Rubin 列有 NVFP4、FP64、TF32、BF16、FP16、FP8/FP6、INT8),實際可用的格式請依自己的 GPU 架構查閱。
2. 深度學習模型訓練與推論的硬體瓶頸
NVIDIA 的 GPU 效能文件把一個運算的執行時間分成數學運算時間與記憶體存取時間:數學時間較長稱為 math limited,記憶體時間較長稱為 memory limited。判斷依據是算術強度(運算次數除以存取位元組數)與處理器數學頻寬對記憶體頻寬比值的大小。
- 運算受限(Math / Compute-Bound):算術強度高於處理器的比值,瓶頸在 GPU 的運算能力(FLOPS)。矩陣相乘規模大的運算較容易落在這一側。
- 記憶體受限(Memory-Bound):算術強度低於處理器的比值,瓶頸在記憶體頻寬。NVIDIA 的 LLM 推論最佳化文章指出,解碼階段中,權重、鍵值與激活值從記憶體傳到 GPU 的速度主導延遲,屬於記憶體受限的運算。
3. 多 GPU 互連:NVLink
單張 GPU 的記憶體放不下模型,或需要多張 GPU 協同訓練時,GPU 之間的互連頻寬會影響同步效率。NVIDIA 官方 NVLink 頁面將 NVLink 描述為 GPU 對 GPU 的直接互連,用來在單一伺服器內擴大 GPU 之間的資料傳輸,NVLink Switch 則可把連線延伸到整個機架。
| 世代 | 架構 | 每 GPU 的 NVLink 頻寬 |
|---|---|---|
| 第四代 | Hopper | 900 GB/s |
| 第五代 | Blackwell | 1,800 GB/s |
補充說明:頻寬數字取自 NVIDIA NVLink 頁面的世代表,該頁同時指出第六代(Vera Rubin)規格尚屬初步資訊,可能變動。
三、 實作範本:生產環境完整程式碼
以下提供兩個深度學習訓練中常見的範本:偵測 GPU 並啟用自動混合精度(AMP),以及梯度累積。
範本一:使用 PyTorch 偵測 GPU 狀態與啟用自動混合精度(AMP)訓練
此範本先檢查 CUDA 是否可用,再以 torch.autocast 搭配 torch.amp.GradScaler 進行 float16 混合精度訓練。PyTorch 官方文件標示 torch.cuda.amp.autocast 與 torch.cuda.amp.GradScaler 已棄用,改用 torch.amp 底下的寫法。
補充說明:撰寫本文的環境沒有安裝 PyTorch 與 CUDA GPU,下列範本依 PyTorch 官方文件的寫法整理,未實際執行。
import torch
import torch.nn as nn
import torch.optim as optim
def initialize_training_environment():
# 檢查 CUDA 是否可用
if not torch.cuda.is_available():
raise RuntimeError("未偵測到相容的 GPU 裝置,無法進行硬體加速訓練。")
device = torch.device("cuda")
print(f"成功連線至 GPU 裝置:{torch.cuda.get_device_name(0)}")
return device
class SampleDeepLearningModel(nn.Module):
def __init__(self, input_dim, hidden_dim, output_dim):
super(SampleDeepLearningModel, self).__init__()
self.layer1 = nn.Linear(input_dim, hidden_dim)
self.relu = nn.ReLU()
self.layer2 = nn.Linear(hidden_dim, output_dim)
def forward(self, x):
return self.layer2(self.relu(self.layer1(x)))
def run_mixed_precision_training():
device = initialize_training_environment()
# 初始化模型與優化器
model = SampleDeepLearningModel(input_dim=2048, hidden_dim=4096, output_dim=10).to(device)
optimizer = optim.AdamW(model.parameters(), lr=1e-4)
scaler = torch.amp.GradScaler("cuda") # 初始化混合精度縮放器
criterion = nn.CrossEntropyLoss()
# 模擬生產環境批次資料
inputs = torch.randn(64, 2048, device=device)
targets = torch.randint(0, 10, (64,), device=device)
optimizer.zero_grad()
# 使用自動混合精度上下文管理器
with torch.autocast(device_type="cuda", dtype=torch.float16):
outputs = model(inputs)
loss = criterion(outputs, targets)
# 梯度縮放與反向傳播
scaler.scale(loss).backward()
scaler.step(optimizer)
scaler.update()
print(f"混合精度訓練疊代完成,當前 Loss 值:{loss.item():.4f}")
if __name__ == "__main__":
run_mixed_precision_training()
範本二:處理記憶體不足(Out of Memory)時的梯度累積
當批次大小(Batch Size)過大導致 GPU 記憶體不足時,可以把批次切小,累積多個小批次的梯度後才更新一次權重,以接近大批次的更新方式。此範本同樣未在 GPU 環境執行,邏輯為標準的 PyTorch 訓練迴圈。
import torch
def train_with_gradient_accumulation(model, dataloader, optimizer, criterion, device, accumulation_steps=4):
model.train()
optimizer.zero_grad()
for i, (inputs, targets) in enumerate(dataloader):
inputs = inputs.to(device)
targets = targets.to(device)
# 前向傳播
outputs = model(inputs)
loss = criterion(outputs, targets)
# 將 loss 進行正規化,對應累積步數
loss = loss / accumulation_steps
loss.backward()
# 達到指定的累積步數後才更新模型權重
if (i + 1) % accumulation_steps == 0:
optimizer.step()
optimizer.zero_grad()
print(f"已完成第 {i + 1} 個批次的梯度累積與權重更新。")
四、 常見問題與排錯(Q&A)
Q1:為什麼傳統 CPU 的多核心架構無法有效取代 GPU 進行大規模矩陣乘法運算?
一句結論:CPU 與 GPU 的設計取向不同,大量可平行的矩陣乘法適合 GPU。
- 問題原因:CUDA 官方文件指出,CPU 把較多電晶體用在資料快取與流程控制,GPU 則把較多電晶體用在資料處理單元,專精於高度平行的運算。
- 解法:遇到大規模矩陣運算時,改用 GPU 搭配平行運算平台。NVIDIA GPU 使用 CUDA,AMD GPU 使用 ROCm(AMD 官方稱 ROCm 為用於 GPU 加速運算的開放軟體堆疊)。
Q2:NVIDIA Tensor Cores 如何加速混合精度矩陣乘加運算?
一句結論:Tensor Cores 以小型矩陣區塊為單位做乘加,並可用比輸入更高的精度累加。
- 問題原因:深度學習中的全連接層可以表示成矩陣乘法,逐個純量相乘累加效率低。
- 解法:使用支援 Tensor Cores 的 GPU,並選用支援的精度格式。以 CUDA WMMA 為例,
__nv_bfloat16輸入必須搭配float累加器,__half輸入則可搭配float或__half累加器。
Q3:大型語言模型(LLM)推論階段的瓶頸為何常在記憶體頻寬?
一句結論:解碼階段的延遲主要來自資料從記憶體傳到 GPU 的速度。
- 問題原因:NVIDIA 的 LLM 推論最佳化文章說明,權重、鍵值與激活值傳輸到 GPU 的速度主導解碼延遲,因此屬於記憶體受限的運算。
- 解法:依該文章,量化是降低權重精度的做法,模型占用的記憶體變小,同樣的硬體就能放進更大的模型。是否採用某種量化格式,要看模型與硬體支援。
Q4:多 GPU 訓練時,NVLink 與 PCIe 有什麼差別?
一句結論:NVLink 是 NVIDIA 的 GPU 對 GPU 直接互連技術,頻寬依世代而定。
- 問題原因:多卡訓練需要在 GPU 之間交換資料,互連頻寬不足會拖慢同步。
- 解法:NVIDIA 官方 NVLink 頁面列出第四代(Hopper)每 GPU 900 GB/s、第五代(Blackwell)每 GPU 1,800 GB/s。採購多卡伺服器時,請對照該產品的互連規格。
Q5:當深度學習訓練出現 GPU 記憶體不足(Out of Memory)時,應如何從梯度累積與激活檢查點進行排查?
一句結論:先縮小單次批次,再考慮用重新計算換記憶體。
- 問題原因:批次過大時,反向傳播需要保留大量中間結果,記憶體容易不足。
- 解法:依序嘗試以下做法。
- 縮小批次並啟用梯度累積(Gradient Accumulation),做法見範本二。
- 使用激活檢查點(Activation Checkpointing)。PyTorch 官方文件說明它以運算換記憶體,前向傳播中產生的張量不會保留到反向傳播,需要時再重新呼叫函式計算。
Q6:FP16 與 BF16 的數值範圍有什麼差別?
一句結論:兩者都是 16 位元,差別在指數位與尾數位的分配。
PyTorch 官方文件的資料型別表,以 S-E-M(符號、指數、尾數位元數)標示兩種格式:
| 格式 | S-E-M | 特性 |
|---|---|---|
torch.float16 | 1-5-10 | 指數位較少,範圍較窄 |
torch.bfloat16 | 1-8-7 | 尾數位較少,指數位數量與 float32 相同 |
- 問題原因:PyTorch 混合精度文件指出,float16 中小幅度的梯度可能無法表示而被截為零(underflow),導致對應參數的更新遺失;文件也提到多數以 bf16 預訓練的模型無法在 float16 的數值範圍(最大 65504)內運作。
- 解法:使用 float16 訓練時,搭配
torch.amp.GradScaler,它會把損失乘上縮放係數以避免梯度下溢。使用 bfloat16 時,指數範圍與 float32 相同,是否仍需要縮放請依 PyTorch 文件與硬體支援判斷。
參考資料與延伸閱讀
- NVIDIA CUDA Programming Guide:Introduction
- NVIDIA CUDA Programming Guide:C/C++ Language Extensions(Warp Matrix Functions)
- NVIDIA Deep Learning Performance:GPU Performance Background
- NVIDIA Tensor Cores
- NVIDIA NVLink
- NVIDIA:Mastering LLM Techniques: Inference Optimization
- PyTorch Automatic Mixed Precision package
- PyTorch Tensor Attributes(dtype)
- PyTorch torch.utils.checkpoint
- AMD ROCm:What is ROCm?
- win 查詢顯卡型號
發佈留言