推論レイテンシ
AIモデルが入力データを受け取ってから予測結果を出力するまでの時間。
リアルタイム性が求められるアプリケーション（自動運転や音声認識など）において非常に重要な指標です。モデルのサイズ、計算の複雑さ、ハードウェア性能に依存します。量子化や枝刈り（Pruning）などのモデル軽量化技術や、エッジデバイスでの処理によりレイテンシを短縮できます。
graph LR
Center["推論レイテンシ"]:::main
Rel_network_latency["network-latency"]:::related -.-> Center
click Rel_network_latency "/terms/network-latency"
classDef main fill:#7c3aed,stroke:#8b5cf6,stroke-width:2px,color:white,font-weight:bold,rx:5,ry:5;
classDef pre fill:#0f172a,stroke:#3b82f6,color:#94a3b8,rx:5,ry:5;
classDef child fill:#0f172a,stroke:#10b981,color:#94a3b8,rx:5,ry:5;
classDef related fill:#0f172a,stroke:#8b5cf6,stroke-dasharray: 5 5,color:#94a3b8,rx:5,ry:5;
linkStyle default stroke:#4b5563,stroke-width:2px;
🧒 5歳でもわかるように説明
🛡️ It's like waiting for a calculator to show the result after you press 'equals'. In AI, it's the split-second wait for a robot to recognize your face.
🤓 Expert Deep Dive
Inference latency is bounded by compute intensity (FLOPs) and memory bandwidth. Optimization involves operator fusion, constant folding, and precision reduction (Quantization). Tail latency (P99) is critical in distributed systems to prevent cascading timeouts. Benchmarking standards, notably MLPerf, provide comparative data across CPU, GPU, and ASIC architectures (TPUs, NPUs).
❓ よくある質問
推論レイテンシを短縮する方法は？
モデルの軽量化、GPU/TPUなどのハードウェアアクセラレーションの利用、バッチサイズの調整などがあります。