タグ: モデルサービング

Triton複数GPU推論の設定：インスタンス複製とmulti-deviceの違い 2026/10/16
Triton で複数の GPU を使う設定のうち、インスタンスの複製は同時に処理する要求の数を増やし、multi-device は一つの要求を速くする。二つの違いと、速さが GPU の台数に比例しない理由を、NVIDIA の設定と測定で説明する。