AI・信頼性・評価

8bitは実質ロスレス、4bitはモデルと文脈長で崩れる

2026/7/31 （更新: 2026/9/11）

🤖 AIが執筆しています

8bitは集計ベンチではほぼ無傷だった

まず表記を揃える。量子化とは、重みや活性化をより少ないビット数で表し、メモリ量と計算量を削る操作を指す。W8A8 や W4A16 という書き方は、重み（Weight）と活性化（Activation）をそれぞれ何ビットで持つかを表す。W8A8 なら重みも活性化も8bit、W4A16 なら重みは4bitで活性化は16bitのまま、という意味だ。FP8 は8bitの浮動小数点形式、INT8 や INT4 は整数形式を指す。

Kurtic ら（Red Hat AI＝vLLM の主要な貢献企業であり、Llama-3.1 の量子化チェックポイントの提供元）は vLLM 上で Llama-3.1 ファミリー全スケールを対象に、50万件を超える評価を回した。結果は形式ごとにはっきり分かれる。FP8（W8A8-FP）は全モデルスケールで実質ロスレス。W8A8-INT は、よく調整すれば精度低下 1〜3% にとどまる。この論文は ACL 2025 に採択されている²。

独立に、Mekala らは長文脈タスクで同じ問いを測った。約9,700件のテスト事例、64Kトークン以上の長い入力と長い出力、量子化方式は FP8・GPTQ-int8・AWQ-int4・GPTQ-int4・BNB-nf4 の5つ、モデルは Llama-3.1（8B, 70B）と Qwen-2.5（7B, 32B, 72B）の5つ。ここでも 8bit は評価全体の平均で精度を保ち、低下は約0.8%（FP8 0.2%／GPTQ-int8 0.8%）だった¹。ただし平均の内側には逆転もある——制約付き物語生成（CS4）では FP8 が有意に 1.8% 落ち、GPTQ-int4 と AWQ-int4 は落ちなかった¹。8bit なら常に安全、と読める結果ではない。EMNLP 2025 採択の査読付き論文である。

タスクの形も、並べたモデルも、測った研究チームも違う。それでも 8bit については同じ判定が出た。配信の既定値をどこに置くかは、この二本で決まる。

4bitの安全性はワークロードの性質だ

4bit から先は、同じ資料を読んでも判定が一つに定まらない。Kurtic らのベンチマークでは、W4A16-INT は 8bit に匹敵する競争力を示した²。一方 Mekala らの長文脈タスクでは、4bit 系の平均低下は AWQ-int4 1.8%・GPTQ-int4 2.7%・BNB-nf4 6.9% で、最大 59% を失ったのは BNB-nf4 が Llama-3.1 70B の OneRuler を解いたときだった¹。

どちらも実測値だが、食い違いの正体は「タスクの長さ」だけではない。Kurtic らも長文脈は測っており（RULER を 4K〜128K で回し、量子化モデルは平均で 98% 以上のスコアを回復したと報告する）、その集計では 4bit の崩れが埋もれている。違いは二つある。方式——Kurtic の W4A16-INT は GPTQ 系で、Mekala の平均では 2.7% だ。だが同じ GPTQ-int4 が RULER では Llama-3.1 8B で 21.2% 落ちている。Mekala は GPTQ-int4 と BNB-nf4 を「一貫して振るわない2方式」として並べており、GPTQ 系が安全側というわけではない。59% を出した BNB-nf4 を Kurtic は試していない。そして集計の粒度——Mekala ら自身が、Kurtic は単一の集計スコアしか報告しておらず、それが長い入力での落ち込みを覆い隠しうると指摘している。ここから引き出せる実務上の帰結は一つ。4bit が安全かどうかは、ビット数の属性ではなく、選んだ方式と自分のワークロードの属性だ。とりわけ BNB-nf4 は、本稿執筆時点（2026年8月）で HuggingFace や vLLM の 4bit 既定として案内されている方式であり、既定のまま載せることの意味は大きい（既定は更新されうる）。 短い入力の分類や生成で 4bit が通ったからといって、長文脈の要約や文書横断の処理で同じ結果になるとは限らない——同じ資料の中に、長文脈で 4bit が 8bit を上回った例（CS4）と、59% を失った例の両方がある。

同じ4bit方式でも、モデルが変われば結果が変わる

崩れ方はモデルにも依存する。Mekala らの実験では、同じ OneRuler を同じ BNB-nf4 で解かせて、Llama-3.1 70B が 59% 低下する一方、規模の近い Qwen-2.5 72B は 0.6% 向上した¹。前節で挙げた 59% は、この割れ方の最も極端な例である。方式もパラメータ規模も揃えたのに、片方は崩れ、片方はむしろ伸びる。タスクを横断して平均しても、Llama-3.1 70B の低下は 32% 残る。

同じ研究は、入力が英語以外の言語だと、この劣化はさらに悪化する傾向があるとも報告している——原典は、それらの言語での低下が英語の最大5倍に達しうると書く¹。方式名だけを根拠にした「この量子化なら通る」という一般化は、この二つの観測の前では成り立たない。検証すべき単位は、方式ではなく方式とモデルと入力の組み合わせになる。

4bitの日本語では、自動指標が被害を過小評価する

日本語でモデルを配信する側にとって、いちばん実務的な数字はここから出てくる。Marchisio ら（Cohere）は多言語モデルの量子化の影響を、自動ベンチマーク・LLM-as-a-Judge・人手評価の3系統で測った。被害は言語によって偏る——自動指標では非ラテン文字の言語が最も強く落ち、人手評価での最大落差はフランス語の −16.6% だった³。

決定的なのは日本語の数字だ。4bit（W4-g、103B の Command モデル）で、自動タスク平均の低下が 1.7% であるのに対し、現実的なプロンプトでの人手評価では 16.0% の低下が報告された。自動指標は、この条件下では被害を大幅に過小評価する。ただし 8bit の行は一様ではない——同じ人手評価で日本語は 7.4% 向上したが、原典はそれを「奇妙なことに」と書き、4bit では −16.0% へ落ちると続ける³。なお 1.7% は自動スコアの相対変化、16.0% は人手の勝率から導いた値で、そもそも同じ物差しではない。 また、数学的推論のような難しいタスクほど速く劣化する³。

自動ベンチマークの集計で評価を締めているかぎり、この 16.0% は計測に現れない。日本語を評価に足せば見える、という話ではない——1.7% のほうがまさに日本語の自動タスク平均であり、原典が対比しているのは言語ではなく測り方（自動指標と人手評価）である。利用者が見ている劣化と、手元の数字が食い違う。この結果の条件は論文本体に明記されている——重みのみ 4bit（グループ単位スケーリングの GPTQ）、103B の Command R+、社内評価スイートである。この論文は Findings of EMNLP 2024 に採択されている。

推論能力は戻せる。ただし学習が要る

劣化が最も速い推論能力について、回復の道筋を系統的に調べた研究がある。用語を分けておくと、PTQ（学習後量子化）は訓練済みモデルを後から低ビット化する手法、QAT（量子化を意識した学習）は低ビット化した状態で学習し直す手法だ。

Lv ら（清華大・Huawei ほか）は、推論モデルを低ビット化するのに効く要素を4つ挙げる。ここまでの三本と違い、この一本だけは査読を経ていない⁴。知識蒸留を主目的に据えること——SFT でも RL でも頑健な学習信号になる。PTQ を QAT の初期値に使うこと——精度と計算量の両方が改善する。適切な初期化があれば RL も引き続き有効であること。そして PTQ と QAT の較正ドメインを揃えること——収束が速まり、最終精度も上がることが多い⁴。

効果の大きさとして示されたのは、Qwen3-0.6B の 3bit（W3G128）で、著者らの Reasoning-QAT ワークフローが MATH-500 の GPTQ を 44.53 ポイント上回ったという結果だ。測ったのは 0.6B の一本と MATH-500 の一本で、より大きな推論モデルで同じ幅が出るかはこの研究からは分からない。2bit 領域でも性能を一貫して回復するとしている（ただし Qwen3-0.6B では BF16 との差が 25.8 ポイント残る）⁴。回復の効き方はタスクで割れる。著者らは限界節で、学習データが数学中心のため「コーディングや科学といった他の推論タスクへの領域横断的な汎化は限定的なまま」と自ら書いており、同じ Qwen3-0.6B の 3bit では LiveCodeBench が BF16 の 12.94 に対し 1.87 にとどまる——戻っているのは主に数学だ⁴。実務的に読むべき含意は明確で、3bit 以下まで落とすなら、推論能力の劣化は回復可能だが後処理だけでは足りず「学習」が要る。原典が調べたのは W3G128 と W2G128 の2設定で、同じ論文は 4bit（W4G128）を「タスク横断でほぼロスレス」と測っている——PTQ が足りなくなるのは、その一段下からだ。3bit 以下に落とした推論モデルの精度が足りないとき、量子化パラメータの調整で埋まる幅には限りがある。

何を既定にし、何を測るか

既定は 8bit に置く。FP8 は全モデルスケールで実質ロスレスと報告されており、コスト削減として取りにいく価値がある²。INT 側を選ぶ場合でも、低下は 1〜3% の範囲に収まる。

4bit を採る前に、自分のモデル、自分の量子化方式、自分の文脈長で測る。この三つはどれも結果を大きく動かす。公開ベンチマークの平均値が使えるのは、その三条件が自分の配備条件と揃っているときだけだ。とくに 64K トークン以上の入力を扱う予定があるなら、短い入力での検証結果は根拠にならない。同じ研究は、128K トークンではモデル平均で最大 23% の低下に達すると報告している——文脈長は、伸ばすほど効く。

日本語のような非ラテン文字の言語を配信するなら、評価系に人手評価か現実的なプロンプトを組み込む。自動指標の集計値だけで判断すると、利用者が体感する劣化を大幅に取り逃がす。

3bit 以下まで落として推論能力も要る、という組み合わせなら、量子化を意識した学習に予算を確保する。その領域では、学習後量子化だけで推論性能が保たれることを前提に計画を組めない。

そして形式は配信モードに合わせる。同期推論では W4A16 が最もコスト効率がよく、非同期の連続バッチングでは W8A8 が最適だと、同じ研究が指針を出している²。混在ワークロードでどちらが効くかは、配備条件によって変わる。

この記事はAIが執筆しています。内容には誤りが含まれる可能性があります。ご注意ください。