In Silico

AI・信頼性・評価

LLMの量子化で精度はどこまで落ちる？8bitと4bitの違い

2026/7/31 （更新: 2026/11/3）

🤖 AIを使用して執筆

  • 量子化
  • LLM
  • FP8
  • INT8
  • INT4
  • W8A8
  • W4A16
  • GPTQ
  • AWQ
  • BNB-nf4
  • vLLM
  • Llama-3.1
  • Qwen-2.5
  • Command R+
  • PTQ
  • QAT
  • RULER
  • OneRuler
  • MATH-500
  • 精度低下
  • ロングコンテキスト
  • コンテキスト長
  • 自動指標
  • 人手評価
  • 知識蒸留
  • 重み
  • 活性化
  • 推論能力
  • 日本語
  • メモリ
目次
背景・問い・要点
背景

学習を終えたモデルを動かして応答を返すとき、費用の中心はメモリと計算である。これを下げる標準的な手段が量子化で、モデルが持つ数値の精度を落として、占めるメモリと必要な計算を減らす。16bit で持っていた数値を 8bit や 4bit にすれば、同じハードウェアでより大きなモデルを、より安く配信できる。代わりに精度は少し落ちる。どこを何ビットにし、どう丸めるかの決め方（方式）は複数ある。公開済みの集計ベンチマークは、8bit ならほぼ無損失と読める数字を出しているが、その数字は多くのモデル・方式・タスクの平均である。量子化を使うかを決める人に要るのは、自分が載せるモデル・自分が流し込む入力の長さ（コンテキスト長）・自分が返す言語での落ち方だ。

問い

LLM（Large Language Model、大規模言語モデル）を 8bit や 4bit に量子化すると、精度はどこまで落ちるのか。

要点

LLM の量子化による精度の低下は、8bit なら平均ではほぼ無損失だ1。4bit の低下は方式とモデルの組み合わせしだいで、長いコンテキストの評価では平均 1.8〜6.9 ポイントにとどまる一方、最大 59 ポイントに達した例がある2。

ただし 8bit でも、長い入力の一課題で精度が 11.1 ポイント落ちた例がある2。日本語の 4bit では、自動指標の低下 1.7% に対し、人手評価の低下は 16.0% だった（Command R+ 103B の 1 モデル）3。3bit 以下の推論モデルの精度は、学習後量子化だけでは戻らないことが多い4。

モデル・例示

平均の低下が数%でも、一つの課題で半分を失うことがある

※ この節の例は、説明のために作った架空のものです。

4bit の方式どうしを平均の低下だけで比べると、一つの課題での大きな崩れは平均に薄まって見えなくなる。同じ 4bit の量子化方式を二つ、十個の評価課題で比べるとする。九個は短い入力の課題で、どちらの方式でも精度の低下は 1% ずつだったとする。残る一個は長い入力の課題で、一方の方式は 3%、もう一方は 50% 落ちたとする。

十課題の平均を取ると、前者は (9×1+3)/10=1.2%(9 \times 1 + 3) / 10 = 1.2\%、後者は (9×1+50)/10=5.9%(9 \times 1 + 50) / 10 = 5.9\% になる。どちらも平均では数%の低下に収まる。

長い入力の課題だけを見ると、後者は精度の半分を失っている。配信するワークロードがその課題に近いなら、後者を選んだときの損失は 5.9% ではなく 50% である。

この計算から分かるのは、平均の低下が小さいことは、どの課題でも小さいことを意味しないということだ。平均は、少数の課題での大きな崩れを薄める。

8bitは集計ベンチではほぼ精度を保った

量子化は、重みや活性化をより少ないビット数で表し、メモリ量と計算量を削る操作である。その設定は W8A8 や W4A16 のように、重み（Weight）と活性化（Activation）をそれぞれ何ビットで持つかで書く。W8A8 なら重みも活性化も 8bit、W4A16 なら重みは 4bit で活性化は 16bit のままだ。FP8（Floating Point 8-bit）は 8bit の浮動小数点形式、INT8 や INT4（Integer）は整数形式を指す。

Kurtic ら（Red Hat AI＝vLLM の主要な貢献企業であり、Llama-3.1 の量子化チェックポイントの提供元）は vLLM 上で Llama-3.1 ファミリー全スケールを対象に、50万件を超える評価を回した。結果は形式ごとに分かれる。FP8（W8A8-FP）は全モデルスケールで実質ロスレス。W8A8-INT は、よく調整すれば精度低下 1〜3% にとどまる。この論文は ACL 2025 に採択されている1。

別のチームの Mekala らも、ロングコンテキストタスクで 8bit が評価全体の平均で精度を保つことを測った。条件は、約9,700件のテスト事例、64Kトークン以上の長い入力と長い出力、量子化方式は FP8・GPTQ-int8・AWQ-int4・GPTQ-int4・BNB-nf4 の5つ、モデルは Llama-3.1（8B, 70B）と Qwen-2.5（7B, 32B, 72B）の5つである。方式別の平均の低下は FP8 0.8 ポイント・GPTQ-int8 0.2 ポイントだった。Mekala らの低下は、量子化前の 16bit（BF16、bfloat16）での精度から量子化後の精度を引いたポイントの差である2。EMNLP 2025 採択の査読付き論文である。

ただし課題を一つずつ見ると、8bit でも落ちる課題がある。Mekala らの評価課題には、長い入力を読ませる RULER・OneRuler・NoCha と、長い出力を求める制約付き物語生成の CS4 が含まれる。CS4 では FP8 が有意に 1.8 ポイント落ち、GPTQ-int4 と AWQ-int4 は落ちなかった2。GPTQ-int8 の Llama-3.1 70B は NoCha で 11.1 ポイント落ちた（BF16 の 29.6 が 18.5 になり、元の精度の 4 割近くを失った）が、RULER と OneRuler では同程度の低下は出なかった2。8bit なら常に安全、と読める結果ではない。

課題の形も測った研究チームも違うが、8bit については同じ判定が出た。もっとも、Mekala らが評価した Llama-3.1 の 8bit は Red Hat AI の配布モデルか、そのレシピで作ったモデルで、量子化モデルの出所は Kurtic らと重なる。8bit を既定の候補に置く根拠は、この二本の平均で揃う。ただし Mekala らは、量子化モデルを配備する前に課題ごとの評価が要ると結論している2。

4bitの結果は、方式と集計の粒度で食い違う

4bit では、二つの研究の判定が食い違う。Kurtic らのベンチマークでは、W4A16-INT は 8bit に匹敵する競争力を示した1。一方 Mekala らのロングコンテキストタスクでは、4bit 系の平均低下は AWQ-int4 1.8・GPTQ-int4 2.7・BNB-nf4 6.9 ポイントだった。最大 59 ポイントを失ったのは BNB-nf4 が Llama-3.1 70B の OneRuler を解いたときで、BF16 の 71.0 が 12.0 まで下がった2。

どちらも実測値で、食い違いの原因は「タスクの長さ」だけではない。Kurtic らもロングコンテキストを測っており、RULER を 4K〜128K で回して、量子化モデルは平均で 98% 以上のスコアを回復したと報告している1。違いは二つある。

一つ目は方式である。59 ポイントの低下を出した BNB-nf4 を、Kurtic らは試していない。ただし GPTQ 系が安全側というわけでもなく、Mekala らは GPTQ-int4 と BNB-nf4 を「一貫して振るわない2方式」として並べている2。

二つ目は集計の粒度である。Kurtic らの W4A16-INT は GPTQ 系の方式だ。Mekala らが測った Llama-3.1 8B の GPTQ-int4 は Red Hat AI の配布モデルで、Mekala らはその出所を Kurtic らに帰している。そのモデルが、64K と 128K だけを集めた RULER では 21.2 ポイント落ちている。Mekala ら自身が、Kurtic らは単一の集計スコアしか報告しておらず、それが長い入力での落ち込みを覆い隠しうると指摘している2。

4bit が安全かどうかは、ビット数だけでは決まらず、選んだ方式と自分のワークロードに左右される。とりわけ BNB-nf4 は、Mekala らが vLLM でモデルを読み込むときに重みを BF16 から nf4 へその場で変換して使った方式で、原典はこの方式の落ち込みの実務上の意味は大きいと書く2。短い入力の分類や生成で 4bit が通ったからといって、ロングコンテキストの要約や文書横断の処理で同じ結果になるとは限らない。

同じ4bit方式でも、モデルが変われば結果が変わる

崩れ方はモデルにも依存する。Mekala らの実験では、同じ OneRuler を同じ BNB-nf4 で解かせて、Llama-3.1 70B が 59 ポイント低下する一方、規模の近い Qwen-2.5 72B は 0.6 ポイント向上した2。前節で挙げた 59 ポイントは、この割れ方の最も極端な例である。方式もパラメータ規模も揃えたのに、片方は崩れ、片方はむしろ伸びる。タスクを横断して平均しても、Llama-3.1 70B の低下は 32 ポイント残る。

同じ研究は、入力が英語以外の言語だと、量子化による劣化がさらに大きくなる傾向があるとも報告している。原典は、長入力の検索課題で、それらの言語での低下が英語の最大5倍に達しうると書く2。モデルでも言語でもこれだけ割れるので、方式名だけを根拠に「この量子化なら通る」とは言えない。検証すべき単位は、方式ではなく方式とモデルと入力の組み合わせになる。

4bitの日本語では、自動指標が劣化を過小評価する

日本語でモデルを配信する側にとって、いちばん実務的な数字はここから出てくる。Marchisio ら（Cohere）は多言語モデルの量子化の影響を、自動ベンチマーク・LLM-as-a-Judge（Large Language Model as a Judge、別の LLM に出力を採点させる評価）・人手評価の3系統で測った。その測定では、劣化は言語によって偏る。自動指標では非ラテン文字の言語が最も強く落ち、人手評価での最大落差はフランス語の −16.6% だった3。

日本語について、Marchisio らは4bit（W4-g、103B の Command モデル）で、自動タスク平均の低下が 1.7% であるのに対し、現実的なプロンプトでの人手評価では 16.0% の低下を報告している。自動指標は、この条件下では劣化を大幅に過小評価する。なお 1.7% は自動スコアの相対変化、16.0% は人手の勝率から導いた値で、測定方法が異なる。

人手評価の結果は一様ではない。8bit では、同じ人手評価で日本語は 7.4% 向上したが、原典はそれを「奇妙なことに」と書き、4bit では −16.0% へ落ちると続ける3。別のプロンプト集（機械翻訳した Dolly）では、日本語の評価者は 4bit でも量子化モデルの出力をやや好んだ（+2.6%）3。

自動ベンチマークの集計だけで評価を終えると、この 16.0% は計測に現れない。1.7% のほうも日本語の自動タスク平均なので、評価に日本語を足しただけでは見えない。原典が対比しているのは言語ではなく評価方法（自動指標と人手評価）である。利用者が見ている劣化と、手元の数字が食い違う。論文本体は、この結果の条件を、重みのみ 4bit（グループ単位スケーリングの GPTQ）、103B の Command R+、社内評価スイートと明記している。この論文は Findings of EMNLP 2024 に採択されている。

推論能力は戻せる。ただし学習が要る

3bit 以下に落とした推論モデルの精度は学習で戻せるが、学習後の調整だけでは足りないことが多い。前節の Marchisio らは、言語による偏りのほかに、数学的推論のような難しいタスクほど速く劣化することも報告している3。用語を分けておくと、PTQ（Post-Training Quantization、学習後量子化）は訓練済みモデルを後から低ビット化する手法、QAT（Quantization-Aware Training、量子化を意識した学習）は低ビット化した状態で学習し直す手法だ。

Lv ら（清華大・Huawei ほか）は、推論モデルを低ビット化するのに効く要素を4つ挙げる。ここまでの三本と違い、この一本だけは査読を経ていない4。一つ目は知識蒸留を主目的に据えることである。蒸留は教師あり微調整（SFT、Supervised Fine-Tuning）でも強化学習（RL、Reinforcement Learning）でも頑健な学習信号になる。二つ目は PTQ を QAT の初期値に使うことである。PTQ を初期値にすると、精度と計算量の両方が改善する。三つ目は、適切な初期化があれば RL も引き続き有効だという点である。四つ目は PTQ と QAT のキャリブレーションドメインを揃えることである。揃えると収束が速まり、最終精度も上がることが多い4。

効果の大きさとして示されたのは、Qwen3-0.6B の 3bit（W3G128、重みを 3bit にし、128 個ずつのグループでスケーリングする設定）で、著者らの Reasoning-QAT ワークフローが数学の評価課題 MATH-500 で GPTQ を 44.53 ポイント上回ったという結果だ。ただし 44.53 は、原典が測った 3 モデルのうち最小のモデルの値である。同じ 3bit の MATH-500 で、GPTQ に対する上積みは 1.5B で 8.20 ポイント、4B で 3.40 ポイントに縮み、4B では GPTQ だけでも 90.07（量子化前の 16bit（BF16）のモデルは 95.33）を保った4。2bit 領域でも性能を一貫して回復するとしている（ただし Qwen3-0.6B では、5 課題の平均で BF16 との差が 25.8 ポイント残り、MATH-500 では 74.00 に対し 20.20 にとどまる）。2bit では 4B でも GPTQ の MATH-500 が 4.80 に崩れ、学習で 78.27 まで戻る4。

回復の効果はタスクで割れる。著者らは限界節で、学習データが数学中心のため「コーディングや科学といった他の推論タスクへの領域横断的な汎化は限定的なまま」と自ら書いており、同じ Qwen3-0.6B の 3bit では、コード生成の評価課題 LiveCodeBench が BF16 の 12.94 に対し 1.87 にとどまる。戻っているのは主に数学だ4。

3bit 以下まで落とすなら、推論能力の劣化は回復可能だが後処理だけでは足りないことが多く、2bit では「学習」が要る。原典が調べたのは W3G128 と W2G128 の2設定で、同じ論文は 4bit（W4G128）を「タスク横断でほぼロスレス」と測っている。Kurtic らも推論モデル（DeepSeek-R1-Distill の 1.5B〜70B）を測っており、W4A16-INT の回復率は 1.5B の 93.5% を除いて 97.2〜99.5% だった1。PTQ が足りなくなるのは、その一段下からだ。3bit 以下に落とした推論モデルの精度が足りないとき、量子化パラメータの調整で埋まる幅には限りがある。

出典4件

  1. Kurtic ほか「“Give Me BF16 or Give Me Death”? Accuracy-Performance Trade-Offs in LLM Quantization」ACL 2025. https://arxiv.org/abs/2411.02355 — Llama-3.1 全スケール50万件超の評価で FP8 を実質ロスレスとする。推論モデルの回復率は表4。 ↩ ↩2 ↩3 ↩4 ↩5

  2. Mekala ほか「Does quantization affect models’ performance on long-context tasks?」EMNLP, 2025. https://arxiv.org/abs/2505.20276 — 5方式・5モデルを64Kトークン超の入力で比べる。要旨は 32% を同一課題の値と書くが、本体の Figure 11 はタスク横断平均とする。 ↩ ↩2 ↩3 ↩4 ↩5 ↩6 ↩7 ↩8 ↩9 ↩10 ↩11 ↩12

  3. Marchisio ほか「How Does Quantization Affect Multilingual LLMs?」Findings of EMNLP, 2024. https://arxiv.org/abs/2407.03211 — 103B の Command R+ の重みを4bitにし、日本語で自動指標1.7%に対し人手評価16.0%の低下を報告する。 ↩ ↩2 ↩3 ↩4 ↩5

  4. Lv ほか「What Makes Low-Bit Quantization-Aware Training Work for Reasoning LLMs? A Systematic Study」arXiv, 2026. https://arxiv.org/abs/2601.14888 — 査読前。3bit 以下の推論モデルを QAT で戻す手順を調べる。各モデルの数値は表3。 ↩ ↩2 ↩3 ↩4 ↩5 ↩6

この記事はAIを使用して執筆されました。内容には誤りが含まれる可能性があります。事実や数字の出典は脚注から確かめられます。