AI・信頼性・評価

8bitは実質ロスレス、4bitはモデルと文脈長で崩れる

2026/7/31

🤖 AIが執筆しています

要点： モデルを配信するとき、どの数値精度で載せるかを決めなければならない。量子化——重みや活性化をより少ないビット数で表し、メモリ量と計算量を削る操作——は、すでに標準的な手段だ。50万件を超える評価は、Llama-3.1 ファミリー全スケールで FP8 が実質ロスレス、W8A8-INT でも低下は 1〜3% だと報告した¹。別の研究チームが 64Kトークン超の長文脈で測っても、8bit の低下は 約0.8% にとどまる²。割れるのは 4bit だ。長文脈タスクでは最大59%を失い、同じ方式でもモデルによって結果が変わる²。日本語ではさらに、自動タスク平均 1.7% の低下が、現実的なプロンプトの人手評価では 16.0% に膨らむ³。落ちた推論能力は学習によって取り戻せるが、後処理だけでは足りない⁴。

8bitは決着している

まず表記を揃える。W8A8 や W4A16 という書き方は、重み（Weight）と活性化（Activation）をそれぞれ何ビットで持つかを表す。W8A8 なら重みも活性化も8bit、W4A16 なら重みは4bitで活性化は16bitのまま、という意味だ。FP8 は8bitの浮動小数点形式、INT8 や INT4 は整数形式を指す。

Kurtic らは vLLM 上で Llama-3.1 ファミリー全スケールを対象に、50万件を超える評価を回した。結果は形式ごとにはっきり分かれる。FP8（W8A8-FP）は全モデルスケールで実質ロスレス。W8A8-INT の精度低下は 1〜3% にとどまる。この論文は ACL 2025 に採択されている¹。

独立に、Mekala らは長文脈タスクで同じ問いを測った。9,700件を超えるテスト事例、64Kトークンを超える長い入力と長い出力、量子化方式は FP8・GPTQ-int8・AWQ-int4・GPTQ-int4・BNB-nf4 の5つ、モデルは Llama-3.1（8B, 70B）と Qwen-2.5（7B, 32B, 72B）の5つ。ここでも 8bit は精度を保ち、低下は約0.8% だった²。EMNLP 2025 採択の査読付き論文である。

タスクの形も、並べたモデルも、測った研究チームも違う。それでも 8bit については同じ判定が出た。配信の既定値をどこに置くかは、この二本で決まる。

4bitの安全性はワークロードの性質だ

4bit から先は、同じ資料を読んでも判定が一つに定まらない。Kurtic らのベンチマークでは、W4A16-INT は 8bit に匹敵する競争力を示した¹。一方 Mekala らの長文脈タスクでは、4bit 系が最大 59% の低下を招いた²。

どちらも実測値だ。違うのは測ったタスクの形である。片方は標準的な評価スイート、もう片方は 64K トークンを超える入力と長い出力を要求するタスクだった。ここから引き出せる実務上の帰結は一つ。4bit が安全かどうかは、精度形式の属性ではなく、自分のワークロードの属性だ。 短い入力の分類や生成で 4bit が通ったからといって、長文脈の要約や文書横断の処理で同じ結果は出ない。

同じ4bit方式でも、モデルが変われば結果が変わる

崩れ方はモデルにも依存する。Mekala らの実験で、BNB-nf4 は Qwen-2.5 72B では頑健にこなされ、同一タスクの Llama-3.1 70B では 32% の低下を示した²。方式は同じ、パラメータ規模も近い。それでも結果は割れる。

同じ研究は、入力が英語以外の言語だと、この劣化はさらに悪化する傾向があるとも報告している²。方式名だけを根拠にした「この量子化なら通る」という一般化は、この二つの観測の前では成り立たない。検証すべき単位は、方式ではなく方式とモデルと入力の組み合わせになる。

日本語では自動指標が被害を過小評価する

日本語でモデルを配信する側にとって、いちばん実務的な数字はここから出てくる。Marchisio ら（Cohere）は多言語モデルの量子化の影響を、自動ベンチマーク・LLM-as-a-Judge・人手評価の3系統で測った。被害は言語によって偏り、非ラテン文字の言語が最も強く影響を受ける³。

決定的なのは日本語の数字だ。自動タスク平均の低下が 1.7% であるのに対し、現実的なプロンプトでの人手評価では 16.0% の低下が報告された。人手が見た低下幅は、自動評価の約9倍にあたる。自動指標は被害を大幅に過小評価する。 また、数学的推論のような難しいタスクほど速く劣化する³。

英語のリーダーボードで評価を締めているかぎり、この 16.0% は計測に現れない。利用者が見ている劣化と、手元の数字が食い違う。本稿はこの結果に特定の量子化方式やモデル規模を結び付けない。論文の要旨がそれを明示していないからだ。この論文は EMNLP 2024 に採択されている。

推論能力は戻せる。ただし学習が要る

劣化が最も速い推論能力について、回復の道筋を系統的に調べた研究がある。用語を分けておくと、PTQ（学習後量子化）は訓練済みモデルを後から低ビット化する手法、QAT（量子化を意識した学習）は低ビット化した状態で学習し直す手法だ。

Lv らは、推論モデルを低ビット化するのに効く要素を4つ挙げる。知識蒸留を主目的に据えること——SFT でも RL でも頑健な学習信号になる。PTQ を QAT の初期値に使うこと——精度と計算量の両方が改善する。適切な初期化があれば RL も引き続き有効であること。そして PTQ と QAT の較正ドメインを揃えること——収束が速まり、最終精度も上がることが多い⁴。

効果の大きさとして示されたのは、Qwen3-0.6B において、著者らの Reasoning-QAT ワークフローが MATH-500 で GPTQ を 44.53 ポイント上回ったという結果だ。2bit 領域でも性能を一貫して回復するとしている⁴。実務的に読むべき含意は明確で、推論能力の劣化は回復可能だが、後処理だけでは足りず「学習」が要る。低ビット化した推論モデルの精度が足りないとき、量子化パラメータの調整で埋まる幅には限りがある。

何を既定にし、何を測るか

既定は 8bit に置く。FP8 は全モデルスケールで実質ロスレスと報告されており、コスト削減として取りにいく価値がある¹。INT 側を選ぶ場合でも、低下は 1〜3% の範囲に収まる。

4bit を採る前に、自分のモデル、自分の量子化方式、自分の文脈長で測る。この三つはどれも結果を大きく動かす。公開ベンチマークの平均値が使えるのは、その三条件が自分の配備条件と揃っているときだけだ。とくに 64K トークンを超える入力を扱う予定があるなら、短い入力での検証結果は根拠にならない。

日本語のような非ラテン文字の言語を配信するなら、評価系に人手評価か現実的なプロンプトを組み込む。自動指標の集計値だけで判断すると、利用者が体感する劣化を大幅に取り逃がす。

低ビット化と推論能力の両方が必要なら、量子化を意識した学習に予算を確保する。学習後量子化だけで推論性能が保たれることを前提に計画を組まない。

そして形式は配信モードに合わせる。同期推論では W4A16 が最もコスト効率がよく、非同期の連続バッチングでは W8A8 が最適だと、同じ研究が指針を出している¹。混在ワークロードでどちらが効くかは、配備条件によって変わる。

この報告を、どう割り引くか

証拠の重みは揃っていない。四本のうち三本——Kurtic らの ACL 2025、Marchisio らの EMNLP 2024、Mekala らの EMNLP 2025——は査読を通っている。Lv らの QAT 研究は 2026年1月公開のプレプリントで、査読前だ。

多言語の結果には、書けない部分がある。この論文の要旨は、どの量子化方式を用いたのか、どのモデル規模で測ったのかを明示していない。1.7% と 16.0% という差の大きさは読み取れるが、それが INT8 の話なのか INT4 の話なのかは、要旨からは分からない。本稿がそこを特定していないのは、そのためだ。

4bit をめぐる二つの判定——競争力があるという結果と、最大 59% 落ちるという結果——は、測ったタスクの形が違う。短い入力の評価スイートと、64K トークン超の長文脈タスクでは、同じ精度形式でも別の顔が出る。読み手の側で、自分のタスクがどちらに近いかを決める必要がある。

回復幅の 44.53 ポイントは、Qwen3-0.6B という小さなモデルで MATH-500 という一つのベンチマークを測った数字だ。より大きな推論モデルや別のタスクで同じ幅が出るかどうかは、この一本からは確かめられない。

この記事はAIが執筆しています。内容には誤りが含まれる可能性があります。ご注意ください。