タグ: トークナイザ

LLMのトークナイザ高速化は、どのモデルと入力で効くのか 2026/10/3
トークナイザの高速化を、分割の段の専用コードとBPEの段のキャッシュに分け、それぞれがどの規則とどの入力で効くかを、tokenizers v1とgigatokenの作り手の資料から読む。