AI・信頼性・評価
AIを使う前に、その分野の理想形を学べ
生産ラインの改善案をAIに出させると、たとえばこんな案が返ってくる。在庫を各工程に厚く積んで、どの工程も止まらないようにする。整然としていて、もっともらしい。だが在庫を持てば持つほど問題が見えなくなる、というのはトヨタ生産方式が半世紀前に言い切ったことだ。AIはその分野の「よくある平均的なやり方」を、なめらかに再生産する。
AIは分野に落とされた労働力にすぎない
AIは、ある分野に投入された労働力だと考えたほうがいい。労働力そのものは、良し悪しを判断しない。判断するのは、それを使う側の目だ。物理の問題を、熟達者は背後の深層構造で分類し、初心者は表面の特徴で分類する——半世紀近く前の古典が示したこの差が、そのまま出力の目利きの差になる1。深層で見える者だけが、返ってきた出力が凡庸なのか一級なのかを見分けられる。見分けられなければ、結局その分野の平均を再生産するだけになる。この「分野に詳しい人ほどAIから多くを引き出す」傾向自体は、40万件規模の利用データでも裏づけがある(→AIコーディングで効いたのは『コードが書けること』ではなかった)。本稿が問うのはその先——何を”詳しさ”の中身に据えるか、だ。
ここで「その分野を知っていればいい」と考えると、もう一段浅い。現場の実践は、たいてい理想からかなり遠いところで回っている。妥協と惰性の積み重ねが「普通のやり方」になっている。だから必要なのは、現場の平均ではなく、その分野が長い時間をかけて磨いた「理想形」の知識だ。
理想形は、どの成熟した分野にもある。製造と品質管理ならトヨタ生産方式やリーン、シックスシグマ。ソフトウェアの設計ならドメイン駆動設計やSOLID、クリーンアーキテクチャ。開発の進め方ならアジャイルやエクストリームプログラミング。重要なのは、これらがすべてAI以前から存在することだ。AIをうまく使う力は、AIの知識ではなく、こうした理想形をいくつ手の内に持っているかから来る。AIの能力は一様でなく、得意な領域と不得意な領域が「ギザギザの境界(jagged frontier)」——予測しづらい形で入り組んでいる。どこまで信じ、どこから疑うか——その線を引けるのは、AIの知識ではなく分野の判断力のほうだ。境界を持たないまま無批判に頼れば、もっともらしい誤答をそのまま受け取ることになる2。
理想形は複数持て、そして限界も知れ
理想形を一つだけ信奉するのは、それはそれで危うい。トヨタ生産方式は多品種少量には強いが、二度と作らない一品ものの建造にあてはめると歪む。シックスシグマはばらつきを減らす道具で、まだ形の定まらない探索的な新規開発には過剰だ。理想形には必ず適用の外がある。
だから、複数の理想形を持ち、状況で使い分けるのが一番強い。出力を「どの理想に照らして良いのか」で評価できるようになり、AIに「何を目指させるか」を具体的に指示できるようになる。
ここで、証拠は逆を向く。コールセンターの現場では、生成AIで最も伸びたのは新人・低スキル層で、熟練者の伸びは僅少だった3。執筆課題でも、当初劣っていた書き手ほど改善し、AIは専門格差をむしろ平準化した4。「まず分野を極めよ」という本稿の主張に、これは正面から留保をかける。極める前でも、AIは十分に成果を押し上げるではないか、と。
それでも主張は崩れない。これらが押し上げたのは、定型の生産——標準的な応対、平均的な文章だ。平準化されるのは平均への距離であって、平均を超える判断ではない。新人がAIで一級の応対に届くのではなく、平均に速く届くようになる。だが本稿が問うているのは、返ってきた出力がその平均で妥当なのか、それとも誤りなのかを見分ける目だ。定型の底上げと、いつそれが間違っているかを知る力は、別のものだ。学習の投資は重いが、後者こそがAIを使う土台になる。そして幸い、その理想形を学ぶこと自体にAIを使える。教科書を要約させ、限界を問い、自分の状況に当てはめて叩く相手として。
「新スキル」ではなく「古い規律の翻訳」
もう一つ、根の深い勘違いがある。「AI協働とは、プロンプトエンジニアリングという新しいスキルを覚えることだ」という捉え方だ。これは他の勘違いを生む親のようなもので、いちばん厄介だ。
「新しい分野だから新しいスキルが要る」と思い込んだ瞬間、人は古い規律を探しに行くのをやめる。検証、意図の伝達、知識の構造化、統制。こうした困りごとの多くは、AI以前の工学や管理の分野に、とっくに家がある。何十年もかけて潰されてきた失敗を、また一から歩き直すことになる。プロンプトの技術は本物だが、氷山の一角であって土台ではない。
だから「新スキルを学ぶ」ではなく「既存の規律を、新しい種類の労働力へ翻訳する」と捉えたほうがいい。価値は目新しさではなく、対応づけの正確さのほうにある。困ったら、まず問う。この難しさは、AI以前のどの分野の話なのか。歴史のどこに家があるのか。
反論はある。歴史に頼りすぎるのは、目の前の新しさを見誤る、という指摘だ。実際、すべてが歴史にあるわけではない。エージェントの安全性の一部、正解のない生成物を参照なしで評価すること、どこまで信じるかの調整。こうした細く新しい残余は確かにある。そしてもっと厄介なのは、「AI協働」という分野そのものに、まだ確立した理想形がないことだ。写し取る元がない領域では、いくら学んでも埋まらない穴が残る。これは正直に名指しておく。
土台としては、既存の規律への対応づけを先に置く。プロンプトの技術は、その上に薄く乗せる運用の層だ。そして残余の細さと、対応づけの太さを、取り違えないこと。ほとんどの困りごとには、すでに家がある。まずそこを訪ねてから、本当に新しいものだけを新しく扱えばいい。
出典
-
[negative] M. T. H. Chi, P. J. Feltovich & R. Glaser, “Categorization and Representation of Physics Problems by Experts and Novices,” Cognitive Science, vol. 5, no. 2 (1981). 熟達者は問題の深層構造を、初心者は表層特徴を見る——分野の理想形を知る目が本質を捉える古典的証左。 https://doi.org/10.1207/s15516709cog0502_2 ↩
-
[negative] F. Dell’Acqua, E. McFowland III, E. Mollick, et al., “Navigating the Jagged Technological Frontier,” Harvard Business School Working Paper 24-013 (2023). AIの能力は「ギザギザの境界」で、どこで信じられるかの見極めに分野の判断力が要り、無批判な依存は誤答を招く。 https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4573321 ↩
-
[positive] E. Brynjolfsson, D. Li & L. R. Raymond, “Generative AI at Work,” NBER Working Paper 31161 (2023). 生成AI導入で最も伸びたのは新人・低スキル層で熟練者の伸びは僅少——「まず分野を極めよ」に留保をかける。 https://www.nber.org/papers/w31161 ↩
-
[positive] S. Noy & W. Zhang, “Experimental evidence on the productivity effects of generative artificial intelligence,” Science, vol. 381, no. 6654 (2023). 執筆課題で当初劣っていた書き手ほど改善し、AIが専門格差を平準化しうると示す。 https://doi.org/10.1126/science.adh2586 ↩
この記事はAIが下書きし、人間が編集・公開しています。