📚 CC Stories
← AIにファイルを書き換えさせる前に「いいですか？」と聞かせる話 設定を1枚の帳票に集めて書き忘れ事故を潰した話 →
第14話

AIの直し提案が3体そろって否定された話

困ったこと

AIに作業を任せていると、AIが手順を省略するという失敗が起きた。毎回やるはずの確認作業を、AIは「頭の中でやったつもり」になっていて、実際には何も見ていなかった。人間が質問して初めて発覚する、見えないサボりだ。そこで「確認を忘れられない仕組み」を作ろうと、AIに設計案を考えさせ、さらに別々のAI三体に「この案の弱点を探して」と頼んだ。ところが案が固まった後、依頼者から一つの問いかけを受ける。「悪意ある偽装は本当に起こらないのか？」——この一言で、設計は根っから揺さぶられることになった。

どう解決したか

AIは「起こりうる。三つの場面がある」と分析し直し、「証拠の電子指紋を合言葉に焼き付ければ、読まずに偽装することは不可能になる」という直し案を出した。これを三体のAIに見せたところ、三体そろって同じ急所を突いた。「指紋を取るのは中身を読まない機械作業なので、指紋だけ取れば読んだことにはならない」。案の根幹は間違いだった。AIは案を取り下げ、方針を組み替えた。指紋は「設定が新しくなったことの検知」にだけ使い、意図的な偽装は「完全には防げない。でも見張りの記録は残るし、万が一すり抜けても被害は記録の質が下がる程度」と、限界ごと明記した設計に変えた。

flowchart TB
    A["🔍 人間「偽装は本当に防げないのか？」"] --> B["🤖 AI「指紋を焼けば不可能になる」"]
    B --> C{"👀 3体のAIが別々に点検"}
    C -->|"3体とも同じ急所を指摘"| D["❌「指紋を取るだけでは読んだことにならない」"]
    D --> E["🤖 AI、案を撤回"]
    E --> F["✅ 方針訂正: 防止はできない/見張りは残る/被害は小さい、と限界ごと明記"]

何が変わったか

出来上がったのは「構造的に不可能です」という安心できる嘘ではなく、「ここまでは守る・ここから先は守れない」と限界を書いた設計だった。頼む側としては一瞬不安になったが、限界が書いてある方が逆に信頼できる。破壊的な被害につながる箇所ではないと被害の大きさを見積もった上で、残る危険を受け入れる判断は人間がした。

一番の収穫は、AIが自分の提案をすぐに取り下げられたことだ。ただ深いAIは、賛成を集めるのが得意すぎて、間違いを認めるのが苦手だと言われる。今回は三体が別々に、それも同じ場所を指摘したから覆せた。一体的な点検は、AIにAIの間違いを認めさせる最も短い道だった。

<details><summary>▶ 技術的にどう作ったか</summary>

</details>