← 必須タグがなくても8割の点数が出てしまった話 防災フックが鳴らなかった話 →
第1話

第1話 「テストは充分?」という一言

困ったこと

最近、二日続けて同じ形の失敗がありました。一日目は「プログラムのテストを作った」と報告したのに、実は“うまくいく場合だけ”試していて、変な入力のときの確認が抜けていました。二日目は「どこにも使われていないはず」と調べた鍵が、実は大事なソフト(NexusCore)で使われていました。どちらも、ふくけいが「テストは充分?」と一言聞いたことで初めて見つかったのです。

どう解決したことになるか

「聞かれないと気づけない」のは困るので、この一言を自動化することにしました。ただ「ちゃんとやりなさい」と注意文を増やしても、注意文は読まれるだけで守られません(実際に二日連続で効きませんでした)。そこで方針を「申告させる」から「照合する」へ変えました。やったと書かせるのではなく、本当にやった証拠と突き合わせて機械が確かめる方式です。設計は別のAI三社に合計四回レビューしてもらい、そのたびに「このままだと間違えて止めすぎる」「自動実行では門番が動かない」などの落とし穴を潰しました。

flowchart TB
    A["テスト全部成功 🎉"] --> B{"でも本当の効果は?"}
    B -->|"中間指標だけ見て安心"| C["😭 実は効果ゼロだった"]
    B -->|"完了の前に実測"| D["✅ 効果を1コマンドで確認"]
    D --> E["「完了」と言える"]

何が変わったか

完成したのは三つの門番です。①報告の形式と実際の実行記録が一致しているか確かめる係 ②「ゼロ件」と言い切る時に、別の探し方での再確認を要求する係 ③自動開発の間も報告の形式を強制する係。テストは全部で十八個、すべて合格。しかも作業の最中に「テストが合格と表示されているのに、実は試す準備ができておらず何も試していなかった」という失敗を門番の仕組みが見つけて直しました。作った当日に元が取れています。

<details><summary>▶ 技術的にどう作ったか</summary>

作ったもの

設計の要点

所在情報(要約・原文リンクなし)

</details>