🏛️ LLM Wiki Guide
← プロジェクト作成 運用と更新 →

04 検収3指標 — 生成物を判定する

wikiが生成されたら「良いwikiか」を判定する。感覚ではなく、事前に決めた3指標で機械的に検収する。

3指標（生成前に閾値を決めておく）

指標1: 取込率

ls <project>/wiki/sources/ | wc -l

素材ファイル数とwiki/sources/のページ数が一致するか。不足=取込み漏れ。素材を先に数えておき、全件一致を確認する。

指標2: 相互リンク数

grep -rhoE '\[\[[^]]+\]\]' <project>/wiki/ | wc -l

[[リンク]]の総数。閾値は素材規模に対して≥10を下限とする（実際は数十〜数千になる）。リンクが少ないと「百科」ではなく「バラページの寄せ集め」になる。

指標3: 物性スポット3件

ランダムに3ページ（concept / entity / query等の種類を変えて）を開き、次を確認する:

⚠ 単純複製はfail条件。conceptページが「元文書の箇条書きのコピペ」になっている場合は生成のやり直し（purpose.mdのKey Questionsを見直す）。

実測の参考値

wiki 取込率 相互リンク スポット
品質ゲート設計（16素材） 16/16 951 3/3合格
LINE商材戦略（8素材） 8/8 243 2/2合格
キャリア（68素材） 68/68 3,134 3/3合格

失敗時の見分け方

ingestの状態は<project>/.llm-wiki/ingest-queue.jsonで確認できる。

python3 -c "import json; from collections import Counter; \
print(Counter(t.get('status') for t in json.load(open('<project>/.llm-wiki/ingest-queue.json'))))"