このシリーズについて。発注前検証シリーズは、AI可視性の測定・改善提案で数字が作られる 方式を一回に一つずつ分解し、発注者が契約前に書面で確認できる質問に変換する連載です。対象は業界の 報告形式であって、特定の事業者ではありません — 本文中の提案・レポートの文例はすべて仮想の例であり、 引用する外部数値にはすべて原文リンクと日付を併記します。
順位表の前提を疑う — 1回の実行は「点」
生成AIの回答は決定的ではありません。LLMの出力は標本抽出だけでも10〜34%変動するという学術測定が あります(arXiv 2601.21339、2026年1月、プレプリント)。同じ質問を同じ条件で投げても、挙がるブランドも、引用される 出典も、実行ごとに変わり得ます。つまり一回の観測が言えるのは「その実行ではそう出た」ということまで です。
順位表は、その一回ずつの数字の差の集合です。二つのブランドの数字の差が、測定自体の揺れの 幅より小さければ、順位の入れ替わりは市場の出来事ではなく、サイコロの目です。3位から5位への後退が 「事件」なのか「想定内の揺れ」なのかは、順位表そのものからは読めません — 反復回数と幅(信頼区間)が 書かれていて、初めて読めるようになります。
公開の場での判定は、すでに出ている
この点は学術・業界誌・ツール側の三者が、それぞれ公開の場で指摘しています。すべて原文リンクつきで 挙げます。
1. 学術分析。単一実行のAI可視性測定は非決定性のため本質的に信頼しがたい(fundamentally unreliable)とする学術分析があり、同論文は引用シェアに5%ポイント幅の95%信頼区間を得るには プラットフォームごとに40〜150回の反復が必要と推定しています(arXiv 2603.08924、 2026年、プレプリント)。
2. 検索業界誌。検索業界の専門誌への寄稿(Search Engine Land、2026年6月10日)は、1回の 観測を点推定と見なし、反復測定と信頼区間の併記報告を推奨しています(原文)。
3. ツール側の公式発表。海外大手AI可視性ツールの一社も公式ブログ(2026年7月8日)で 「1日1回」の測定方法を公式に説明しつつ、自社実験では10回の反復測定が引用シェアの日次ノイズを 約40%減らしたと報告しています(tryprofound.com)。数値の引用はここまでで、解釈は当社の文章です — 反復すると消える部分は、単発の読み取りでは「変化」として報告されてしまう、ということを、ツール側の 実験自体が示しています。
揺れの幅と、必要とされる反復数 — 公開研究の数字
サンプリングだけで生じる出力変動(0〜100パーセントのスケール)
引用シェアに±5%ポイント幅の95%信頼区間を得るための反復数(学術推定)
反復と幅の併記は、学術の中だけの作法ではなく、公開の場で繰り返し推奨されている報告形式です。 順位表を読む側の実務に翻訳すると、こうなります — 順位の差が信頼区間の重なりの内側にあるなら、 その入れ替わりを根拠に予算や方針を動かす材料はまだ無い。
稟議・検収の前に — 書面で求める五項目
1. 反復回数(k)と信頼区間の幅の書面記載を求める。順位表の各数字が何回の測定から来て いるか、幅はどれだけか。記載がなければ、まずそれを訊くところからです。
2. 順位の差が信頼区間の重なりの内側か外側かを質問する。重なりの内側の入れ替わりは 想定内の揺れであり、外側の変化だけが行動の根拠になります。
3. 質問セットのバージョンと判定基準の書面化を求める。「先月」と「今月」で質問リストが 変わっていれば、それは同じ測定の比較ではなく、別々の測定です。
4. 再測定の条件(同一プロトコル)の明文化を求める。同じ条件でもう一度測れることが書面で 確認できて、初めて来期の数字と比較できます。
5. 単一の数値だけのレポートは「測定1回基準」かをまず確認する。幅の記載がない数字は、 1回の実行の点推定である可能性をまず確かめてから読む — それがこのシリーズの出発点です。
五項目とも、数字の大小ではなく数字の作り方と残し方への質問です。書面で答えられる測定は、 稟議でも検収でも同じ質問に耐えます。
私たちのやり方(同じ基準で)
私たちは測定と実行の両方を販売しています。だからこそ、すべての測定に検証可能な記録を残します。 CiteAngleの有料測定は同じ質問を7回反復し、適用可能な比率にWilson 95%信頼区間を併記します。正直に 書いておくと、先の学術推定(40〜150回)に照らせば、7回はその基準に満たない反復数です。だから当社は 反復数の十分性を主張しません。その代わり、実測の信頼区間の幅をレポートにそのまま公開します — 幅の広い数字は、広いまま示します。各測定セルには測定時刻・モデル・設定を記録した封印証跡が付き、 納品後にハッシュ照合で確認できます。
測定設計そのものの解説は、既発行の「AI可視性測定の再現性 — なぜ一回の 測定では足りないのか」にあります — あの稿が「なぜ反復か」という原理なら、本稿は「順位表をどう 読むか」という発注実務です。当社が公開面に掲載する主張は、出典・基準日つきで公開クレームレジストリから確認できます。自社ブランドの現在地は、無料 スナップショット(予備観測 — 本稿で述べた「点」の限界がそのまま適用される単発観測です)から 確認できます: CiteAngle Japan · 測定方法 · なぜ7回か — 精度のはしご。
発注前検証シリーズ — 稟議に耐えるAI可視性測定
本稿は第1回です。シリーズはAI可視性の測定・改善提案の報告形式を一回に一つずつ 分解します — 対象は業界の慣行であって特定の事業者ではなく、外部数値はすべて原文リンクと日付を 併記します。次回: 第2回 — 再現できないレポートを受け取ったら(書面で求める項目、公開予定)。 測定設計の原理編: AI可視性測定の 再現性。リサーチ一覧: CiteAngle リサーチ — シリーズ索引。