# AI可視性測定の再現性：なぜ一回の測定では足りないのか

원문: https://citeangle.com/jp/research/ai-visibility-measurement-reproducibility

公開 2026-07-16 · 執筆: [Jay Sim](https://citeangle.com/jp/methodology#measurement-lead) · CiteAngle · 2026年7月16日基準 · 本稿は測定設計の解説であり、特定顧客の実測値は含みません ·
根拠はすべて本文に原文リンクを併記した公開研究・公式発表です · 当社が公開面に掲載する主張は
[公開クレームレジストリ](https://citeangle.com/jp/claims)で出典・基準日とともに確認できます ·
更新 2026-07-17――直答サマリーを追加 · 更新 2026-07-22――見出しを問いの形に整理し、測定・改善ループ解説への内部リンクを追記

**AI可視性の測定は、一回の観測で足りるのか —**
足りません。同じ質問でも、AIの答えは聞くたびに変わります。だから一回の測定は「点」の推定に
すぎません。同じ質問を何回も聞き、幅(信頼区間)を付け、測った条件をそのまま封印して残す。
封印とは、あとから書き換えられない形で固定することです。
本稿はその設計を、公開されている外部研究と業界の公式発表だけで解説します。

**要点:**AIの回答は、同じ質問でも聞くたびに変わります。
だから一回の測定は「点」の推定にすぎません。
同じ質問を何回も聞き、幅で読み、測った条件を固めて残す設計を、公開研究だけで解説します。

目次

1. [同じ質問でも、答えは揺れる](#sec-wobble)

2. [単一実行は「点推定」](#sec-point)

3. [「幅」で読む：反復と信頼区間](#sec-width)

4. [再現は二つの層で確認する](#sec-layers)

5. [購買側チェックリスト](#sec-checklist)

このページが答える質問：[同じ質問でも、答えはどれだけ揺れるか](#sec-wobble) [単一実行の測定で何が言えるか](#sec-point) [「幅」で読むとはどういうことか](#sec-width) [再現はどう確認するか](#sec-layers) [購買側チェックリスト](#sec-checklist)

一回の観測を経営判断に使うと、翌週に逆の結論が出ます。生成AIは同じ質問にも毎回ちがう答えを返します。一回で出た順位は、その一回のくじの結果でもあります。それを稟議書に載せると、次の月が困ります。施策が効かなかったのか、元々ばらついていたのか。この二つを分けて説明できない数字は、一度目はそのまま通っても、二度目からは会議に出しても誰も見なくなります。

## 同じ質問でも、答えはどれだけ揺れるか

生成AIの回答は、毎回同じにはなりません。同じ質問を同じ条件で投げても、挙げられるブランド、引用される出典、
推奨の順序は聞くたびに変わり得ます。ここでいう引用とは、AIが答えの下に出典として自社のURLを挙げたことです。
学術測定では、モデルの標本抽出(サンプリング)だけでもLLMの出力は
10〜34%変動すると報告されています([arXiv 2601.21339](https://arxiv.org/abs/2601.21339))。
つまり、一回の観測で「出た/出ない」を確定と読むのは、コインを一度投げて表の出る確率を断定するのに近い読み方です。

## 単一実行の測定で何が言えるか：それは「点推定」です

この問題は、業界でも学術でも公開の場で指摘されています。答えが毎回変わる性質(非決定性)のため、
単一実行のAI可視性測定を本質的に信頼しがたい(fundamentally unreliable)とする学術分析があります。
信頼区間とは「本当の数字はこの幅のどこか」を示す幅のことです。同じ論文は、引用シェアに
5%ポイント幅の95%信頼区間を得るには、プラットフォームごとに40〜150問のクエリが要ると推定しています
([arXiv 2603.08924](https://arxiv.org/html/2603.08924))。
ここで数えているのは互いに異なる質問の数です。同じ質問を何度聞き直すかは、同じ論文でも別の軸として扱われます。
検索業界の専門誌への寄稿も、1回の観測を点推定と見なし、反復測定と信頼区間の併記による報告を推奨しています
([Search Engine Land、2026年6月10日](https://searchengineland.com/make-prompt-tracking-more-accurate-479708))。

ツール側の公式発表も同じ方向を向いています。海外大手ツールの一社は、公式ブログで「1日1回」という測定方法を
説明しています。ただし自社実験では、10回の反復測定が引用シェアの日次ノイズを約40%減らしたと報告しました
([tryprofound.com、2026年7月8日](https://tryprofound.com/blog/is-once-a-day-enough))。
反復がノイズを減らすことは、もはや解釈ではなく実測の話です。

揺れの幅と、必要とされる質問数――公開研究の数字

サンプリングだけで生じる出力変動(0〜100パーセントのスケール)

出力変動
 
 10〜34%

引用シェアに±5%ポイント幅の95%信頼区間を得るための質問数(学術推定)

学術推定
 
 40〜150問/プラットフォーム

CiteAngle パノラマ
 
 50問/プラットフォーム――この帯の中(本文の通り)

出典: arXiv 2601.21339(変動幅)・arXiv 2603.08924(必要質問数の推定) —
 原文リンクは本文に併記 · 根拠基準日 2026年7月16日 · 横棒は各パネルの最大値基準の比例。
 1問を7回ずつ聞く反復はこれとは別の軸で、実測のWilson 95%信頼区間をセルごとに併記します。

## 「幅」で読むとはどういうことか：反復と信頼区間

そこで当社実測は、有料測定で同じ質問を7回ずつ聞きます。判定できた回だけを分母にした比率
(適用可能な反復比率)にWilson 95%信頼区間を付けて、点ではなく幅で報告します。
先に挙げた40〜150は**質問数**の推定であって、反復回数の基準ではありません。パノラマは1プラットフォームあたり
50問を投げるので、この推定の帯の中に入ります。7回の反復はその上に積み増す別の軸で、
当社は反復数の十分性を主張しません。数で押す代わりに、実測の信頼区間を、セルひとつずつ、出たまま
レポートに載せます。広い幅は広いままお見せします――その数字にどこまで体重を預けられるかを、
予算を動かす前にご自身で確かめられます。

7回という回数の根拠は、当社実測の集計関数をそのまま計算し直した結果です(再計算 2026-07-17)。
1回だけ聞いた場合、毎回引用されたクエリの95%区間は20.7%〜100%、一度も引用されなかったクエリは
0%〜79.3%になり、二つが重なります。重なっている限り、順位として読むことはできません。
7回にすると64.6%と35.4%に分かれ、上と下がはじめて別の帯になります。幅そのものも1回の79.3ポイントから
7回で35.4ポイント、40回で8.8ポイントまで縮みます。ただし7回を40回にすると測定作業そのものは
5.7倍になります(同じ日の当社計算 2026-07-17)。幅は作業量ほどには縮みません。
どこで止めるかは、精度と費用のどちらを買うかという判断です。

## 再現はどう確認するか：二つの層

「あとから検証できるか」も、一つの答えではなく二つの層に分かれます。

- **整合性の層**――測定の一つひとつに、測定時刻・モデル・設定を記録した証跡が付きます。
 この証跡はsha256で封印します。sha256とは、中身を短い文字列ひとつに縮めた値で、一文字変わるだけで全体が変わります。
 だから納品物とハッシュを照合すれば、レポートの数字が測定時の記録と一致するかを、いつでも確かめられます。

- **統計の層**――同一プロトコルを再実行し、信頼区間の重なりを確認します。エンジン側は日々更新されます。
 そのためこの確認は、納品書面に明示する有効期間内で適用します。期間の外で生じる差は「再現の失敗」ではありません。
 エンジン側の変化を測る**ドリフト測定**として、別に読みます。

測定プロトコルの全文は[測定方法](https://citeangle.com/jp/methodology)に公開しています。
どの画面(サーフェス)を、何回ずつ、どんな規則で判定し、どの数を分母に置くかまで書いてあります。
当社が公開面に掲載する主張そのものも、出典種別・基準日つきで[公開クレームレジストリ](https://citeangle.com/jp/claims)に一覧公開しています。
この設計を日本市場の測定・改善ループとして運用する形は、[東京基準の測定・改善ループの解説](https://citeangle.com/jp/research/tokyo-measurement-improvement-loop)に
まとめています。

## 購買側チェックリスト：測定レポートを受け取る前に

AI可視性の測定を外部に依頼するとき、ベンダーを問わず確認する価値のある質問です。

1. 同じ質問を何回反復し、信頼区間の幅を公開しているか。

2. 観測の失敗・判定不能を、成功と分けて状態として公開しているか。

3. 測定時刻・モデル・設定が、再測定できる形で証跡に残るか。

4. 価格が公開されているか。

5. 再測定の適用範囲(有効期間)が契約書面に明示されるか。

まずご自身のブランドで確かめたい場合は、無料診断(予備観測)から始められます。
[無料診断のお申し込み](https://citeangle.com/jp/#ja-snapform)はこちらです。
[日本市場ホーム](https://citeangle.com/jp/)の[「なぜ反復と信頼区間か」](https://citeangle.com/jp/methodology#why-7)も、あわせてご覧ください。

再現できる測定だけが、意思決定に耐えます。

この記事の設計を、そのまま納品物にしています。反復と信頼区間、封印された測定条件、同一条件の再測定。納品の実際の形は、サンプルレポートでご確認ください。

[サンプルレポートを見る](https://citeangle.com/jp/samples)[測定プロトコルを見る](https://citeangle.com/jp/methodology)

## 一回で決めると、何が起きるか

幅を付けずに一点で読むと、たまたま良かった週を実力と取り違えます。区別しないまま予算を動かせば、翌月に戻す作業のコストが余分にかかります。

測った条件の封印がないと、後から同じ設計で確かめられません。確かめられない数字は、社内で使うたびに信用を失います。