AI可視性の測定は、一回の観測で足りるのか — 足りません。同じ質問でも、AIの答えは聞くたびに変わります。だから一回の測定は「点」の推定に すぎません。同じ質問を何回も聞き、幅(信頼区間)を付け、測った条件をそのまま封印して残す。 封印とは、あとから書き換えられない形で固定することです。 本稿はその設計を、公開されている外部研究と業界の公式発表だけで解説します。
要点:AIの回答は、同じ質問でも聞くたびに変わります。 だから一回の測定は「点」の推定にすぎません。 同じ質問を何回も聞き、幅で読み、測った条件を固めて残す設計を、公開研究だけで解説します。
一回の観測を経営判断に使うと、翌週に逆の結論が出ます。生成AIは同じ質問にも毎回ちがう答えを返します。一回で出た順位は、その一回のくじの結果でもあります。それを稟議書に載せると、次の月が困ります。施策が効かなかったのか、元々ばらついていたのか。この二つを分けて説明できない数字は、一度目はそのまま通っても、二度目からは会議に出しても誰も見なくなります。
同じ質問でも、答えはどれだけ揺れるか
生成AIの回答は、毎回同じにはなりません。同じ質問を同じ条件で投げても、挙げられるブランド、引用される出典、 推奨の順序は聞くたびに変わり得ます。ここでいう引用とは、AIが答えの下に出典として自社のURLを挙げたことです。 学術測定では、モデルの標本抽出(サンプリング)だけでもLLMの出力は 10〜34%変動すると報告されています(arXiv 2601.21339)。 つまり、一回の観測で「出た/出ない」を確定と読むのは、コインを一度投げて表の出る確率を断定するのに近い読み方です。
単一実行の測定で何が言えるか：それは「点推定」です
この問題は、業界でも学術でも公開の場で指摘されています。答えが毎回変わる性質(非決定性)のため、 単一実行のAI可視性測定を本質的に信頼しがたい(fundamentally unreliable)とする学術分析があります。 信頼区間とは「本当の数字はこの幅のどこか」を示す幅のことです。同じ論文は、引用シェアに 5%ポイント幅の95%信頼区間を得るには、プラットフォームごとに40〜150問のクエリが要ると推定しています (arXiv 2603.08924)。 ここで数えているのは互いに異なる質問の数です。同じ質問を何度聞き直すかは、同じ論文でも別の軸として扱われます。 検索業界の専門誌への寄稿も、1回の観測を点推定と見なし、反復測定と信頼区間の併記による報告を推奨しています (Search Engine Land、2026年6月10日)。
ツール側の公式発表も同じ方向を向いています。海外大手ツールの一社は、公式ブログで「1日1回」という測定方法を 説明しています。ただし自社実験では、10回の反復測定が引用シェアの日次ノイズを約40%減らしたと報告しました (tryprofound.com、2026年7月8日)。 反復がノイズを減らすことは、もはや解釈ではなく実測の話です。
揺れの幅と、必要とされる質問数――公開研究の数字
サンプリングだけで生じる出力変動(0〜100パーセントのスケール)
引用シェアに±5%ポイント幅の95%信頼区間を得るための質問数(学術推定)
「幅」で読むとはどういうことか：反復と信頼区間
そこで当社実測は、有料測定で同じ質問を7回ずつ聞きます。判定できた回だけを分母にした比率 (適用可能な反復比率)にWilson 95%信頼区間を付けて、点ではなく幅で報告します。 先に挙げた40〜150は質問数の推定であって、反復回数の基準ではありません。パノラマは1プラットフォームあたり 50問を投げるので、この推定の帯の中に入ります。7回の反復はその上に積み増す別の軸で、 当社は反復数の十分性を主張しません。数で押す代わりに、実測の信頼区間を、セルひとつずつ、出たまま レポートに載せます。広い幅は広いままお見せします――その数字にどこまで体重を預けられるかを、 予算を動かす前にご自身で確かめられます。
7回という回数の根拠は、当社実測の集計関数をそのまま計算し直した結果です(再計算 2026-07-17)。 1回だけ聞いた場合、毎回引用されたクエリの95%区間は20.7%〜100%、一度も引用されなかったクエリは 0%〜79.3%になり、二つが重なります。重なっている限り、順位として読むことはできません。 7回にすると64.6%と35.4%に分かれ、上と下がはじめて別の帯になります。幅そのものも1回の79.3ポイントから 7回で35.4ポイント、40回で8.8ポイントまで縮みます。ただし7回を40回にすると測定作業そのものは 5.7倍になります(同じ日の当社計算 2026-07-17)。幅は作業量ほどには縮みません。 どこで止めるかは、精度と費用のどちらを買うかという判断です。
再現はどう確認するか：二つの層
「あとから検証できるか」も、一つの答えではなく二つの層に分かれます。
- 整合性の層――測定の一つひとつに、測定時刻・モデル・設定を記録した証跡が付きます。 この証跡はsha256で封印します。sha256とは、中身を短い文字列ひとつに縮めた値で、一文字変わるだけで全体が変わります。 だから納品物とハッシュを照合すれば、レポートの数字が測定時の記録と一致するかを、いつでも確かめられます。
- 統計の層――同一プロトコルを再実行し、信頼区間の重なりを確認します。エンジン側は日々更新されます。 そのためこの確認は、納品書面に明示する有効期間内で適用します。期間の外で生じる差は「再現の失敗」ではありません。 エンジン側の変化を測るドリフト測定として、別に読みます。
測定プロトコルの全文は測定方法に公開しています。 どの画面(サーフェス)を、何回ずつ、どんな規則で判定し、どの数を分母に置くかまで書いてあります。 当社が公開面に掲載する主張そのものも、出典種別・基準日つきで公開クレームレジストリに一覧公開しています。 この設計を日本市場の測定・改善ループとして運用する形は、東京基準の測定・改善ループの解説に まとめています。
購買側チェックリスト：測定レポートを受け取る前に
AI可視性の測定を外部に依頼するとき、ベンダーを問わず確認する価値のある質問です。
- 同じ質問を何回反復し、信頼区間の幅を公開しているか。
- 観測の失敗・判定不能を、成功と分けて状態として公開しているか。
- 測定時刻・モデル・設定が、再測定できる形で証跡に残るか。
- 価格が公開されているか。
- 再測定の適用範囲(有効期間)が契約書面に明示されるか。
まずご自身のブランドで確かめたい場合は、無料診断(予備観測)から始められます。 無料診断のお申し込みはこちらです。 日本市場ホームの「なぜ反復と信頼区間か」も、あわせてご覧ください。
再現できる測定だけが、意思決定に耐えます。
この記事の設計を、そのまま納品物にしています。反復と信頼区間、封印された測定条件、同一条件の再測定。納品の実際の形は、サンプルレポートでご確認ください。
一回で決めると、何が起きるか
幅を付けずに一点で読むと、たまたま良かった週を実力と取り違えます。区別しないまま予算を動かせば、翌月に戻す作業のコストが余分にかかります。
測った条件の封印がないと、後から同じ設計で確かめられません。確かめられない数字は、社内で使うたびに信用を失います。