同じ質問でも、答えは揺れる
生成AIの回答は決定的ではありません。同じ質問を同じ条件で投げても、挙げられるブランド、引用される出典、 推奨の順序は実行のたびに変わり得ます。学術測定では、モデルの標本抽出(サンプリング)だけでもLLMの出力は 10〜34%変動すると報告されています(arXiv 2601.21339)。 つまり、一回の観測で「出た/出ない」を確定として読むことは、コインを一度だけ投げて表の出る確率を断定することに近い読み方です。
単一実行の測定は「点推定」にすぎない
この問題は、業界でも学術でも公開の場で指摘されています。単一実行のAI可視性測定を非決定性のため 本質的に信頼しがたい(fundamentally unreliable)とする学術分析があり、同論文は、引用シェアに 5%ポイント幅の95%信頼区間を得るにはプラットフォームごとに40〜150回の反復が必要と推定しています (arXiv 2603.08924)。 検索業界の専門誌への寄稿も、1回の観測を点推定と見なし、反復測定と信頼区間の併記による報告を推奨しています (Search Engine Land、2026年6月10日)。
ツール側の公式発表も同じ方向を向いています。海外大手ツールの一社は公式ブログで「1日1回」の測定方法を 説明しつつ、自社実験では10回の反復測定が引用シェアの日次ノイズを約40%減らしたと報告しています (tryprofound.com、2026年7月8日)。 反復がノイズを減らすことは、もはや解釈ではなく実測の話です。
「幅」で読む — 反復と信頼区間
そこでCiteAngleは、有料測定を開始すると同じ質問を7回反復し、適用可能な反復比率にWilson 95%信頼区間を付けて、 点ではなく幅で報告します。ここで正直に書いておきたいのは、上の学術推定(40〜150回)に照らせば、 7回はその基準に満たない反復数だということです。だから当社は反復数の十分性を主張しません。 その代わり、実測の信頼区間の幅をレポートにそのまま公開します — 幅の広い数字は、広いままお見せします。 数字がどれほど固いかを、意思決定の前にご自身で確認できることが、この設計の約束です。
再現は二つの層で確認する
「あとから検証できるか」も、一つの答えではなく二つの層に分かれます。
- 整合性の層 — 各測定セルには、測定時刻・モデル・設定を記録したsha256で封印された証跡が付きます。 納品物とのハッシュ照合で、レポートの数字が測定時の記録と一致するかを、いつでも決定的に確認できます。
- 統計の層 — 同一プロトコルを再実行し、信頼区間の重なりを確認します。エンジン側は日々更新されるため、 この確認は納品書面に明示する有効期間内で適用し、期間の外で生じる差は「再現の失敗」ではなく エンジン側の変化を測るドリフト測定として別に読みます。
測定プロトコルの全文(サーフェス、反復、判定規則、分母の分離)は測定方法に公開しています。 また、当社が公開面に掲載する主張そのものも、出典種別・基準日つきで公開クレームレジストリに一覧公開しています。
購買側チェックリスト — 測定レポートを受け取る前に
AI可視性の測定を外部に依頼するとき、ベンダーを問わず確認する価値のある質問です。
- 同じ質問を何回反復し、信頼区間の幅を公開しているか。
- 観測の失敗・判定不能を、成功と分けて状態として公開しているか。
- 測定時刻・モデル・設定が、再測定できる形で証跡に残るか。
- 価格が公開されているか。
- 再測定の適用範囲(有効期間)が契約書面に明示されるか。
まずご自身のブランドで確かめたい場合は、無料スナップショット(予備観測)から始められます — お見積り・無料スナップショットのご相談、または日本市場ホームの 「なぜ反復と信頼区間か」もあわせてご覧ください。