基準日
1回の診断で、質問を何件投げるか
診断ではまず、その業種の買い手が実際に打ちそうな質問を一覧にします。その一覧を複数の聞く先へ配り、同じ質問を決めた回数だけ繰り返します。AI は同じ質問にも日によって違う答えを返すので、一度だけ聞くとその日の運を見たことになります。
パノラマは質問50件を7回ずつ投げ、答えが出る下の17か所をすべて読みます。
AI が答える場所 · 10
- ChatGPT
- Perplexity
- Claude
- Gemini
- Grok
- Google AI による概要
- Google AI モード
- Bing Copilot
- Yahoo! JAPAN AI回答
- DuckDuckGo AI アシスト
検索が答える場所 · 3
- Google 検索
- Bing 検索
- Yahoo! JAPAN 検索
ニュース・動画 · 4
- Google ニュース
- Bing ニュース
- YouTube
- Google ショート動画
| 診断 | 質問 | 聞く先 | 繰り返し | セル | 並べて測る競合 |
|---|---|---|---|---|---|
| レーダー | 5 | 15 | 7 | 525 | 0 |
| コンパス | 20 | 15 | 7 | 2,100 | 3 |
| パノラマ | 50 | 15 | 7 | 5,250 | 10 |
質問1件が、聞く先15か所 × 繰り返し7回で105セル。下の四角ひとつが1セルにあたります。
読めなかったセルも、分母には残します
読めなかった分を分母から外せば、割合は手を加えなくても上がります。その計算はしません。投げたセルは一つも引かずに分母へ残し、読めた分と読めなかった分をそれぞれ何件だったかまでレポートの同じ場所に並べて書きます。この表の値は商品契約から表示のたび読み出しているので、契約が変わればこのページも同じ日のうちに変わります。
どこに聞いているのか、名前を全部出します
国が変われば、買い手が開くサービスも変わります。韓国・米国・日本でロスターが別々なのはそのためです。下は、いまご覧の日本市場で実際に聞いている15か所の全部で、他の市場の一覧は言語を切り替えればそのページでそのまま確認できます。
| 種類 | 聞く先 |
|---|---|
| AI 回答 | OpenAI ウェブ検索 |
| AI 回答 | Perplexity |
| AI 回答 | Anthropic ウェブ検索 |
| AI 回答 | xAI ウェブ検索 |
| AI 回答 | Gemini |
| AI 回答 | Google AI モード |
| 検索 | Google 検索 |
| ニュース | Google ニュース |
| 動画 | YouTube 検索 |
| 動画 | Google ショート動画 |
| 検索 | Bing 検索 |
| AI 回答 | Bing Copilot |
| ニュース | Bing ニュース |
| AI 回答 | DuckDuckGo 検索アシスト |
| 検索 | Yahoo! JAPAN 検索 |
聞く先は15か所、名前が載りうる画面は17か所
Google 検索へ1回聞くと、検索結果と、その上のAI要約が返ってきます。1回の取得で画面は2つです。名前が載りうる画面を17か所と数えるのはそのためで、セル数の掛け算に入る軸は聞く先15か所のほうです。二つを同じ式に入れると、セル数が合わなくなります。
名前が載りうる画面を全部出します
聞く先は15か所ですが、答えが載る画面は17か所です。一度聞いただけで画面が二つに分かれることがあるので数が違います。以下がその17か所すべてです。
| 種類 | 画面 | どこで得るか |
|---|---|---|
| AI 回答 | OpenAI 回答 | OpenAI ウェブ検索 |
| AI 回答 | Perplexity 回答 | Perplexity |
| AI 回答 | Anthropic 回答 | Anthropic ウェブ検索 |
| AI 回答 | xAI 回答 | xAI ウェブ検索 |
| AI 回答 | Gemini 回答 | Gemini |
| AI 回答 | Google AI モード | Google AI モード |
| AI 回答 | Google AI による概要 | Google 検索 · 同時に来る |
| 検索 | Google 検索 | Google 検索 |
| ニュース | Google ニュース | Google ニュース |
| ニュース | Bing ニュース | Bing ニュース |
| 動画 | YouTube | YouTube 検索 |
| 動画 | Google ショート動画 | Google ショート動画 |
| AI 回答 | Bing Copilot | Bing Copilot |
| AI 回答 | DuckDuckGo 検索アシスト | DuckDuckGo 検索アシスト |
| 検索 | Bing 検索 | Bing 検索 |
| 検索 | Yahoo! JAPAN 検索 | Yahoo! JAPAN 検索 |
| AI 回答 | Yahoo! JAPAN AI 回答 | Yahoo! JAPAN 検索 · 同時に来る |
一度聞くと一緒に来るものまで数えます
検索一回で返ってくるのはリンクの一覧だけではありません。動画・地図・ショッピング・他の人はこちらも質問などが同じ画面に一緒に来ます。この市場ではそれを全部数えると54か所です。追加で聞かずに、すでに受け取った答えの中から読み取ります。
| 聞く先 | か所 | 一緒に来るもの |
|---|---|---|
| OpenAI ウェブ検索 | 2 | AI 回答本文 · AI 回答の出典 |
| Perplexity | 2 | AI 回答本文 · AI 回答の出典 |
| Anthropic ウェブ検索 | 2 | AI 回答本文 · AI 回答の出典 |
| xAI ウェブ検索 | 2 | AI 回答本文 · AI 回答の出典 |
| Gemini | 2 | AI 回答本文 · AI 回答の出典 |
| Google AI モード | 3 | AI 回答本文 · AI 回答の出典 · クイック回答 |
| Google 検索 | 13 | 検索結果 · AI による概要 · 他の人はこちらも質問 · 検索結果内の動画 · AI 概要(展開) · 回答ボックス · 地図 · ローカルパック · 掲示板・フォーラム · 広告 · ナレッジパネル · DMCA 通知 · パースペクティブ |
| Google ニュース | 1 | ニュース |
| YouTube 検索 | 6 | 動画 · ショート · 広告 · チャンネル · 再生リスト · 関連検索 |
| Google ショート動画 | 1 | ショート動画 |
| Bing 検索 | 6 | 検索結果 · 回答ボックス · 検索結果内の動画 · 広告 · トップニュース · 他の人はこちらも質問 |
| Bing Copilot | 2 | AI 回答の出典 · AI 回答本文 |
| Bing ニュース | 1 | 検索結果 |
| DuckDuckGo 検索アシスト | 6 | 検索結果 · 検索アシスト · 広告 · 関連検索 · 検索結果内の動画 · ニュース |
| Yahoo! JAPAN 検索 | 5 | 検索結果 · AI 回答 · 他の人はこちらも質問 · 関連検索 · ショッピング |
同じ質問を7回、繰り返します
AIの回答は、同じ質問でも毎回少し違います。1回で出た値は、その1回だけの値です。7回まとめて見て、はじめて答えの振れ幅までわかります。
だから割合には信頼区間を添えます。信頼区間とは、その割合が実際にどこからどこまで動きうるかの幅です。このページもレポートも95%の区間で統一しています。
なぜ7回なのか。もっと多く聞けば何がどれだけ変わるのか。実計算を測定方法論のページに出しています。 測定方法論(なぜこう測るのか)
何をもって、その回を「終わった」とするか
どこまで済んで1回分が終わりでしょうか。判定は三つです。下の値が、その回を締めてよいかどうかを分けます。ひとつでも下回れば、その回は納品しません。三つとも超えるには、観測が画面ごとに偏りなく成功している必要があります。
| 基準 | 超えるべき値 |
|---|---|
| 投げたセルのうち、実際に読めたセルの割合 | 95% |
| 名前が載りうる画面17か所の、それぞれで読めた割合 | 90% |
| 読めたセルのうち、引用・言及・なしまで判定が終わった割合 | 95% |
0には二種類あります。混ぜません
当社が読めなかったセルと、その画面に回答が無かったセル。前者は当社の事情で、後者は観測結果です。ひとつの欄にまとめると、当社の取りこぼしが市場についての事実の顔をしてしまいます。
引用は、AIが根拠としてリンクを張ること。言及は、リンク無しで名前だけが出ることです。この線引きも含めて、判定に使う言葉は用語集で一文ずつ固定しています。 用語集(判定に使う言葉の意味)
同じ基準を、当社自身のページにも当てています
検索とAIの回答に拾われやすくする方法を見つけたら、まず当社のウェブに入れます。入れた事実は台帳に一行残します。いまは190件。うち57件はページ一枚ごと、111件はサイト全体、残る22件はページの種類ごとに当てています。
デプロイのたびに、その190件がページに残っているかを機械が見ます。改善はページに付くもので、コードベースに付くものではありません。ページを作り直せば、静かに巻き戻ります。
三か国のページは、構造を別の登録簿に持たせて一枚ずつ突き合わせます。韓国114枚、米国105枚、日本110枚、合わせて329枚です。
当社が自社に当てているこの検査を、そのままお客様のページへ回します。改善実行の最初の一歩がそこです。
公開するもの、しないもの
何件を、どこに当てているか。それはこのページに書きます。一件ずつが何をどう直すのかは書きません。測り方は公開し、それを動かす基準値と判断ルールは当社のツールの中に置いています。台帳も登録簿も当社リポジトリの契約ファイルで、上の件数は表示のたびそこから読み直しています。
この格子で測れば、いまどこに立っているかが出ます。 質問リストを一緒に決めて、上に書いたとおりに測り、そのままお渡しします。
診断について問い合わせる次に読む: 測定方法論(なぜこう測るのか) · 診断の構成と料金 · 用語集(判定に使う言葉の意味) · 公開クレームレジストリ
この仕様を書き、測定に署名している人は執筆者ページに載せています。