• サイト内検索コラム
• 検索クオリティ分析

このコラムの1回目でお話したとおり、検索エンジンのクオリティは数値化することができます。数値化するというのは比較分析ができるということです。

もちろん数値を出して一喜一憂することは評価の目的ではなく、低スコア・低品質の検索結果だったキーワードを発見し、原因を特定し、エンジンをチューニングするために行います。さらに、改修前後のエンジンを比較も可能になるので「改善するための学び」の一環と私たちは考えています。

相関性評価とは

「相関性評価」と聞くと物々しい感じがするかもしれません：） 要は、キーワードに対して（検索意図に対して）、期待通りの結果が表示されていたかどうかを計測する手法です。

作業内容はとてもシンプルです。「検索結果の1位から5位（または10位、20位）に表示された商品に1〜5点のスコアを付ける」、それだけです。

ただ、これがミソなのですが、スコアを出すときに単純に点数を合算するのではなく、「商品が表示された順位に応じて点数を割り引く」ことをします。

以下の表を見てください。これは検索エンジンXとYの検索結果を評価したものです（同じキーワードで検索し、1〜5までの5段階評価を行ったもの）。

「検索エンジンX」も「検索エンジンY」も同じスコアです。でも、どちらが良いクオリティのエンジンかは一目瞭然ですよね。「検索エンジンY」のほうが点数の高い商品が上位に表示されているからです。

これではXもYも同じ性能であると誤解してしまいます。そこで、順位に応じてスコアを減衰させるということを行います。

以下を見てください。エンジンYのほうがスコアが高く出ていますね。

上位に表示されている商品ほど重要な情報であるべきなのだからという考えに基づいています。

このスコア化で、どこが悪そうなのかのシグナルを見える化しました。大量のキーワードセットで評価すれば、より大きな傾向も見えてきます。

次回は、具体的に評価を行うときの手順やTipsをご紹介したいと思います。

（つづく）

• Tweet