評価を終えたら、次は最終スコアの算出と分析です。

1. 集計
まず、評価時には隠していた「検索結果の掲載順位」「属する検索エンジン」を商品データに持たせ直します。そして、評価時につけた点数をそのまま使うのではなく、相関性評価の概念で紹介した方法、つまり掲載順位に応じてスコアを割り引いたうえで最終スコアを算出します（上図のユニナレ君が思い浮かべているのがその方程式）※。

2. 分析
この最終スコアが相関性クオリティをあらわす数値です。

1キーワードごとの性能が分かりますし、全キーワードのスコア平均をとれば、それは検索エンジンのクオリティということになります。キーワード分類を行なっていれば、キーワードタイプごとのスコアも算出できますので、重要なキーワードタイプの性能というのも分かります。

複数のエンジンを評価した場合は、性能差の大きいキーワードを一覧で見ることができます。改修前後のエンジンであれば、改良なのか改悪なのかも判断できます。

そして、競合との性能差が大きいキーワードや、1点・2点という低スコアのついた商品を中心に検索エンジンの課題（バッドケースと呼んでいます）を洗い出していきます。

バッドケースといっても色々あります。マッチングの問題かもしれないし、ランキングの問題かもしれない。マッチングの問題でもキーワード処理の問題かもしれないし、商品データ側に手をいれる必要があるかもしれない、などなど。複数のキーワードのバッドケースを見ていくと、パターンが見えることもあります。
これらの課題やパターンを見つけ分析し、検索エンジンの改良計画を立て実行していきます。

3. 運用
ある意味、相関性評価はバッドケースドリブンでエンジンを改良していく開発手法といえます。

「評価→開発→評価」のサイクルを回せば回すほど、検索エンジンはどんどん良くなっていきます。評価には時間もリソースもかかりますが、少なくとも2〜3カ月に1回は行うなど定常的な運用ができないかご検討ください。1度やってみれば分かりますが、得るものはとても多いと思います※2。

今回で「相関性評価」シリーズはいったん終了です。いかがだったでしょうか。

1. 相関性評価とは
2. 相関性評価をやってみよう [事前準備編]
3. 相関性評価をやってみよう [評価者心得編]
4. 相関性評価をやってみよう [実践編]
5. 相関性評価をやってみよう [集計・分析編]

次回から、また別のクオリティ測定方法を紹介していきます。

（つづく）

※：検索結果の順位によってスコアの重みを変えて検索性能を測定する方法は、Discounted Cumulative Gainと言い、頭文字をとってDCGと呼ばれています。もともとはウェブ検索向けに考案された手法です。商品検索だけでなく、その他検索サービスにも応用できますので、ECサイト以外の方にもおすすめです。

• Tweet