Sphinn Japan

2009年2月27日付でYahoo! INCよりWeather Reportが為されている。この中で、昨年12月と本年1月のupdateについては行わなかったが、必要であるとの声があるため今後もWeather Reportを継続していく、という旨の告知が行われている。

この原稿を書いている3月2日までの時点では幾つかのブログではこの間Weather Reportは無くなったのかという疑問やまた日本でのみWeather Reportが出されていたため12月・1月は日本独自のアルゴリズム変更ではないかという考察がなされていた。また、今回の告知を受けてその間のYahoo! INC社内の動向からそこまで手が回らなかったのではと考える向きもあるようである。

しかし、私自身は12月・1月には（というか今後も含め12月以降は）Weather Reportを出す意味がYahoo! INCとしては無くなったのではないかと考えている。

そもそも昨年9月頃から、もうそろそろWeather Reportは無くなるのではないかと考えていた。

根本的なYSTのシステムに対する考え方やYSTの最も重要な課題、あるいはそこから派生する大規模な順位の入れ替え現象に対する見解について、他のブロガーの方たちの書かれたものを拝見する限りでは私と同様の考えを持っておられる方はいらっしゃらないようなので、以下に記述することに関して異論もあるかも知れないが私が現時点で考える点について書いておく。

まず、YST本体ではそれぞれの国で表示されるSERPsと違うSERPsが表示されることに関しては以前Yahoo!検索スタッフブログでも触れられている。それは何故か。
クローラーを日々観察していると現在の少なくとも日本のサイトへのクローリングの主体は最近ではllf系のクローラーであることがわかる。それに対して中国では依然としてlj系、韓国では（crawler9.dls.srch.kr1.yahoo.comのような）独自クローラーがその主体となっているのではないかと推測される。
そこから考えられることはYST本体に対して言語構造や文字バイトの違う言語圏に関しては最新のアルゴリズムもローカライズが必要であり、そのための時間差が生じるのではないかという疑問であり、また各国独自要素に必要とされるアルゴリズムのバージョン等によって用いられるクローラーに違いがあるのではないかということである。

日米のYSTに関してはi18ndev系等の出現から統合化が進められていると考えてはいるが、これとローカライズによる時間差でSERPsに傾向の違いが生じることは矛盾しないものと考えられる。

日本でのみWeather Reportが出されていたのは、USにおけるYSTについてはほぼ最優先されるべき課題をクリアしたためWeather Reportがなくなり、日本向けにおいてはまだそれらが解消されていないためWeather Reportが告知されてきたのではないだろうか。

さて、私が考えるYSTが最優先されるべき課題とは何かというと、それはWeb全体に対するクローリング速度の向上ならびに評価確定までの期間短縮である。

これについてはそれこそ様々な異論があるであろうが、私の考えでは導入当初のYSTがWeb全体をクロールし評価を確定できるまでの期間は約6ヶ月であっただろうと推測している。その考えではその間は概ね評価の確定し得たサイトからほぼ順位が安定し、そうでないサイトは順位が変動毎に乱高下する（特に外部被リンクがトップページに集中するサイトでは確認された被リンク元の評価次第で、安定していたり、突然姿を消したり、その逆に突然浮上したりする）。また被リンク構成に自然でない部分を持つサイトほど乱高下の確率は高かったはずである。

こうした問題点について2008年中には速度の向上やそれでカバーできない部分に関しては（もしくはクローリング速度向上を促進するために）出発点の精査等により早期に確定した評価あるいはそれにほぼ等しいものを算出出来るようになってきたため、USではWeather Reportが行われなかったのではないだろうかというのが私の考えである。

何故クローリング速度の向上（最終的には評価確定までの期間短縮）が必要なのかというと、過去の経験に照らせば大幅なアルゴリズム変更が行われた後のインデックスは全く新しいものと入れ換えられると考えられるのだが、早期には比較的評価が確定しやすい出発点に近いサイト（例えばカテゴリ登録サイト等）が一時的に順位を上げやすいこと、中長期的には（サテライトサイトなどを用いて）人工的に評価を高く見せているサイトが上位に来る現象がランダムに発生する（同様に比較的被リンク数が少なくWeb上比較的近い所同士でリンクが構成されやすいサイトもこのような現象に遭遇しやすい）ことである。
クローリング速度の向上はこれらを出来るだけ抑制することができ、アルゴリズム変更から評価確定までのどの時期においても比較的安定したSERPsを提示することで検索品質の向上が期待できるからである。またそうすることによってその時点のアルゴリズムの欠点をより早く見つけ出すことができ、その修正版や新しいアルゴリズムの導入を早めることができることにも繋がっていく。

それはYSTにおいてはやっと彼らが検索品質上好ましくないと考えるサイト（群）をシステマティックに抽出しやすい環境が整ったとも言えるのではないだろうか。なにしろこれまでのアルゴリズム更新は概ね6ヶ月毎（それより短いものも存在するが）に行われてきたのであり、好ましくないサイトの検出も評価途中段階での推測に頼るしか無かったと考えられるものが、ほぼ確定したデータの中で行うことが出来るようになるのであるから。

この推測が正しければ、USにおいては今後、そして日本においてもあと数回の変動を経て、Weather Reportの持つ意味合いは大きく変わるはずである。