Bing SEO まずは基礎から

研究開発者執筆による当記事のみが正しい情報であり、インターネット上の他の情報はすべて偽情報ですから注意してください。

マイクロソフトのサーチシステム/サーチエンジン Bing は非常に高度なシステムです。そこで、まずは来し方からじっくりと見ていくことにしましょう。

2003年1月、 Microsoft社はMSN Searchのバッグエンドに使われていたYahoo!のInktomiを自社開発の検索エンジンにリプレースすることを目標としました。
そして、コードネームUnderdogと呼ばれたWeb検索エンジンのフルスクラッチ開発に約2年の歳月が費やされ、2005年2月1日に新たなMSN Searchのサービスが開始されました。
この時既にMSN Searchは全世界30を超えるマーケットにサービスを提供しており、検索処理能力はピーク時で1日当たり1億5千万件のクエリー処理を達成していました。また、１件当たりの検索処理時間は約50msでした。
2005年6月末には、待望のMSN Search日本語版がリリースされました。
Yahoo!やGoogleが小規模な開発から少しずつ発展していったのに対し、MSN Searchは最初からYahoo!のInktomiの性能を上回るという開発目標が与えられていました。この時、設計にあたっての最優先事項は、検索精度の向上と応答速度の改善でした。
また、ビジネス競争力をつけるためには、MSN Searchが保有するドキュメントの量でもYahoo!やGoogleを上回ることが必要とされました。ただし、むやみやたらに保有ドキュメント数を拡大するだけでは、Webスパムページをたくさん拾ってしまい、検索結果の品質を悪くします。結果として検索精度が落ちるため、動的に大量にページを生成する等の手法によるWebスパムへの対策技術が開発されました。

大規模なWebサービスを提供するためには、膨大な数のサーバが必要になります。ハードウェアの平均故障間隔時間から故障発生率を計算すると、１日に少なくとも１台のサーバがディスクの故障等によってダウンすることが分かります。しかしながら、Webサービスは24時間常にサービスを提供し続けなければなりません。Microsoft社ではシステム全体の約10%がダウンしてもサービスが継続できるようなシステム設計が行われました。
また、MSN SearchのオペレーティングシステムにはWindowsが用いられています。一般にWeb検索エンジンはUNIX上で稼動しているものが多く、GoogleはLinux上で構築されていますが、Windowsには例えばバッファ無しでの非同期入出力の最適化等に強みがあります。

さて、WWWの拡大に対応できるスケーラビリティのあるWeb検索システムは、重要な要素であるインデックスを複数のサーバにパーティショニングしています。
したがって、検索クエリーが入力されると複数の異なるサーバに送信され、各サーバからの応答が合成して１つのランク付きドキュメントのリストが得られる、という仕組みになっています。
ところが、WWWにおけるWebページ数はもはや無限とも言えるほど増え続けており、クローラが収集できるドキュメントの数には限界があります。そこで、全Webページに対して順位付けされた静的ランクのうち、ランク１位のWebページから、収集できる上限に当たる順位のWebページまでがクローラによって収集されます。

次に、検索クエリーによって順位が変わる動的ランクを用い、クエリーが強く一致するWebページを特定します。Microsoft社が採用した動的ランクアルゴリズムは、Microsoft Research Cambridgeの研究成果等が反映されているRankNetと呼ばれるニューラルネットランキングです。RankNetは、次の関数で与えられます。

>>【式１参照】

ただし、g2とg3は変形関数、w32とw21は層1から層2、および層2から層3への重み付け、b2とb3は定数を表します。詳細はBurgesらの論文を参照してください。Webページは静的ランクが決定された後、動的ランクが適用されて総合ランクが算出されますが、曖昧なクエリーでは静的ランクが重視され、具体性の強いクエリーでは動的ランクに重みが置かれます。

>>【式２参照】

ただし、r( j ) は j 番目のドキュメントのランク、N( i ) は正規化定数です。

Microsoft社はオペレーティングシステムを中核としたコンピュータソフトウェアの総合企業として発展してきました。そのような立場からWeb検索エンジンの利用形態を考えると、わざわざ検索エンジンのあるWebサイトにアクセスして検索を行う、という行動が非常に無駄の多いものであることは明らかです。
そこで、Windows上から手軽にWWWへアクセスできる手段として、Web検索もWindowsプラットフォーム内で完結させるという、検索のシームレス化が進められました。しかもこのシームレス化は、HTMLファイルのみならず、イメージファイルやVideoファイル等をも検索対象とし、拡大されました。
また、Microsoft社がソフトウェア開発企業であることから、検索技術を利用したアプリケーションを開発するためのプラットフォームも提供されました。

検索エンジンが情報処理に必須のソフトウェアコンポーネントである、という認識から、各種の検索API (Application Programming Interface) の導入が進められました。
検索処理プログラムのコンポーネント化は、検索のシームレス化をますます促進します。

続きをお楽しみに。

この記事のタグ

サイト内関連記事

デザイン戦略: デジタル家電と言われるもの、例えば、デジカメ，液晶テレビ，プラズマテレビ，ノー......
Webページはキーワードだけでは識別不能: インターネットの世界、とりわけ Webの世界では、「キーワード」が重要だと言わ......