Sphinn Japan

SEOを実施しようとする多くのウェブサイトが、検索エンジンロボットに好まれないなんらかの技術を利用しています。まずはサイト自体をクローラーフレンドリーなものにする必要があり、これができないと、どの検索エンジンでも上位にランクインする可能性はありません。

検索エンジンロボットがクロールすることを妨げている要因

主なものとして以下が考えられます。

• robots.txtの記述ミスによってクローラがブロックされている
• JavaScriptを利用したサイト内リンク（ナビゲーションやポップアップページ等）が多く存在し、ほとんどのページがインデックスされない
• ナビゲーション含め、ほとんどがFlashで作られたサイトでインデックスされにくい
• URLにセッションIDやサイト内のパスをトラッキングする引数が付与される仕組みにより、インデックスされにくい
• 対象ページが何らかの理由によりJavaScriptでリダイレクトされていて、インデックスされない
• トップページがサイト内の長いURLへリダイレクトされていることにより、ほとんどのページがインデックスされにくい
• よく落ちるサーバーorサーバーの処理が遅いために、クロールされにくい
• サイト内のリンク切れが多いため、全てのページがクロールされにくい
• 商品ページなど階層が深すぎる、かつクローラーのリンク導線が少ないため、インデックスされにくい

上記の内、robots.txtについては、Googleウェブマスターツールで正しく書かれているかどうかをチェック可能です。また、JavaScriptでリダイレクトや、URLにセッションIDが付いてしまう仕組みは、サイト運営者の故意でない場合がほとんどです。よく落ちるor処理が遅いサーバーや、リンク切れが多いサイトについては、ロボットだけでなく人にとってもマイナスですね。商品ページなど階層が深すぎる、かつクローラーのリンク導線が少ない場合については、効果的なサイト内リンク（クロスリンク）の設置や、サイトインデックス（カテゴリインデックス）の設置などが考えられます。

ここで書いたことは、どれもSEOの基本的なことばかりですが、このような当たり前のことを丁寧にかつ適切に対応することが、重要なんだと思います。ただ、「そもそも自分に知識としてなかった」とか、「自分のSEOスキルに確信が持てない」のであれば、最適化するには大きな改修コストがかかる場合（例えばリニューアル）もありますので、SEO業者からアドバイスを受けることも考慮する必要があるのではないでしょうか。

検索エンジンロボットが問題なくクロールできるようになったら、ロボットがウェブサイト（ページ）の意味を理解することを妨げている要因もあるので、引き続き最適化を行っていきましょう。