12月15日~16日に米グーグル並びにグーグル日本法人から、スマートフォンのユーザエージェント(以下UA)を持つクローラーが発表されました。
昨年・今年から同様のクローラーを試験的に巡回させていましたが、正式な発表となりました。今回はクローラーに対する弊社の考察とクローラーUAの識別方法をまとめます。
今回の発表内容は次の通り。
- 「現時点における」スマートフォンとフィーチャフォンのクローラUA
- フィーチャーフォン(いわゆる日本国産のガラケー端末)専用サイトと、
スマートフォン専用サイトとのUA振り分けに関して、
Googlebot-Mobileの判定方法を見直すこと
検索エンジンに詳しい担当者であれば「専用クローラとくれば専用検索が出てくるのでは?」と想像しますが、今回の発表ではスマートフォン専用検索の可能性については触れていません。
ただし、日本版公式ブログには「主にはスマートフォン向け検索の品質向上に利用されますが、」と匂わすコメントも。ただ、現時点では「このサイトがPCサイトであるか、スマートフォンサイトであるか」容易に判定できない課題が重く、直近ではスマートフォンサイトだけの検索サービスが提供される可能性は少ないと見た方が良いでしょう。
※スマートフォンでしか見ることができないページも少しづつ増えている中、「全ての情報を整理する」ことを目標とするGoogleとしては、このようなページをユーザーに届けるための仕組みを用意してくるでしょう。
どの文字列からスマートフォン専用クローラのUAを識別するか
先ほどの日本版公式ブログでは、Googlebot-Mobileに対する方針を見直すよう書かれています。UAはブラウザや携帯電話の機種から識別するのが一般的ですが、日本版公式ブログにも「現時点で」とあるように今後UAの書式が変更される場合があり、機種名など変更の可能性が高い文字列は注意が必要です。
「Googlebot-Mobile」と「iPhone」の両方を含む場合、スマートフォン専用クローラであると識別する形が良いでしょう。
また「iPhone」だけではなく、公式ブログには記載していないAndroid端末のクローラUAも追加しておきたい所です。現時点では非公式となりますが、クローラを収集している海外サイトで何件か確認された、との報告があります。発見の報告がされたクローラは、いずれも「Android」が記載されているため、「Googlebot-Mobile」と「Android」の両方を含む形で識別できます。
※Android版の情報は弊社の見解であり、非公式である点に注意してください。スマートフォンサイトの生ログを解析してAndroid専用クローラーのアクセスが確認できた後、Android版のUA判定を追加する形が堅実です。
クローラUA識別方法のベストプラクティス
- PCサイト:
- Googlebotの文字列を含む
- スマートフォンサイト:
- Googlebot-MobileとiPhoneの文字列を両方含む
※Android端末はGooglebot-MobileとAndroidの文字列を両方含む(非公式)
- フィーチャーフォン:
- Googlebot-Mobileを含み、かつ上記「iPhone」と「Android」を除く
次回、PCサイト、スマートフォン、フィチャーフォンの3サイトで同一URLアドレスを持つべきか、それぞれ別々のURLアドレスを持つべきか、URLアドレスの持ち方について解説します。



渡辺隆広
岡本典子
安川洋
江沢真紀
河内崇志
伊藤大典
畑岡大作