WEBを駆使した売上UP/トータルサポートを提供　
株式会社パルムゲート

先日あるお客様のサイトを調査していたら、HTML データの属性としては指定されていない (が、実在する) URL を Google Bot が叩きに来ていることに気付いた。

この URL は Ajax 処理を行うための URL であり、Javascript 内で '/controller/ajax/hogehoge/...' と文字列で与えてある URL であり、jQuery の $.ajax() 呼び出しに際して url: '/controller/ajax/hogehoge/...' と指定しているのみだ。

この URL を検出できるということは、Google Bot は

• script タグの中を調査して、URL っぽいものを認識する
• javascript エミュレーションにより、実行結果としてアクセスする URL を認識する

のではないか、ということになる。

いずれにしても、そのような場合は robots.txt で巡回を抑止するしかないということだ。なかなか厄介なことである。