DEVELOPERS BLOGデベロッパーズブログ
2013/09/17
Google Bot と JavaScript
先日あるお客様のサイトを調査していたら、HTML データの属性としては指定されていない (が、実在する) URL を Google Bot が叩きに来ていることに気付いた。
この URL は Ajax 処理を行うための URL であり、Javascript 内で '/controller/ajax/hogehoge/...' と文字列で与えてある URL であり、jQuery の $.ajax() 呼び出しに際して url: '/controller/ajax/hogehoge/...' と指定しているのみだ。
この URL を検出できるということは、Google Bot は
- script タグの中を調査して、URL っぽいものを認識する
- javascript エミュレーションにより、実行結果としてアクセスする URL を認識する
のではないか、ということになる。
いずれにしても、そのような場合は robots.txt で巡回を抑止するしかないということだ。なかなか厄介なことである。
この記事は加藤 正人さんが書いています！
- 氏名
- 加藤 正人
- 役職
- 多分ＳＥ
- 血液型
- 秘密
- 出没
- 美味しいもののあるところ
- 特色
- タヒチ大好き。ちょいメタボ。
- 2020/12/15
- CakePHP3 のリダイレクトがうまく行かない例
- 2020/11/12
- Apache Bench
- 2020/10/05
- PhpSpreadsheet でExcel ファイルを読み込む (CakePHP3)
名古屋オフィス 東京オフィス
入力例：CSS、ポータルサイトなど
2020/12/15
2020/11/12
2020/10/05
2020/09/11
2020/08/03
