Snooda

    今天博客新迁移，由于对静态化url的改动非常大，难免有遗漏的地方，所以非常关注access日志，看看爬虫们遇到了哪些困扰。

    在看日志的时候发现一个有意思的现象，google和百度的蜘蛛今天很不活跃，对于站点的大规模改变似乎并不感兴趣，对css，js不屑一顾，而soso的spider非常活跃，把每个链接都详细爬了一遍，但发现一个问题：

     新博客的url是采用base设置+相对url的模式，soso的spider似乎并不识别base标签，直接把相对url附加到当前url之后进行抓取，导致了很多404请求。查了一下，base属性是html标准属性，soso不支持这个属性应该算是个bug了。