最近发现文章死链蜘蛛经常爬,这就是换了程序的原因,所以直接全站都成死链了。在网上找教程,找了挺多的,只有emlog和wp的死链记录,通过代码可以记录百度蜘蛛来访后,自己把死链地址记录到一个txt文件里面。最后发现不适合z-blog使用,挺无奈的。只能通过蜘蛛记录统计插件,然后生成404的记录,然后自己手动去添加上,这种麻烦点。不过觉得也没必要!

因为爬取的死链基本都是不在搜索引擎收录了,我之前第一次转换程序的时候其实已经提交过了,提交的是旧站的网站地图,够简单粗暴的!

最后发现也处理了,最后用蜘蛛记录插件才知道原来一直在捉取,我思考了一下。

网站文章死链蜘蛛经常爬,批量查询提交死链的方法 第1张

这可能只是蜘蛛比较怀恋我以前的程序,捉取习惯改不了,所以才会一直捉取这些死链。而且捉取次数,一次检查不出来是死链?竟然好几天也捉取同一个链接地址。

所以我觉得提交后也没什么用的,这可能只是蜘蛛的捉取习惯,死链其实已经清理完毕,但还没有恢复正常捉取。现在要做到的就是多更新现在网站的链接,让蜘蛛习惯起来,以前的收录一定要比现在的收录少。

标签: 网站 网站文章 收录