偶尔去百度论坛那边看看,版主们发布的一些蜘蛛网站捉取流程以及日常需要做的优化。大部分站长都在想,为什么自己的文章收录不稳定,排名不好,是主题模块问题还是域名是否备案?相信大家看了以下的内容,能有好的理解,作出网站调整,避免踩坑。

url不要使用中文,虽然能被识别,但是要知道你的链接如果带有中文的话,等你复制出去在百度那边搜索,其实原来的2个文字已经代表了30多个字符。这个大家可以试一下,建议小于100字符,偏长url不占优势,如果标签带有中文字那么问题不大,如果是url是带有标题中文字,那么字符一定会超过捉取蜘蛛捉取的上限。

百度论坛版主发布影响蜘蛛捉取收录的因素 第1张

无效参数这个我比较好理解了,也深有体会,最近提到过,之前网站被攻击时候,使用过恰啦cdn防御、宝塔防火墙。就会给我文章链接生成了一系列的带有?的参数,其实这里面内容都是相同的,在蜘蛛捉取多个相同内容的时候,不同url导致重复捉取,浪费站点权益。就会造成收录不稳定的情况。

现在在robots.txt文件里面新增了禁止捉取带有?的链接。但现在这个主题,好像有被蜘蛛捉取旧主题的习惯,我首页本来没有page(翻页)页面的,但是蜘蛛还是捉取了这类链接,可能是跟分类页捉取的习惯应用到全站去了,所以有时候做下载站也不是很好。以后选择主题要多方面考虑这个问题。

百度论坛版主发布影响蜘蛛捉取收录的因素 第2张

资源提交当然不是越多越好,收录核心永远是内容质量,大量提交低质和泛滥资源会导致算法识别为低质,带来惩罚性打压。我觉得内容质量不一定要文章字数很多,真正对搜索用户有帮助的内容就可以了。我这段时间就是,收录好了,原因就是有好几篇文章,都能带来搜索流量,能真正帮助到搜索用户,那么蜘蛛也会对你好,提高收录率。

关于那个速度问题,具体大家可以参考百度搜索资源后台,定时观察捉取异常的链接,我之前就是使用了某个cdn加速导致网站部分地区打开慢,后面发现后,就没出现蜘蛛捉取异常的问题了。还有就是服务器宽带不是很高的情况下,不要把文件上传到服务器上供访客下载。

百度论坛版主发布影响蜘蛛捉取收录的因素 第3张

捉取频次的高低我一直觉得跟收录没关系的,只要是你的内容被收录后,而且这个内容对搜索用户有帮助(经常有人搜索进来),那么蜘蛛对于这个链接的捉取频次就会提升,仅此而已。上图也告诉了大家,捉取目的就是捉取没有被蜘蛛发现的页面,第二种就是捉取旧页面,看是否内容有更新。所以很多时候蜘蛛捉取旧页面只是单纯为了看是否更新内容,而并非捉取你内页里面的新链接。

听到这里有点伤心,以前一直以为在内页新增一个模块为“最新发表”的文章,就能让蜘蛛趁早发现曝光捉取率。发现并非想的那样!

百度论坛版主发布影响蜘蛛捉取收录的因素 第4张

一般备案的新站,都有一个扶持期的,大概是1-2个月,但是我看到别人趁着这个阶段,去填充低质内容,是错误的操作。理解就是,一开始给你流量,但是你犯错了,还是为把你惩罚。我能给你的,也能把你拥有的收回去。让百度知道你这个新站点,去百度站长资源后台提交一下链接和icp备案。

每个站点蜘蛛的抓取配会不会有调整?大约多久会调整一次?有没有固定时间?

对于新资源的抓取和站点的质量相关,对于旧资源的抓取和站点更新频率相关。计算出来你的站点,质量有变化,新资源抓取的频率就会发生变化。发现你的网站规模有变化,我们抓取频次会有变化。站点有很大的变动或改版,被识别出来,更新频率也会有相应变化。

而整体上这些计算的,不是一个特别高的频次。大概会到一个周级的变化,才能体现出来。注:这块说的四种可能会调整,更新变化频率是周级的。

网站降权是否能恢复?

网站降权恢复的前提是要针对网站的内容进行全面的自查整改,按照搜索资源平台发布的算法规范自查整改之后,要把相应的违规页面提交死链,线上进行删除之后搜索会对站点评评估。站点的内容都没有违规会进行恢复。

新站点是否有考核期?

没有一个严格的称为考核期这么一个东西,新站点会有一定一个周期,来进行流量的倾斜,让新站在我们系统里转起来,这个周期大概是月级别的。假设新站已经给你倾斜一到两个月。发现你的价值还是不够高,可能我们就不会去特别高的处理。但是我们依旧会去抓,当发现站点质量有明显提升或优质规模有提升,也会相应去提升站点抓取频次。注:这块是画重点,已备案,新站扶持期并非固定。


站长QQ和微信号:514056418