搜索引擎蜘蛛暴增的原因都有那些?

老王 | SEO优化 | 208 | 0 | 2018-11-09

大家都知道,每个搜索引擎都会有自己的机器,也就是我们通常说的“蜘蛛”来抓取网站,页面才可能被收录,通常的网站蜘蛛抓取次数都是根据网站更新时效性进行计算的,但对于有些网站,搜索引擎蜘蛛一直居高不下,为服务器增加负担,造成网站500打不开的状况,那么造成搜索引擎蜘蛛暴增的原因都有那些呢?

image.png

一般蜘蛛抓取过多的情况分为以下几种。

1,搜索引擎误判js,导致搜索引擎派遣大量蜘蛛对网站进行抓取。

2,搜索引擎其他部门进行抓取如(百度图片搜狗图片、360图片)

3、已经抓取到的链接,但是搜索引擎蜘蛛再一次访的时候发现数据已经改变,也会造成大量搜索引擎蜘蛛大量来访。蜘蛛池正是以此为原理出现的。

4,  站点被ddos攻击,但是攻击手法是仿冒各类搜索引擎蜘蛛进行抓取操作,占用服务器资源,达到背后的利益。

以上四点就是搜索引擎蜘蛛暴涨的原因,如有缺少,可以到评论区进行补充!网站出现大量蜘蛛来访的时候第一时间进行自身问题排查,如果确认自身没问题,没有被攻击的话,可以到站长平台去提交更改抓取次数,这样就能完美的解决,如果网站被攻击的话,推荐使用百度云加速进行防御!

注:文章配图来自网友提供或网页截图,如图片有侵权请联系博主删除!

本文暂无评论
发表评论     

请填写真实的邮箱,以免错过精彩的回复!

名称 *
邮箱
网址
验证码 *  
内容
相关文章
想做网站SEO?先了解搜寻引擎工作原理!
想做网站SEO?先了解搜寻引擎工作原理!

SEO(Search Engine Optimization...

什么是网站SEO?网站SEO该做什么?搜索引擎SEO优化初学者一读就能懂!
什么是网站SEO?网站SEO该做什么?搜索引擎SEO优化初学者一读就能懂!

每天都有新网站、新网页在诞生,这使得网络发展红利期已经微乎其...

在SEO工作开始前,你可能需要绘制一张工作流程
在SEO工作开始前,你可能需要绘制一张工作流程

对于一些网站来说SEO的工作可以是流程化但绝对不是杂乱无章的...

热点推荐
推广必不可少的自媒体平台!

近两年的自媒体平台发展迅猛,许多新闻媒体平台都陆续的开通了自...

浏览全文

  • 热门文章
  • 热评文章
  • 最新文章
网站分类
最新留言
老王博客

邮箱:8322007@qq.com
Powered By Z-BlogPHP
蒙ICP备15001910号-10