DNS异常

如果网站出现DNS异常，就会出现IP出现错误了，再或者就是搜索引擎将你的网站停封，这样就无法解析你的网站了，所以会出现DNS异常，导致抓取也就不正常了。

网站的结构

在挑选域名的时候要找一个域名比较短的，并且目录层级一定要控制在三层之内，层级太深的话，会影响蜘蛛的抓取。

网站地图Sitemap

主动提交网站地图，确保网站url在网站地图中。

网站带跳转

当我们更新网站内容或者修改了网站上的内容，如果是做了301或者302跳转设置，这样网站就会出现配置错误，会导致抓取失败。

内容的更新频率和原创性

更新网站内容时，尽量写原创文章。对于蜘蛛来说，喜欢原创程度高的文章，更新频率要控制在一定的频率。

301和302重新定向错误

当搜索引擎在抓取网站时，如果出现跳转5次以上，就会出现重新定向错误，出现了定向错误，网站这样就会抓取失败。

页面速度

移动优先牵引，其中重要的指标就是页面首次加载，控制在3秒内。