投稿
  1. 展天联盟首页
  2. 经验杂谈

SEO入门学习之搜索引擎蜘蛛与网站HTTP状态码

zxw168 • • 经验杂谈

 

 

前言：这是白杨SEO公众号原创第179篇。在白杨SEO实战培训课里有一堂基础课，布置作业即认识各种搜索引擎蜘蛛与网站HTTP状态码，今天就来分享一下，给SEO新人看一看。

 

白杨SEO：SEO入门学习之搜索引擎（百度）蜘蛛与网站HTTP状态码

 

缘由：

不知不觉，本公众号更新原创近200篇了。我的实战培训也举行完三期了，第四期因个人原因有事暂停。关于SEO基础也写了几十篇公众号，一个朋友介绍我可以把基础实战整理出书，在考虑中。

 

关于SEO基础文章，白杨SEO公众号菜单栏点【SEO入门教程】即可查看，今天再补一篇。正如前言所写，这是很基础的，但这个基础并不是人人都很清楚，所以写下哈。

 

搜索引擎及搜索引擎蜘蛛是什么？

 

我在实战培训第一课讲搜索引擎基本工作原理时，都会给新人讲搜索引擎是什么，然后再来讲，搜索引擎蜘蛛是什么。那么，在这里再讲一下。主要分类如下：

 

1、按国内与国外分

国内：百度、搜狗、360、神马（UC）、头条等；国外：google、bing、yahoo、yandex(俄罗斯)等。

 

2、按PC与移动端分

PC：google、bing、yahoo、百度、搜狗、360

移动：神马、头条

PC+移动都有：google、bing、yahoo、百度、搜狗

当然除了上面介绍的通用搜索引擎，其实还有一些垂直的搜索引擎。比如像搜文库的豆丁网，搜索工作的职友集等等。

 

各个搜索引擎蜘蛛是什么？

 

这里的【蜘蛛】非生活现实中的蜘蛛，我们只是把搜索引擎去爬取各网页内容那个代码我们形象的称它为蜘蛛。各个搜索引擎蜘蛛写法如下：

 

白杨SEO：SEO入门学习之搜索引擎（百度）蜘蛛与网站HTTP状态码

白杨SEO：SEO入门学习之搜索引擎（百度）蜘蛛与网站HTTP状态码

 

如何识别百度搜索引擎蜘蛛呢？

 

其实，很多新人SEO同学很少接触到搜索引擎蜘蛛，即使百度蜘蛛也未必能接触到。即使接触到了，也不知道它是不是。为什么呢？因为很多SEO新人没有分析网站日志，所以没看到。

 

如果你有分析过网站日志的话，就应该见过百度蜘蛛了（baiduspider）。

 

目前百度UA（useragent简称，即用户）分为移动、PC、和小程序三个应用场景来访，这三个渠道UA分别如下：

 

移动UA：
Mozilla/5.0(Linux;u;Android4.2.2;zh-cn;)AppleWebKit/534.46 (KHTML,likeGecko)Version/5.1MobileSafari/10600.6.3
(compatible;Baiduspider/2.0;
+http://www.baidu.com/search/spider.html)
或
Mozilla/5.0 (iPhone;CPUiPhoneOS9_1likeMacOSX) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;+http://www.baidu.com/search/spider.html) 
PC UA：
Mozilla/5.0(compatible;Baiduspider/2.0;
+http://www.baidu.com/search/spider.html)
或
Mozilla/5.0(compatible;Baiduspider-render/2.0;
+http://www.baidu.com/search/spider.html)
小程序UA：
Mozilla/5.0(iPhone;CPUiPhoneOS9_1likeMacOS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible;Baiduspider-render/2.0;Smartapp; +http://www.baidu.com/search/spider.html)
如果UA信息不对，可以直接判断为非百度搜索的蜘蛛。关于日志分析，可以看文尾相关推荐文章。
网站HTTP状态码是什么意思？有哪些？
网站的HTTP状态码是用以表示网页服务器超文本传输协议响应状态的3位数字代码。
对于我们做SEO来说，HTTP状态码的最大意义就是，通过它们可以查看搜索引擎在你网站的爬取情况，从而进行优化。
1、网站状态码的分类：
白杨SEO：SEO入门学习之搜索引擎（百度）蜘蛛与网站HTTP状态码
如上截图，从1-3开头代表正常，4-5开头可能有问题。
2、网站状态码详细列表及含义：
如下截图里的。重点看白杨SEO圈红的地方。像什么200、301、302、404、502、503这几个是做SEO必须要了解的。
白杨SEO：SEO入门学习之搜索引擎（百度）蜘蛛与网站HTTP状态码
白杨SEO：SEO入门学习之搜索引擎（百度）蜘蛛与网站HTTP状态码
白杨SEO：SEO入门学习之搜索引擎（百度）蜘蛛与网站HTTP状态码
白杨SEO：SEO入门学习之搜索引擎（百度）蜘蛛与网站HTTP状态码
比如，如果一个网站有大量的404页面的话，其实对搜索引擎也不友好，一般建议是制作成txt或者xml提交到百度站长平台后台。
白杨SEO：SEO入门学习之搜索引擎（百度）蜘蛛与网站HTTP状态码
再比如，打开网站显示502或者503的话，就要赶紧联系你的技术了。很多人以为网站偶尔打不开很正常，殊不知，这在做SEO里是大忌！
真实案例，我以前前前公司一个同事来问我，说自己网站连续更新了两个月了，为什么百度还没收录？我让他把网址发我看一看。我试了各个浏览器很久打不开，问他说那边服务器问题，让我第二天再看看。
其实做为SEO新人的你可能不知道，但假想一下，你是那个潜在用户，去访问一个网站打不开的话是不是马上就关掉走了呢。而百度从关键词相关到外链再到现在用户体验为核心，所以懂了吧。
作者：白杨SEO 

本文链接：https://www.zhantian9.com/3663.html

赞 (0)
zxw168zxw168管理员
0 0
上一篇 2020-06-08 20:46:50
下一篇 2020-06-08 20:49:57

相关推荐

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 2000000@qq.com 举报，一经查实，本站将立刻删除。