主机狗搜索引擎蜘蛛会定期来抓取网站内容，以便收录网页，站长们是非常欢迎蜘蛛来爬的，但是却有人经常伪造蜘蛛IP进行恶意采集内容，还有很多DDOS攻击也会伪造成蜘蛛的User Agent来攻击，我查看过一位站长朋友被DDOS攻击的日志，里面大概20%的国外IP伪造成Googlebot来访问，这样会对我们的网站造成影响。我们必须要揪出这些假蜘蛛，拒绝他们访问网页，这时候我们只能通过IP来识别了，因为User-agent是可以伪造的，只有IP才能准确判断。
下面是站长大本营最近收集的各大搜索引擎蜘蛛IP数据，数据没办法保证完全准确，因为搜索引擎官方是不公开IP段的，且IP都会变，我对比过多个数据和自己核验，下面的数据还是挺可靠的，有遗漏的下面还会有解决方案。
百度蜘蛛IP段：
61.135.0.0/16
123.125.0.0/16
111.206.0.0/16
180.76.0.0/20
180.149.128.0/19
220.181.0.0/16
36.110.128.0/17
124.164.0.0/14
116.179.0.0/16
180.97.0.0/18
Google中国蜘蛛IP段：
203.208.32.0/19
203.208.60.0/24
74.125.0.0/16
72.14.192.0/18
64.233.160.0/19
66.249.64.0/19
66.102.0.0/20
64.68.64.0/19
66.249.90.0/24
66.249.91.0/24
66.249.92.0/24
搜狗蜘蛛IP段：
118.184.176.0/22
123.180.0.0/14
123.125.0.0/16
61.135.0.0/16
123.126.64.0/18
111.202.0.0/16
36.110.128.0/19
220.181.0.0/16
106.120.128.0/17
49.7.0.0/18
218.30.96.0/19
106.38.0.0/16
111.13.0.0/16
58.250.0.0/16
183.36.96.0/19
49.7.64.0/18
必应蜘蛛IP段：
103.25.156.0/24
111.221.16.0/20
157.56.0.0/16
199.30.16.0/20
65.52.0.0/14
13.64.0.0/11
157.55.0.0/16
207.46.0.0/16
40.64.0.0/10
52.224.0.0/11
40.76.0.0/14
40.80.0.0/12
52.160.0.0/11
360搜索蜘蛛IP段：（这是官方提供的，非常准确）
180.153.0.0/16
180.163.128.0/17
42.224.0.0/12
头条搜索蜘蛛IP段：
110.249.201.0/24
110.249.202.0/24
111.225.148.0/24
111.225.149.0/24
220.243.135.0/24
220.243.136.0/24
111.224.0.0/14
60.8.0.0/15
110.240.0.0/12
220.243.128.0/18
神马搜索蜘蛛IP段：
42.156.128.0/17
42.120.128.0/17
106.11.144.0/20
以上IP段可能未来还会新增，而且新增的IP段我们也无法获取到，这时候我们就需要另外一种方案来核实了，那就是DNS反查，我们可以通过反查来访的蜘蛛IP，查到对应的域名地址即可核实。
通过DNS反查IP用的是一种代码指令，不同的操作平台使用的指令也是不同的，比如：linux、windows、Mac OS这三个操作平台，使用的指令为host、nslookup、dig，查询的格式为：host ip（ip=ip地址）、nslookupip（ip=ip地址）、digip（ip=ip地址）。例如：host 111.222.XXX.XXX 或 nslookup 111.222.XXX.XXX 或 dig host 111.222.XXX.XXX，如果是用PHP可以使用 gethostbyaddr(\”IP\”)来获取，不同的蜘蛛IP对应的域名是不一样的，我们只要核实是哪家的蜘蛛就OK了。
下面我把各大搜索引擎蜘蛛的域名分享下：
百度蜘蛛IP对应的域名（例子）：
baiduspider-116-179-32-216.crawl.baidu.com
谷歌蜘蛛IP对应的域名（例子）：
crawl-203-208-60-60.googlebot.com
必应蜘蛛IP对应的域名（例子）：
msnbot-40-77-167-2.search.msn.com
搜狗蜘蛛IP对应的域名（例子）：
sogouspider-123-126-113-79.crawl.sogou.com
头条蜘蛛IP对应的域名（例子）：
bytespider-111-225-149-71.crawl.bytedance.com
神马蜘蛛IP对应的域名（例子）：
shenmaspider-42-156-137-55.crawl.sm.cn
360搜索官方说是禁止反查的，所以我们只用官方给出的IP段判断就OK了。
通过以上IP反查可以得到域名，判断域名是否是这些域名结尾就可以核实，这样我们在防御上就不会将搜索引擎蜘蛛误杀了。
搬瓦工推荐方案
如果您有选择困难症，直接选中间的 CN2 GIA-E方案，季付 $49.99，多达 12 个机房任意切换| 方案 | CPU/内存 | 硬盘 | 流量/带宽 | 机房 | 价格 | 购买 |
|---|---|---|---|---|---|---|
| CN2 (最便宜) | 1核/1GB | 20GB | 1TB/1Gbps | DC3 CN2 DC8 ZNET | $49.99/年 | 链接 |
| CN2 | 1核/2GB | 40GB | 2TB/1Gbps | $52.99/半年 $99.99/年 | 链接 | |
| CN2 GIA-E (最推荐) | 2核/1GB | 20GB | 1TB/2.5Gbps | DC6 CN2 GIA-E DC9 CN2 GIA 日本软银 JPOS_1 荷兰 EUNL_9 | $49.99/季度 $169.99/年 | 链接 |
| CN2 GIA-E | 3核/2GB | 40GB | 2TB/2.5Gbps | $89.99/季度 $299.99/年 | 链接 | |
| HK | 2核/2GB | 40GB | 0.5TB/1Gbps | 中国香港 CN2 GIA 日本东京 CN2 GIA | $89.99/月 $899.99/年 | 链接 |
| HK | 4核/4GB | 80GB | 1TB/1Gbps | $155.99/月 $1559.99/年 | 链接 | |
| TOKYO | 2核/2GB | 40GB | 0.5TB/1.5Gbps | 日本大阪 CN2 GIA | $49.99/月 $499.99/年 | 链接 |
| TOKYO | 4核/4GB | 80GB | 1TB/1.5Gbps | $86.99/月 $869.99/年 | 链接 | |
| 搬瓦工优惠码：BWHCCNCXVV | 搬瓦工购买教程：《2024 年最新搬瓦工购买教程和支付宝支付教程》 | |||||
选择建议：
- 入门：洛杉矶 CN2 套餐，目前最便宜，可选 CN2 GT 机房，入门之选。
- 推荐：洛杉矶 CN2 GIA-E 套餐，速度超快，可选机房多（DC6、DC9、日本软银、荷兰联通等），性价比最高。
- 高端：香港 CN2 GIA 套餐，价格较高，但是无可挑剔。东京 CN2 GIA 套餐也是非常不错的高端选择。
