服务热线
1888888888
作者:文煞发布时间:2023-12-19分类:站长笔记浏览:231
一个新网站,每天都有这两个IP段在爬取,真实纳闷得很。到底要干嘛?采集?特么我的网站都是采集的,你采集我的网站有多大意义?
关于36.99.136.120/140和111.7.100.20/40这两个IP段,网站新建立没多久,就遭到爬取,我怀疑是采集或者是镜像。就立即在服务器上封了这两个IP段。不用担心是搜索引擎,搜索引擎一般都公开了IP地址,你甚至可以直接去问搜索引擎的客服。主要不是怕他爬取,只是怕他镜像或者采集,对自己的网站造成影响。
一个是IP地址是河南郑州的,一个是河南驻马店的。我怀疑是一拨人。36.99.136.120/140和111.7.100.20/40IP段,不管他们想干嘛?可能都是为了达到自己不可告人的目的。
有个叫无线的用户是这样回答的:
请大家务必注意,这两个段不是正规蜘蛛!是恶心的“非法”采集!!
这2个网段,经常镜像复制采集其它网站内容,从而在一些僵尸站或有漏洞的网站黑掉后,建立与复制采集的网站一模一样站点,然后来占流量,
有时候建立的模仿网站内部穿插许多六合彩等等赌博信息!大家务必关注和屏蔽这两段的访问!
我早已屏蔽这两个段对网站的访问,虚拟空间根目录建立文件.htaccess 设置以下规则即可
Order Allow,Deny
Deny from 111.7.100 36.99.136
Allow from all
111.7.100.x、36.99.136.x。这两个段相信大家的站都被他爬过吧,网上搜了一下,有的说是爬行抓取做镜像站的,有的说是匿名蜘蛛,查了一下不是百度蜘蛛~
36.99.136.*和111.7.100.*两个IP段探究
最近网站被这两个IP段频繁爬取,压力巨大。网上查询一番,这里简单谈谈。
1、首先是nslookup反查,什么也查不到,按理说这应该不是什么正规蜘蛛。
2、考虑到有不少匿名蜘蛛,像百度站长工具的robots检测,抓取xml地图的都时临时工蜘蛛,对比下测试的IP段也大概率不是匿名蜘蛛。
3、网上唯一找到的zhangu网上的信息说是匿名蜘蛛,不过抓取很奇怪,没有入口的URL也抓的到,够牛逼的。
最后的结论:全部屏蔽掉了。观察了几天,貌似对搜索引擎的抓取并无影响,并未有明显的抓取量,索引量等变化。
这俩IP段究竟是不是蜘蛛?妈的,有人说是头条的IP,我赶紧解封,感觉不对劲,然后去头条官方查了一下蜘蛛IP,发现没有这个IP段。。。。
我又给屏蔽了,有没有大佬知道这个河南郑州的IP究竟是什么来头?
网上找到了这个,但是没有具体说明
把idc机房ip全部封掉即可
搜狗搜索111.7.100.
搜狗搜索36.99.136.
百度搜索111.7.100.
百度搜索36.99.136.
由于部分虚拟主机用户建设违法网页,导致原IP被封禁,请及时解析域名到新的IP地址:45.15.10.56!同时遵守我国法律法规,并保留将相关传播违法信息者的联系信息提供给警方的权利!
分享:
支付宝
微信