你的网站信息安全吗？树大招风，一些公司往往再收到攻击之后，才想起网站安全。网站注册的个人信息能被黑客们轻易的拿下，对用户造成的损失无法估量。没有100%安全而完美的系统，黑客们乐此不彼的研究着这些网站的安全漏洞，总有一天会被攻破。
网站根目录下的robots.txt文件告诉搜索引擎的访问范围，使用方法很简单，但是搜索引擎还是个人来说都是可以访问的， 很多新人不知道这个文件的重要性，对于渗透测试人员或黑客，可以通过robots.txt文件发现敏感信息，比如猜测这是什么后台用什么数据库等，意味着自己的网站是真空上阵。
如何防止别人访问呢？
网上有人这么做：在IIS中，选中robots.txt，右键属性里，选中重定向到URL，输入任意一个非本站的URL路径，勾选“上面准确的URL”以及“资源的永久重定向”，有点基础的童鞋知道，访问 http://域名/robots.txt 时，是自动跳转到指定的那个非本站URL路径。 这个方法在Apache环境中可以借助.htaccess达到这个重定向的目的。
但是对于蜘蛛来说，这样的跳转意味着站内不存在这个文件，那蜘蛛就不会遵守这个规则，把能发现的URL都抓了。
为防止别人利用robots文件泄露了网站的结构，做其他手脚，站长们是绞尽脑汁。不让搜索引擎来抓这个文件，那就不遵从抓取范围，都会放进索引库，对不想让搜索引擎建立索引的方法参考：页面不让搜索引擎建立索引。
实用的防护措施，推荐采用通配符(*)替换敏感文件或文件夹
比如某个重要文件夹为admin，可以这样写robots
User-agent: Disallow:/a*/
意思是禁止所有搜索引擎索引根目录下a开头的目录，一般的网站的比较通用的命名有admin,include,templets,plus等，这些都是重要的文件夹，可以修改文件名，但是其他关联一并修改，否则系统会出错。
用.htaccess禁止垃圾蜘蛛访问
一搜YisouSpider #无视robots规则 宜搜EasouSpider #无视robots规则 易查 #无视robots规则 MSNmsnbot-media 有道youdao 必应bingbot
当然你也要看流量来源，如果有，那就不要屏蔽，实在是少得很有每天很勤快的来访的话，可以屏蔽。
robots屏蔽蜘蛛
User-agent: YisouSpider Disallow: / User-agent: EasouSpider Disallow: / User-agent: msnbot-media Disallow: / User-agent: YoudaoBot Disallow: / User-agent: bingbot Disallow: /
.htaccess屏蔽蜘蛛
SetEnvIfNoCase User-Agent "^Yisou" bad_bot SetEnvIfNoCase User-Agent "^Easou" bad_bot SetEnvIfNoCase User-Agent "^Youdao" bad_bot SetEnvIfNoCase User-Agent "^msn" bad_bot Deny from env=bad_bot
或者如下写法，中间加就行了
RewriteCond %{HTTP_USER_AGENT} (jikeSpider|easouSpider|YisouSpider|bingbot|YoudaoBot|) [NC]
主题测试文章，只做测试使用。发布者：佰搜SEM，转转请注明出处：https://baidusem.com/8747.html
