获取常见的robots.txt 设置 下面是允许任何蜘蛛搜索引擎来爬行，收录网站。每隔30秒爬行一次 。 robots.txt文件设置Crawl-delay注要原因是蜘蛛程序爬的过快，会给服务器照成负 […]

robots文件生成工具的网址： http://tool.chinaz.com/robots/

也许很多小伙伴站长们还有疑问为啥自己的网站后台更改名字了或者老是被爆（bao）破（ju），小生不才，青葱年少时从hacker中摸爬滚打到热衷于php下面就就简单的给大家解析一下这里面的门道。 1.网站 […]

robots.txt（统一小写）是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的漫游器（又称网络蜘蛛），此网站中的哪些内容是不应被搜索引擎的漫游器获取的，哪些是可以被漫游器 […]