ptsd是什么意思
一般机电网站做的 robots.txt,下面分别是什么意思?为什么这样做?
- User-agent: * Disallow: TemplatesDisallow: vmDisallow: confDisallow: managerDisallow: makerDisallow: sitemaketoolDisallow: scriptsDisallow: cert
- Robots协意,也称为爬虫协议、机器人协议等User-agent: * 禁止所有搜索引擎访问Disallow: Templates 定义是禁止爬寻Templates目录下面的目录Allow: 定义是允许爬寻的目录Sitemap: 告诉爬虫这个页面是网站地图望采纳,谢谢!