robotstxt限制些什么屏蔽内容与安

　　t文件可以有效的屏蔽搜索引擎抓取我们不需要被抓取的页面和站源文件，其中的好处是限制搜索引擎过多的抓取不必要的内容，减少搜索引擎蜘蛛进行不必要的站爬寻分散，也是为了让我们的站不必要的内容不在搜索引擎被收录，不让别人搜索到。 其中什么样的文件会被限制抓取呢？

　　一、是否通过t来屏蔽动态页面，减少页面的重复抓取？

　　其实个人建议普通站不必要进行动态页面的屏蔽，搜索引擎一般会自动判断是否重复，普通站内容并不是非常多，一般出现重复页面的可能性也比较低，如果是信息站和论坛站等建议屏蔽动态页面。

　　二、t屏蔽特殊页面，隐私内容的屏蔽。

　　t屏蔽特殊页面，站隐私内容的屏蔽，其实对于一个站来说，隐私内容比较难实现，在无程序支持的前提下，这里说的隐私是指一些不想被流传到互联的内容，屏蔽搜索引擎蜘蛛避免在互联被泛滥，如：络培训班培训资料。

　　三、站特殊文件夹屏蔽

　　特殊文件夹一般是指，站程序安装文件，动态功能页面，多于的文件夹，后台功能等。

　　t文件的好处刚才也说了，就是提供搜索引擎蜘蛛看的，告诉它那些文件你不要看，不给你的，这是它的优点，但是t在告诉搜索引擎蜘蛛的同时，也在告诉其他人，这个站的隐私，比如：站后台文件夹地址，相信很多站长都会在t上面填写，如：Disallow:/dede/ 从这里我们可以看错应该是织梦程序，当然我们可以更改。

　　站屏蔽的安装文件地址，如：Disallow: /install/ 这一般是程序安装文件的地址，就算我们后台地址更改后一样能分析出是什么程序做出来的。

　　屏蔽站后台登录地址，如：Disallow诉有心人你的后台登录地址了。

　　屏蔽站隐私内容，如：Disallow: /ml 也只是针对搜索引擎，对人为我们还是有风险。

　　上面说的几点都是出于安全性的考虑，那我们还写不写t呢？

　　根据我个人的操作来说，t还是要些的，毕竟优化很多时候离不开他，但是对于站安全我们也要采取一些必要的措施与手段，那我们只能在程序的安全性上做手脚了，但要怎么做这手脚是程序员发挥作用的时候了，比如会员功能等。

　　其次，为了不告知他人我们的隐私，那么我们可以在robots里用*来隐藏我们的文件名。

　　从上图可以见，我们可以完全不暴露自己的文件名了，同时也能够对搜索引擎蜘蛛进行屏蔽！

　　文章来源：

　　注：相关站建设技巧阅读请移步到建站教程频道。