元文件与爬虫文件
robots.txt、sitemap.xml、security.txt、humans.txt、.well-known/*。robots.txt可能暴露隐藏路径，但不能当访问控制。- 页面
meta标签、OpenGraph、Twitter Card、App ID、站点名、作者、生成器。 - 公开 manifest：
manifest.json、asset-manifest.json、service-worker.js。
robots.txt、sitemap.xml、security.txt、humans.txt、.well-known/*。robots.txt 可能暴露隐藏路径，但不能当访问控制。meta 标签、OpenGraph、Twitter Card、App ID、站点名、作者、生成器。manifest.json、asset-manifest.json、service-worker.js。