(转载翻译)OWASP测试指南v5 4.11 进行搜索引擎发现查询来发现信息泄露

概要

为了使搜索引擎正常工作，计算机程序或者是机器人会定期爬取数据(从网上数十亿个网站中进行抓取，这些程序通过跟踪其它网页的连接或者查看站点地图来查找网页)。如果网站使用了’robots.txt’的特殊文件列出它不希望被搜索引擎获取到的页面就可以忽略其中所列出的页面。这也是最基本的概念。

测试人员可以使用搜索引擎在网站和WEB应用程序上进行信息收集。搜索引擎的发现和侦察具有直接和间接的两种方式:直接方法涉及从缓存中搜索索引和相关内容。而间接方法是通过搜索论坛，新闻组和招标网站来学习敏感信息的设计和配置。

搜索引擎机器人一旦完成抓取，就会基于标签和相关属性(比如TITLE)对网页进行索引，以便返回相关的搜索结果。如果robots.txt文件在有效期内未进行更新，并且未使用指示机器人不对内容进行索引的内联HTML标记。则索引可能包含不打算包含在其中的WEB内容。网站的站长可以使用前面提到的robots.txt HTML元标记，身份验证和搜索引擎提供的工具来删除此类信息。

测试目的

去了解应用程序，系统或组织的哪些敏感设计和配置信息是直接(在组织的网站上)或间接(在第三方网站上)公开的。

如何测试

使用搜索引擎搜索潜在的敏感信息包括:

• 网络图和配置
• 管理员和其它主要人员发表的帖子或者是电子邮箱
• 登陆程序和用户名格式
• 用户名，密码和密钥
• 第三方，或者是云服务配置文件
• 泄露错误信息
• 网站的开发，测试，用户接受测试(UAT)和暂存版本

搜索引擎

不要局限与只使用一个搜索引擎，不同的搜索会产生不同的结果 具体取决于引擎上次对内容爬取的时间以及确定相关网页的算法。可以考虑下下列搜索引擎:

• 百度，中国最大的搜索(谷歌语法似乎不太行)
• 必应，微软旗下的搜索引擎，号称第二牛逼的浏览器。支持高级关键词搜索
• binsearch.info,某组织的新闻搜索引擎
• DuckDuckGo, 一个注重隐私的搜索引擎汇总了不同的信息，支持搜索语法
• Google,爸爸级别
• Startpage,使用GOOGLE的搜索结果而不通过跟踪器和日志收集个人信息的搜索引擎，支持搜索运算符。
• shodan,用于搜索连接网络的设备和服务有付费和免费分别

DuckDUckGo和startpage都通过不使用跟踪器或保留日志为用户提供了更多的隐私。这样可以减少用户信息泄露

搜索引用

搜索运算符是一个特殊的关键字。它扩展了常规搜索查询的功能，并可以帮助获得更具体的结果。它们通常采用operator:query 这样的形式。以下是常用的搜索字符:
site:将搜索限制为提供的URL
inrul:返回网志中包含关键字的结果
intitle:只返回页面标题中包含关键字的结果
intext/inbody:仅在页面正文中搜索关键字。
filetype:仅匹配特定的文件类型 php或者是png

比如通过搜索引擎查找关于owasp.org的内容就可以用site:owasp.org

查看缓存内容

要搜索以前已被索引的内容可以用cache:xxx 这对于查看自建立索引以来可能已更改或不在可用的内容非常有帮助。并非所有搜索引擎都提供搜索缓存内容。在作者编写文章的时候，他们认为最有用的资源是GOOGLE。

查看owasp.org缓存内容的语法为:
cache:owasp.org

Google hacking或Dorking

傻瓜式数据库(Google hacking database在群里的Kali机器上有提供点开浏览器就看到了)是有用的资源可以帮助发现特定信息。此数据库上可用的类别包括

1. 立足点
2. 文件包含用户名
   3.敏感目录
   4.WEB服务器检测
   5.漏洞文件
   6.易受攻击的服务器
   7.错误信息
   8.包含多种信息的文件
   9.包含密码文件
   10.敏感的网上购物信息

其它搜索引擎的数据库可以从BishopFox的Google Hacking Diggity Project等资源中获取

转载:https://github.com/OWASP/wstg/blob/master/document/4-Web_Application_Security_Testing/01-Information_Gathering/01-Conduct_Search_Engine_Discovery_Reconnaissance_for_Information_Leakage.md