Skip to content

Latest commit

 

History

History
114 lines (96 loc) · 10.3 KB

collection_modules.md

File metadata and controls

114 lines (96 loc) · 10.3 KB

收集模块说明

如果要使用通过API收集子域的模块请先到api.py配置相关信息,大多平台的API都是可以注册账号免费获取的。

如果你指定使用某些模块可以在api.py中设置:

enable_all_module = False  # 不开启所有模块
enable_partial_module = [('modules.search', 'ask'), ('modules.search', 'baidu')]  # 只使用ask和baidu搜索引擎收集子域

如果你指定使用某些模块使用代理可以在api.py中设置:

enable_proxy = True  # 使用代理
proxy_all_module = False  # 不代理所有模块
proxy_partial_module = ['GoogleQuery', 'AskSearch']  # 只代理GoogleQuery和AskSearch模块(各个模块的source属性值)

以下是各个模块说明:

  1. 利用证书透明度收集子域(目前有6个模块:censys_apicertdb_apicertspottercrtshentrustgoogle

    模块名称 是否需要代理 是否需要API 其他说明
    censys_api API使用和申请见api.py
    certspotter
    crtsh
    entrust
    google
    spyse_api API使用和申请见api.py
  2. 常规检查收集子域(目前有4个模块:域传送漏洞利用axfr,检查跨域策略文件cdx,检查HTTPS证书cert,检查内容安全策略csp,后续会添加检查NSEC记录,NSEC3记录等模块)

    模块名称 是否需要代理 是否需要API 其他说明
    axfr 域传送漏洞利用
    cdx 手动设置(默认不使用) 检查跨域策略文件
    cert 检查HTTPS证书
    csp 手动设置(默认不使用) 检查内容安全策略
    robots 手动设置(默认不使用) 检查robots.txt文件
    sitemap 手动设置(默认不使用) 检查sitemap文件
  3. 利用网上爬虫档案收集子域(目前有2个模块:archivecrawlcommoncrawl,此模块还在调试,该模块还有待添加和完善)

    模块名称 是否需要代理 是否需要API 其他说明
    archivecrawl
    commoncrawl
  4. 利用DNS数据集收集子域(目前有24个模块:cebaidu, binaryedge_api, circl_api, cloudflare, hackertarget, riddler, bufferover, dnsdb, ipv4info, robtex, chinaz, dnsdb_api, netcraft, securitytrails_api, chinaz_api, dnsdumpster, passivedns_api, ptrarchive, sitedossier,threatcrowd

    模块名称 是否需要代理 是否需要API 其他说明
    binaryedge_api API使用和申请见api.py
    bufferover
    cebaidu
    chinaz
    chinaz_api API使用和申请见api.py
    circl_api API使用和申请见api.py
    cloudflare_api API使用和申请见api.py
    dnsdb
    dnsdb_api API使用和申请见api.py
    dnsdumpster
    hackertarget
    ip138
    ipv4info API使用和申请见api.py
    netcraft
    passivedns_api API使用和申请见api.py
    ptrarchive API使用和申请见api.py
    riddler API使用和申请见api.py
    robtex
    securitytrails_api API使用和申请见api.py
    sitedossier
    threatcrowd
    ximcx
  5. 利用DNS查询收集子域(目前有1个模块:通过枚举常见的SRV记录并做查询来收集子域srv,该模块还有待添加和完善)

    模块名称 是否需要代理 是否需要API 其他说明
    srv 枚举域名常见的SRV记录发现子域
  6. 利用威胁平台数据收集子域(目前有6个模块:riskiq_apithreatbook_apithreatminervirustotalvirustotal_api该模块还有待添加和完善)

    模块名称 是否需要代理 是否需要API 其他说明
    alienvault
    riskiq_api API使用和申请见api.py
    threatbook_api API使用和申请见api.py
    threatminer
    virustotal
    virustotal_api API使用和申请见api.py
  7. 利用搜索引擎发现子域(目前有16个模块:ask, bing_api, fofa_api, shodan_api, yahoo, baidu, duckduckgo, github, google, so, yandex, bing, exalead, google_api, sogou, zoomeye_api

    除特殊搜索引擎,通用的搜索引擎都支持自动排除搜索,全量搜索,递归搜索。

    模块 是否需要代理 是否需要API 其他说明
    ask
    baidu
    bing
    bing_api API使用和申请见api.py
    duckduckgo
    exalead 否,最好使用国外代理。
    fofa_api API使用和申请见api.py
    gitee
    github api.py设置Github邮件名和密码。
    google
    google_api API使用和申请见api.py
    shodan_api 否,最好使用国外代理。 API使用和申请见api.py
    so
    sogou
    yahoo
    yandex
    zoomeye_api API使用和申请见api.py