Evine:一款功能强大的交互式命令行Web爬虫

释放双眼,带上耳机,听听看~!

Evine

Evine是一款功能强大的我交互式命令行Web爬虫,该工具基于Golang开发,并且实现了一个简单且快速的交互式Web爬虫和数据搜索工具。对于大范围扫描任务来说,Evine允许研究人员通过命令行接口来完成元数据和其他数据的提取、数据挖掘、网络侦察和测试任务。

工具安装

注意事项:该项目的正常运行需要Golang 1.13.x环境。

预构建源码

如果广大研究人员需要使用预构建的Evine源码,可以直接访问该项目GitHub库的Release页面来直接获取。

源码安装

go get github.com/saeeddhqan/evine

"$GOPATH/bin/evine" -h

通过GitHub库安装

git clone https://github.com/saeeddhqan/evine.git

cd evine

go build .

mv evine /usr/local/bin

evine --help

工具命令&使用

快捷键描述
Enter运行爬虫(URL视图)
Enter显示响应信息
Tab切换下一个视图
Ctrl+Space运行爬虫
Ctrl+S保存响应信息
Ctrl+Z工具退出
Ctrl+R回复默认值
Ctrl+Q关闭响应存储视图

下列命令可以显示工具的帮助信息:

evine -h

“-url”参数用于指定工具待爬取的URL地址:

evine -url toscrape.com

“-url-exclude string”参数可以允许用户通过正则表达式来排除待匹配的URL地址:

evine -url-exclude ?id=

“-domain-exclude string”参数可以指定需要排除的多个域名,参数值以逗号分隔,默认为root域名:

evine -domain-exclude host1.tld,host2.tld

“-code-exclude string”参数可以指定需要排除的HTTP状态码,以“|”分隔,默认为“.*”:

evine -code-exclude 200,201

“-delay int”参数可以设置每个请求之间的休眠时间,单位为毫秒:

evine -delay 300

“-depth”参数可以指定爬虫的搜索深度,默认为1:

evine -depth 2

“-thread int”参数可以指定解析的并发线程数量,默认为5:

evine -thread 10

“-header”参数可以设置每个请求的HTTP Header:

evine -header KEY: VALUE\nKEY1: VALUE1

“-proxy string”参数用于指定代理地址:

evine -proxy http://1.1.1.1:8080

“-scheme string”设置请求发送模式:

evine -scheme http

“-timeout int”参数用于指定超时时间,默认为10秒:

evine -timeout 15

“-keys string”参数可指定搜索内容,支持邮件、URL、电话、css、cdn、dns、脚本或文件后缀等等:

evine -keys urls,pdf,txt

“-regex string”参数允许用户针对页面内容指定搜索正则式:

evine -regex 'User.+'

“-max-regex int”参数指定正则搜索的最大结果数量,默认为1000:

evine -max-regex -1

“-robots”参数用于指定目标URL的robots.txt,并将其当作种子使用:

evine -robots

“-sitemap”参数用于指定目标URL的sitemap.xml,并将其当作种子使用:

evine -sitemap

工具运行截图

工具演示视频

视频地址:【点我观看

项目地址

Evine:【GitHub传送门

人已赞赏
Web安全

细说服务器端模板注入(SSTI)

2020-9-30 7:45:33

Web安全

Mística:一款支持任意协议的应用程序通信工具

2020-9-30 7:48:40

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索