MR9.SP 爬虫系统

灵活的多节点分布式爬虫系统

  • 可视化的逻辑设计器
  • 支持自定义字段,可以加工多种类型的数据
  • 本地CACHE形式,可以随时修改规则更新数据
  • 支持组合多URL数据及URL发现
  • 支持二次数据处理,比如说字符组合,简繁转换等扩展
  • 可以和Mr9.AS整合一键发布
  • 多节点管理,支持Windows和Linux多平台
  • 其它如30X URL挖掘,正则通配替换,HTML清理等功能
  • 支持自定义采集节点用来处理特殊目标
  • 支持无头模式(Linux&Windows)
安装及配置