headless-chrome-crawler 是一个自带 JavaScript 执行环境的爬虫插件。它支持分布式，是一款分布式爬虫。它能解决 AngularJS、vue.js 等这些现代化的前端框架编写的网站的爬虫问题。本文将详细的介绍它的相关教程。
……继续阅读 »
web前端中文站
2年前 (2018-02-24) 4416浏览 0评论
0个赞
通过上一篇的小 demo，我们发现爬取网页内容都是通过实现 PageProcessor 来抓取的。在第一章也介绍到实 PageProcessor 是 Webmagic 4个重要组件之一。PageProcessor 的主要作用是：负责解析页面，抽取有用信息，以及发现新的链接。
……继续阅读 »
web前端中文站
3年前 (2017-04-25) 2102浏览 0评论
0个赞
现在的服务基本上都离不开监控。Webmagic 爬虫框架自带了监控功能，本文将带领大家使用 Webmagic 爬虫的监控功能。
……继续阅读 »
web前端中文站
3年前 (2017-04-25) 2198浏览 0评论
0个赞
了解 RESTful 的都知道，POST不是幂等操作，所以理论上每次请求的结果都未必一样，所以原则上是没有办法做“去重”操作的。其次，除了GET请求，其他Method都没有办法自动发现，一般都是手工构建出来的，使用者更应该自己去控制是否重复。
……继续阅读 »
web前端中文站
3年前 (2017-04-25) 1661浏览 0评论
0个赞
自从java注解出来之后，就无框架不注解。同样的 WebMagic 爬虫框架也支持注解的方式实现网页的抓取，今天为大家分享一下 WebMagic 爬虫的注解教程。
……继续阅读 »
web前端中文站
3年前 (2017-04-24) 2006浏览 0评论
0个赞
Webmagic框架更偏重实际的内容抓取。今天为大家分享Webmagic 爬虫框架抓取新浪博客的案例。
……继续阅读 »
web前端中文站
3年前 (2017-04-24) 2251浏览 0评论
0个赞
