关于headless-chrome-crawler的介绍，大家都知道它是一个自带 JavaScript 执行环境的爬虫插件。在Chrome 59 之后 Chrome 提供了 Headless 模式，其允许在命令行中使用 Chromium 以…

通过上一篇的小 demo，我们发现爬取网页内容都是通过实现 PageProcessor 来抓取的。在第一章也介绍到实 PageProcessor 是 Webmagic 4个重要组件之一。PageProcessor 的主要作用是：负责解析页面…

现在的服务基本上都离不开监控。Webmagic 爬虫框架自带了监控功能，本文将带领大家使用?Webmagic 爬虫的监控功能。 Webmagic 爬虫的监控是0.5.0新增的功能。利用这个功能，可以查看爬虫的执行情况——已经下载了多少页面、…

了解 RESTful 的都知道，POST不是幂等操作，所以理论上每次请求的结果都未必一样，所以原则上是没有办法做“去重”操作的。其次，除了GET请求，其他Method都没有办法自动发现，一般都是手工构建出来的，使用者更应该自己去控制是否重复…

自从java注解出来之后，就无框架不注解。同样的 WebMagic 爬虫框架也支持注解的方式实现网页的抓取，今天为大家分享一下?WebMagic 爬虫的注解教程。 @TargetUrl和@HelpUrl HelpUrl/TargetUrl是…

Webmagic框架更偏重实际的内容抓取。今天为大家分享Webmagic 爬虫框架抓取新浪博客的案例。 我们以作者的新浪博客http://blog.sina.com.cn/u/2511659777作为例子。在这个例子里，我们要从最终的博客文…