微信公众号:yhjbox(永恒君的百宝箱),获取最新文章、资源。

有了这款工具,不写代码搞定批量爬取数据!

软件工具 永恒君 1329℃ 0评论
如果你需要在网上获取一定量的数据,爬虫可能会是比较好的选择。但是我们普通人不一定会写代码,那是不是就没有办法了呢?当然有!人总是会有懒惰的一面,那么相应的就会产生懒惰应对的方法。

今天给大家分享一下Web Scraper这款爬虫工具,是chrome浏览器的插件,跨平台使用。可以方便的仅仅通过鼠标进行简单配置,就可以爬取你所想要数据。例如文章列表信息、电商网站商品信息、知乎回答列表、微博热门、微博评论等等。

先展示看看实例效果

实例1

https://www.0797rs.com/news/list-10--1.html
这个网站,爬取前两页文章的列表和链接。

第一页

第二页

永恒君已经提前配置好了

运行后的效果

实例2

https://www.zhihu.com/question/36550329

知乎的回答,爬取所有回答者的昵称、评论数和赞同数

运行后的效果

实例3

https://search.jd.com/Search?keyword=%E7%99%BE%E5%AE%9D%E7%AE%B1&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&wq=%E7%99%BE%E5%AE%9D%E7%AE%B1&stock=1&page=1&s=1&click=0

某东的某个商品,爬取第一页商品的商品名称、价格、评论数

运行后的效果

为了更为直观的展示,永恒君把三个实例整合到一个视频里面,大家可以更为直观的感受一下效率和效果:

怎么样,效果不错吧?应付我们日常工作足足够了。

今天先展示下效果,后面会分享关于Web Scraper这款爬虫工具的一些实用方法。

你可能还会想看:

工具分享 | 在线小说一键下载

Python帮你定制批量获取智联招聘的信息

Python帮你定制批量获取你想要的信息

用python定制网页跟踪神器,有信息更新第一时间通知你(附视频演示)

把python网页跟踪神器部署到云上,彻底解放你的电脑

欢迎加入我的知识星球,为您提供更多服务和资源!

微信公众号:永恒君的百宝箱
个人博客:www.yhjbox.com

转载请注明:永恒君的百宝箱 » 有了这款工具,不写代码搞定批量爬取数据!

喜欢 (3)
发表我的评论
取消评论

*

code

表情