微信公众号:yhjbox(永恒君的百宝箱),获取最新文章、资源。

不写代码玩转爬虫实例(4) – 抓取东方财富股票信息

webscraper 永恒君 1585℃ 0评论

背景需求

永恒君经常会在东方财富网站上面搜集查询一些行业股票信息,如下图:

图片

这些就是网站给我们分类好的证券行业的信息。假如需要跟踪这些行业的公司的话,势必需要搜集这些公司的基本信息(牛市里跟踪券商谁都知道吧~~)

今天这篇文章来分享一下,使用web scraper来快速实现东方财富股票信息。

以上面证券行业的这些公司为例,一共有3页,47家公司,想把这些公司的行情信息都抓取下来

图片

需求分析

通过仔细观察,我们发现,点击翻页的时候,网页的网址是不会变化的

图片

这样的话就不能使用更换有规律的网址那种方法了。看过永恒君视频的朋友应该有印象,这里需要使用到Element Click选择器。(视频传送门在这里:动态加载),使用这个选择器就可以对网页进行翻页。

在这个选择器之下呢,在配上Table选择器,即可完成任务

配置运行

1、Element Click选择器配置如下图:

图片

2、接下来配置Table选择器就比较简单了

图片

图片

整体的一个结构图就是这样:

图片

爬取的结果如下:

图片

爬取其他的行业信息

有了上面的这个模板,爬取其他行业的就轻松多了。

比如说多元金融的行业信息,只需要打开行业信息,复制网址,粘贴更换掉刚才web scraper配置的起始页即可。

图片

爬取的结果如下:

图片

如果要爬取股指期货的行业信息,复制网址,粘贴更换掉刚才web scraper配置的起始页即可。

图片

爬取的结果如下:

图片

通过这样的方法,无论你可以想抓热点概念、热门板块,还是基金、期货、外汇、债券,只要是网站提供有的数据,统统不在话下。

永恒君把整个sitemap文件准备好了,如果你感兴趣的话点击这里查看,或者公号后台

回复“东方财富”即可获取。

之前还写过这些实例:

不用代码玩转爬虫实例(1) - 抓取猫眼电影信息
不用代码玩转爬虫实例(2) - 抓取天眼查企业基本信息
不写代码玩转爬虫实例(3) - 抓取携程酒店信息

欢迎交流!
微信公众号:永恒君的百宝箱
个人博客:www.yhjbox.com

转载请注明:永恒君的百宝箱 » 不写代码玩转爬虫实例(4) – 抓取东方财富股票信息

喜欢 (7)
发表我的评论
取消评论
表情