背景需求
永恒君经常会在东方财富网站上面搜集查询一些行业股票信息,如下图:
这些就是网站给我们分类好的证券行业的信息。假如需要跟踪这些行业的公司的话,势必需要搜集这些公司的基本信息(牛市里跟踪券商谁都知道吧~~)
今天这篇文章来分享一下,使用web scraper
来快速实现东方财富股票信息。
以上面证券行业的这些公司为例,一共有3页,47家公司,想把这些公司的行情信息都抓取下来。
需求分析
通过仔细观察,我们发现,点击翻页的时候,网页的网址是不会变化的。
这样的话就不能使用更换有规律的网址那种方法了。看过永恒君视频的朋友应该有印象,这里需要使用到Element Click
选择器。(视频传送门在这里:动态加载),使用这个选择器就可以对网页进行翻页。
在这个选择器之下呢,在配上Table
选择器,即可完成任务
配置运行
1、Element Click
选择器配置如下图:
2、接下来配置Table
选择器就比较简单了
整体的一个结构图就是这样:
爬取的结果如下:
爬取其他的行业信息
有了上面的这个模板,爬取其他行业的就轻松多了。
比如说多元金融
的行业信息,只需要打开行业信息,复制网址,粘贴更换掉刚才web scraper
配置的起始页即可。
爬取的结果如下:
如果要爬取股指期货
的行业信息,复制网址,粘贴更换掉刚才web scraper
配置的起始页即可。
爬取的结果如下:
通过这样的方法,无论你可以想抓热点概念、热门板块,还是基金、期货、外汇、债券,只要是网站提供有的数据,统统不在话下。
永恒君把整个sitemap文件准备好了,如果你感兴趣的话点击这里查看,或者公号后台
回复“东方财富”即可获取。
之前还写过这些实例:
不用代码玩转爬虫实例(1) - 抓取猫眼电影信息
不用代码玩转爬虫实例(2) - 抓取天眼查企业基本信息
不写代码玩转爬虫实例(3) - 抓取携程酒店信息
个人博客:www.yhjbox.com
转载请注明:永恒君的百宝箱 » 不写代码玩转爬虫实例(4) – 抓取东方财富股票信息