网址是:
https://dealershop.vaillant.com.cn/index.html
这个网页的地图上标注了很多的家电门店,这位朋友想抓取这些门店的信息,问web scraper
是否可以实现?
据永恒君了解,web scraper
是没有办法处理这类的问题的。
当然就不是说没有办法来对付这个问题,可以试试我们的老盆友python
啊。
分析网页
通过查看网页源代码,可以看到数据并不在网页源代码当中。
这个时候就要去想法子找到数据的真实请求地址了,方法就是在F12-network中进行查找,这里需要一些耐心和细心。
通过一番查找,锁定了一个form1.ashx
的文件,能看到请求的结果就是我们需要的数据,进而查找到了请求的源地址。
可以看到,这是一个post请求。
程序实现
具体的代码就不贴了,这里直接上演示效果:
提取的门店数据,很详尽。
当然啦,代码可能不具有普遍适用性,主要是帮助理解解决问题的思路和方法。
如果你感兴趣的话,可以在公号内回复「地图门店」自取试用,尽快哈~~
如果觉得实用,分享给更多的朋友吧!
个人博客:www.yhjbox.com
转载请注明:永恒君的百宝箱 » 想要地图中的门店信息?可以这样轻松获取!