python爬虫系列(1)- 概述 - 永恒君的百宝箱

python爬虫系列(1)- 概述

实用技巧 永恒君 49℃ 0评论

事由

之前间断地写过一些python爬虫的一些文章,如:

工具分享 | 在线小说一键下载

Python帮你定制批量获取智联招聘的信息

Python帮你定制批量获取你想要的信息

用python定制网页跟踪神器,有信息更新第一时间通知你(附视频演示)

把python网页跟踪神器部署到云上,彻底解放你的电脑

个人认为学习python语言的话,爬虫是一个非常适合入门的方向。

为了把学习到的知识比较系统整理一下,永恒君打算写一个系列的文章,把爬虫涉及到的基础知识整理出来,同时把涉及到的一些实例样板也一并整理一下。这样一方面知识比较系统、方便查找,另外一方面也分享给大家,欢迎一块交流学习。

下面是我整理的一个整体图

python 爬虫 常见流程.jpg

简单来说,爬虫的流程就是:

请求网页 – 解析网页 – 提取网页数据 – 保存数据

简单实例

下面就是一个简单的例子,实现的效果是访问http://www.yhjbox.com网站,提取网站的标题,保存在title.txt文件中。

import requests
from lxml import etree

url = 'http://www.yhjbox.com'
data = requests.get(url) #请求网页

html = etree.HTML(data.text)#解析网页
title = html.xpath('/html/head/title/text()'#提取网页数据

print(title)#打印title的内容

with open('title.txt','a'as f: #保存数据到txt文件中
    f.write(title[0])
程序运行结果.png

简单吧,只有区区9行代码。

后续永恒君会按照上面流程图的内容,把我认为爬虫过程中比较常见、重要的环节内容整理分享出来,同时也尽可能的把样板代码也附上。

欢迎各位的交流和宝贵意见!

微信公众号:永恒君的百宝箱

个人博客:www.yhjbox.com

anyShare分享到:

转载请注明:永恒君的百宝箱 » python爬虫系列(1)- 概述

喜欢 (1)
发表我的评论
取消评论
表情

This site is protected by wp-copyrightpro.com