事由
之前间断地写过一些python爬虫的一些文章,如:
用python定制网页跟踪神器,有信息更新第一时间通知你(附视频演示)
个人认为学习python语言的话,爬虫是一个非常适合入门的方向。
为了把学习到的知识比较系统整理一下,永恒君打算写一个系列的文章,把爬虫涉及到的基础知识整理出来,同时把涉及到的一些实例样板也一并整理一下
。这样一方面知识比较系统、方便查找,另外一方面也分享给大家,欢迎一块交流学习。
下面是我整理的一个整体图
简单来说,爬虫的流程
就是:
请求网页 - 解析网页 - 提取网页数据 - 保存数据
简单实例
下面就是一个简单的例子,实现的效果是访问http://www.yhjbox.com网站,提取网站的标题,保存在title.txt文件中。
import requests
from lxml import etree
url = 'http://www.yhjbox.com'
data = requests.get(url) #请求网页
html = etree.HTML(data.text)#解析网页
title = html.xpath('/html/head/title/text()') #提取网页数据
print(title)#打印title的内容
with open('title.txt','a') as f: #保存数据到txt文件中
f.write(title[0])
简单吧,只有区区9行代码。
后续永恒君会按照上面流程图的内容,把我认为爬虫过程中比较常见、重要的环节内容整理分享出来,同时也尽可能的把样板代码也附上。
欢迎各位的交流和宝贵意见!
微信公众号:永恒君的百宝箱
个人博客:www.yhjbox.com
转载请注明:永恒君的百宝箱 » python爬虫系列(1)- 概述