python爬虫系列(3)- 网页数据解析(bs4、lxml、Json库) - 永恒君的百宝箱

python爬虫系列(3)- 网页数据解析(bs4、lxml、Json库)

实用技巧 永恒君 19℃ 0评论
python爬虫系列(3)- 网页数据解析(bs4、lxml、Json库)

python 爬虫 常见流程.jpg
python 爬虫 常见流程.jpg

本文记录解析网页bs4、lxml、Json一些常用方法和使用样板

简介

通过requests库向网站请求网页,获得网页源代码之后,下一步的工作就需要对网页代码进行解析,方便后面的提取工作。

永恒君目前常使用的有lxml、bs4、json等库,本文就记录一些常用方法,以及一些使用样板。

bs4 全名 BeautifulSoup,是编写 python 爬虫常用库之一,主要用来解析 html 标签。官方文档:https://beautifulsoup.readthedocs.io/zh_CN/v4.4.0/

lxml是python的一个解析库,支持HTML和XML的解析,支持XPath解析方式,而且解析效率非常高。

通常进行网页解析、提取数据组合会是这样:bs4 + lxml 或者 lxml+xpath,(xpath后面会介绍和用到)。

bs4、lxml主要针对的是html语言编写的代码,有时候请求的内容返回是Json代码,就需要用到Json库。

JSON 的全称是 Java Script Object Notation,即 JavaScript 对象符号,它是一种轻量级的数据交换格式。

bs4

from bs4 import BeautifulSoup as bs
soup = bs("<html>A Html Text</html>""html.parser")

BeautifulSoup两个参数:第一个参数是要解析的html文本,第二个参数是使用那种解析器,对于HTML来讲就是html.parser,这个是bs4自带的解析器。

同时也可以使用lxml库来作为解析器,效率更高,方法是:

soup = bs("<html>A Html Text</html>""lxml")

也就是说,BeautifulSoup可以使用自带解析器,也可以用lxml进行解析。

lxml

1、使用 lxml 的 etree 库,可以自动修正 HTML 代码。

# 导入 lxml etree 库
from lxml import etree

# 获取 html 内容 元素
htmlEmt = etree.HTML(text)
# 将内容元素转换为字符串
result = etree.tostring(htmlEmt)
# utf-8 格式输出
print(result.decode("utf-8"))

2、利用 parse 方法来读取文件

from lxml import etree
# text.xml 是一个 xml 文件,并在当前文件同目录下
htmlEmt = etree.parse('text.xml')

# pretty_print: 优化输出
result = etree.tostring(htmlEmt, pretty_print=True)
# 输出
print(result)

Json

常用的方法就是json.loads,用于解码 JSON 数据。该函数返回 Python 字段的数据类型。

import json

jsonData = '{"a":1,"b":2,"c":3,"d":4,"e":5}';

text = json.loads(jsonData)
print text

常用的样板

bs4

#获取网页文章的标题
import requests
from bs4 import BeautifulSoup as bs#导入相关的库

url="http://www.yhjbox.com"
rec = requests.get(url=url)#请求网页
html = rec.text #.text方法获得字符串形式的网页源代码
soup = bs(html, "lxml")  #对网页进行解析
titles=soup.find_all('img',class_="thumb")  #获取文章标题

for title in titles:
    print(title.get('alt'))
bs4解析结果
bs4解析结果

lxml

#获取网站的标题
import requests
from lxml import etree#导入相关的库

url = 'https://www.ftms.com.cn/footernav/tendernotice'
data = requests.get(url) #获取 url 网页源码

data.encoding="utf-8"

html = etree.HTML(data.text)#将网页源码转换为 XPath 可以解析的格式

title = html.xpath('/html/head/title/text()') #获取title

print(title)
lxml解析结果
lxml解析结果

注意:使用.text方法有时候会解析不正常导致,返回的是一堆乱码。如果这时使用用.content.decode(‘utf-8’)就可以使其显示正常,或者在解析之前加上
data.encoding="utf-8"

Json

#获取智联招聘职位信息

import requests
from lxml import etree
import json

def get_urls():
    url = 'https://fe-api.zhaopin.com/c/i/sou?start=0&pageSize=90&cityId=765&salary=0,0&workExperience=-1&education=-1&companyType=-1&employmentType=-1&jobWelfareTag=-1&kw=pcb&kt=3&=0&_v=0.94714929&x-zp-page-request-id=ab2041e0e0b84d7'    
    rec = requests.get(url=url)
    if rec.status_code == 200:
        j = json.loads(rec.text) #解析之后的类型为字典类型
        results = j.get('data').get('results')
        for i in results:
            jobname=i.get('jobName')#获取职位名称
            print(jobname)

get_urls()
Json解析结果
Json解析结果

在上一篇文章中:充气娃娃什么感觉?Python告诉你
商品的评论文字就是通过Json解析并进行提取的。

你可能还会想看:

爬虫系列:

python爬虫系列(2)- requests库基本使用

python爬虫系列(1)- 概述

python实例:

python帮你定制批量获取你想要的信息

python帮你定制批量获取智联招聘的信息

用python定制网页跟踪神器,有信息更新第一时间通知你(附视频演示)

用python助你一键下载在线小说

教你制作一个微信机器人陪你聊天,只要几行代码

Google图片搜索出了大量满意图片,批量下载它们!

带你看看不一样的微信!

欢迎交流!

微信公众号:永恒君的百宝箱
个人博客:www.yhjbox.com

anyShare分享到:

转载请注明:永恒君的百宝箱 » python爬虫系列(3)- 网页数据解析(bs4、lxml、Json库)

喜欢 (0)
发表我的评论
取消评论
表情

This site is protected by wp-copyrightpro.com