简介

通过requests库向网站请求网页，获得网页源代码之后，下一步的工作就需要对网页代码进行解析，方便后面的提取工作。

永恒君目前常使用的有lxml、bs4、json等库，本文就记录一些常用方法，以及一些使用样板。

bs4 全名 BeautifulSoup，是编写 python 爬虫常用库之一，主要用来解析 html 标签。官方文档：https://beautifulsoup.readthedocs.io/zh_CN/v4.4.0/

lxml是python的一个解析库，支持HTML和XML的解析，支持XPath解析方式，而且解析效率非常高。

通常进行网页解析、提取数据组合会是这样：bs4 + lxml 或者 lxml+xpath，（xpath后面会介绍和用到）。

bs4、lxml主要针对的是html语言编写的代码，有时候请求的内容返回是Json代码，就需要用到Json库。

JSON 的全称是 Java Script Object Notation，即 JavaScript 对象符号，它是一种轻量级的数据交换格式。

bs4

from bs4 import BeautifulSoup as bs
soup = bs("<html>A Html Text</html>", "html.parser")

BeautifulSoup两个参数：第一个参数是要解析的html文本，第二个参数是使用那种解析器，对于HTML来讲就是html.parser，这个是bs4自带的解析器。

同时也可以使用lxml库来作为解析器，效率更高，方法是：

soup = bs("<html>A Html Text</html>", "lxml")

也就是说，BeautifulSoup可以使用自带解析器，也可以用lxml进行解析。

lxml

1、使用 lxml 的 etree 库，可以自动修正 HTML 代码。

# 导入 lxml etree 库
from lxml import etree

# 获取 html 内容 元素
htmlEmt = etree.HTML(text)
# 将内容元素转换为字符串
result = etree.tostring(htmlEmt)
# utf-8 格式输出
print(result.decode("utf-8"))

2、利用 parse 方法来读取文件

from lxml import etree
# text.xml 是一个 xml 文件，并在当前文件同目录下
htmlEmt = etree.parse('text.xml')

# pretty_print： 优化输出
result = etree.tostring(htmlEmt, pretty_print=True)
# 输出
print(result)

Json

常用的方法就是json.loads，用于解码 JSON 数据。该函数返回 Python 字段的数据类型。

import json

jsonData = '{"a":1,"b":2,"c":3,"d":4,"e":5}';

text = json.loads(jsonData)
print text

常用的样板

bs4

#获取网页文章的标题
import requests
from bs4 import BeautifulSoup as bs#导入相关的库

url="http://www.yhjbox.com"
rec = requests.get(url=url)#请求网页
html = rec.text #.text方法获得字符串形式的网页源代码
soup = bs(html, "lxml")  #对网页进行解析
titles=soup.find_all('img',class_="thumb")  #获取文章标题

for title in titles:
    print(title.get('alt'))

lxml

#获取网站的标题
import requests
from lxml import etree#导入相关的库

url = 'https://www.ftms.com.cn/footernav/tendernotice'
data = requests.get(url) #获取 url 网页源码

data.encoding="utf-8"

html = etree.HTML(data.text)#将网页源码转换为 XPath 可以解析的格式

title = html.xpath('/html/head/title/text()') #获取title

print(title)

注意：使用.text方法有时候会解析不正常导致，返回的是一堆乱码。如果这时使用用.content.decode('utf-8')就可以使其显示正常，或者在解析之前加上
data.encoding="utf-8"

Json

#获取智联招聘职位信息

import requests
from lxml import etree
import json

def get_urls():
    url = 'https://fe-api.zhaopin.com/c/i/sou?start=0&pageSize=90&cityId=765&salary=0,0&workExperience=-1&education=-1&companyType=-1&employmentType=-1&jobWelfareTag=-1&kw=pcb&kt=3&=0&_v=0.94714929&x-zp-page-request-id=ab2041e0e0b84d7'    
    rec = requests.get(url=url)
    if rec.status_code == 200:
        j = json.loads(rec.text) #解析之后的类型为字典类型
        results = j.get('data').get('results')
        for i in results:
            jobname=i.get('jobName')#获取职位名称
            print(jobname)

get_urls()