python爬虫系列(5)- 看了这篇文章你也可以一键下载网络小说 - 永恒君的百宝箱
微信公众号:yhjbox(永恒君的百宝箱),获取最新文章、资源。

python爬虫系列(5)- 看了这篇文章你也可以一键下载网络小说

Python爬虫 永恒君 184℃ 0评论
将永恒君的百宝箱设为星标 精品文章第一时间读

实例讲解request库、bs4库的使用方法

之前写过一篇文章:分享|在线小说一键下载

文章里面简要的介绍一下使用python一键下载小说,该程序就是使用request库、bs4库完成的,比较适合入门的伙伴来学习。

运行效果.gif

正好之前介绍了python爬虫的一些知识,今天就来详细的说一下这个实例。

需求

爬取网页上小说的名字以及所有章节的内容,保存到txt文件。

以下面这篇
https://www.hongxiu.com/book/14088898305054404#Catalog
为例

思路

1、requests请求网页获得源代码;
2、bs4解析,从源代码中提取两个内容,一是作品的名字,二是提取各个章节的名字、链接;
3、再依次使用requests各个章节链接,bs4解析,提取每一章的内容;
4、将上面提取的数据保存到txt文件中。

代码实操

1、考虑内容有点多,将整体代码分块,方便编写和阅读,如下定义了四个函数。

def get_url_info(url):#request请求网页,bs4解析网页

def get_name(url):#获取小说名字

def get_catalog(url):#获取小说章节目录信息,包括1、章节名字,2、章节

def get_text(url):#获取小说章节正文

2、get_url_info()函数负责请求网页,解析网页,因为请求的次数比较多,专门编写一个调用,代码在python爬虫系列(3)- 网页数据解析(bs4、lxml、Json库)里面介绍过。

def get_url_info(url):#request请求网页,bs4解析网页
    res = requests.get(url)
    html = res.text
    soup = bs(html, "lxml") 
    return soup

3、get_name(url)函数负责获取小说名字

小说名字的源代码如下获取,可以看到是包裹在<h1>标签下的<em>标签
通过.find_all("h1")[1].find("em").text即可提取到。

标题的源代码
def get_name(url):#获取小说名字
    soup = get_url_info(url)
    name = soup.find_all("h1")[1].find("em").text
    #获取小说名字,类型为list,取第二个后就转为str类型,此时获得的小说名字包含作者,如“一个人的外贸江湖 Tessly 著”
    return name

因为上面定义了 get_url_info()函数,所以可以直接调用而不需要再写request那些代码。

4、get_catalog()函数负责获取小说章节目录信息,包括章节名字和章节链接。根据上面的方法,同样可以查看到关于章节名字、链接的代码,如下:

章节名字、链接的代码

包裹在<ul>标签下的<li>标签,通过
.find_all('ul')[3].find_all('li')将所有章节的信息先筛选出来,然后再用for循环,将每一章的名字、链接都提取出来,保存在catalog列表当中。

def get_catalog(url):#
    soup = get_url_info(url)
    catalog_data = soup.find_all('ul')[3].find_all('li')   #所有章节的信息
    catalog = []    
    for i in catalog_data:  
        data = {
                    "title":i.text,#章节名字
                    "link":"http:"+i.find('a').get('href')#章节链接
                }
        catalog.append(data)
    return catalog

5、get_text()函数负责获取小说章节正文,通过步骤4获取到了每一章节的链接后,就可以提取里面的文章内容了。

文章代码如下:

文章代码

正文是包裹在class_="read-content j_readContent"<div>标签下,用.find_all('div',class_="read-content j_readContent")[0].text方法直接获取。

def get_text(url):#获取小说章节正文
    soup = get_url_info(url)
    novel = soup.find_all('div',class_="read-content j_readContent")[0].text    
    novel = '\n    '+'\n\n    '.join(novel.split())   #为了美观排版用
    return novel

6、最后主程序直接调用上面的函数,就可以提取到所需要的文章信息,再直接写入txt文件就大功告成了。

写入文件用with open.write方法。

try...except...是目的是用来防止程序出错就挂掉而不运行下去了。

if __name__ == '__main__':    

    name = get_name(start_url)#小说名字
    print("稍等,正在准备下载...")   
    print("保存路径为下载程序所在的目录:"+name+'.txt')
    for chapter in get_catalog(start_url):
        try:
            with open(name+'.txt','a+'as f:#写入本地txt,文件名就是小说的名字
                print("正在下载:"+chapter["title"])
                f.write(get_name(start_url)+'\n\n')#写入小说名字
                f.write(chapter["title"]+'\n')#写入章节名字
                f.write(get_text(chapter["link"])+'\n'#写入章节内容
                f.write('\n=====================分割线====================\n\n')              
        except:
            pass
    print("下载完成")

把上面步骤1-6组合起来就可以实现一键下载小说的效果了:

最终效果

小结要点

1、request请求网页,主要就是requests.get()方法;
2、bs4解析网页,提取网页数据,主要运用了.find_all()方法;
3、网页的基本结构,如标签、属性等;
4、定义函数、for循环、列表、字典等python基本知识。

完整代码

import requests
from bs4 import BeautifulSoup as bs

start_url = input("请输入你要下载的文章链接:")+"#Catalog"


def get_url_info(url):#request请求网页,bs4解析网页
    res = requests.get(url)
    html = res.text
    soup = bs(html, "lxml") 
    return soup

def get_name(url):#获取小说名字
    soup = get_url_info(url)
    name = soup.find_all("h1")[1].find("em").text
    #获取小说名字,类型为list,取第二个后就转为str类型,此时获得的小说名字包含作者,如“一个人的外贸江湖 Tessly 著”
    return name


def get_catalog(url):#获取小说章节目录信息,包括1、章节名字,2、章节链接
    soup = get_url_info(url)
    catalog_data = soup.find_all('ul')[3].find_all('li')    
    catalog = []    
    for i in catalog_data:  
        data = {
                    "title":i.text,#章节名字
                    "link":"http:"+i.find('a').get('href')#章节链接
                }
        catalog.append(data)
    return catalog

def get_text(url):#获取小说章节正文
    soup = get_url_info(url)
    novel = soup.find_all('div',class_="read-content j_readContent")[0].text    
    novel = '\n    '+'\n\n    '.join(novel.split())   
    return novel


if __name__ == '__main__':    

    name = get_name(start_url)#小说名字
    print("稍等,正在准备下载...")   
    print("保存路径为下载程序所在的目录:"+name+'.txt')
    for chapter in get_catalog(start_url):
        try:
            with open(name+'.txt','a+'as f:#写入本地txt,文件名就是小说的名字
                print("正在下载:"+chapter["title"])
                f.write(get_name(start_url)+'\n\n')
                f.write(chapter["title"]+'\n')
                f.write(get_text(chapter["link"])+'\n') 
                f.write('\n=====================分割线====================\n\n')              
        except:
            pass
    print("下载完成")

input("按任意键退出")

当然,如有需要打包好的程序和代码,直接在微信公号后台回复「小说」即可!

欢迎交流!
你可能还会想看:

爬虫系列:

python爬虫系列(4)- 提取网页数据(正则表达式、bs4、xpath)

python爬虫系列(3)- 网页数据解析(bs4、lxml、Json库)

python爬虫系列(2)- requests库基本使用

python爬虫系列(1)- 概述

python实例:

python帮你定制批量获取你想要的信息

python帮你定制批量获取智联招聘的信息

用python定制网页跟踪神器,有信息更新第一时间通知你(附视频演示)

用python助你一键下载在线小说

教你制作一个微信机器人陪你聊天,只要几行代码

Google图片搜索出了大量满意图片,批量下载它们!

带你看看不一样的微信!

微信公众号:永恒君的百宝箱
个人博客:www.yhjbox.com

anyShare分享到:

转载请注明:永恒君的百宝箱 » python爬虫系列(5)- 看了这篇文章你也可以一键下载网络小说

喜欢 (1)
发表我的评论
取消评论
表情

This site is protected by wp-copyrightpro.com