爬虫案例-明朝那些事儿
三月份到四月初花了很长的时间看了一本小说—《明朝那些事儿》，几乎一整个月的时间都在看，越看越入迷，这就是小说的魅力吧。
故事从朱元璋的乞讨要饭开始，经过不断地残酷战争，击败各种对手，建立了明朝；再到后来燕王朱棣起兵造反，接着戚继光抗击倭寇；后来又有明朝出现了最有名的内阁首辅大臣—张居正，大刀阔斧地进行改革，明朝进入鼎盛时期；最后清朝入关，明朝还是败在了崇祯的手上，准确的说是：注定会败在他的手上。正如文中写到的那样：
嗟尔明朝，气数已尽
书讲述的不仅仅是历史，权利、希望、痛苦、气节、孤独、残暴、邪恶、忍耐、坚持、真理、忠诚……在书中样样都有。在书的最后，作者写了一首诗，摘录在这里：
当蜘蛛网无情地查封了我的炉台
当灰烬的余烟叹息着贫困的悲哀
我依然固执地铺平失望的灰烬
用美丽的雪花写下：相信未来
当我的紫葡萄化为深秋的露水
当我的鲜花依偎在别人的情怀
我依然固执地用凝霜的枯藤
在凄凉的大地上写下：相信未来
我要用手指那涌向天边的排浪
我要用手掌那托住太阳的大海
摇曳着曙光那枝温暖漂亮的笔杆
用孩子的笔体写下：相信未来
我之所以坚定地相信未来
是我相信未来人们的眼睛
她有拨开历史风尘的睫毛
她有看透岁月篇章的瞳孔
不管人们对于我们腐烂的皮肉
那些迷途的惆怅、失败的苦痛
是寄予感动的热泪、深切的同情
还是给以轻蔑的微笑、辛辣的嘲讽
我坚信人们对于我们的脊骨
那无数次的探索、迷途、失败和成功
一定会给予热情、客观、公正的评定
是的，我焦急地等待着他们的评定
朋友，坚定地相信未来吧
相信不屈不挠的努力
相信战胜死亡的年轻
相信未来、热爱生命
# by：当年明月
爬取小说
数据来源
本文介绍的如何使用Python爬取一个网站上关于这本书的部分章节。
爬取主链接：https://www.kanunu8.com/files/chinese/201102/1777.html
爬取内容
1、章节标题
2、章节正文内容
以第一章为例：我们点击“第一章 童年”可以进入第一章的正文部分。
爬取结果
看看最终爬取到的数据。在本地目录下生成的一个文件夹：《明朝那些事儿》下面就有我们爬取到的33个章节的内容，包含前言和引子部分。
爬取相关库
在本次爬虫中使用到的相关库
from multiprocessing.dummy import Pool # 伪多进程，加快爬取速度
import requests # 发送请求，获取网页数据
import re # 正则模块，解析数据
import os # os模块处理文件和目录
爬取流程图
网页分析
分析一下网页的规律
# 主页面：https://www.kanunu8.com/files/chinese/201102/1777.html
# 前言：https://www.kanunu8.com/files/chinese/201102/1777/40607.html
# 引子：https://www.kanunu8.com/files/chinese/201102/1777/40608.html
# 第一章：https://www.kanunu8.com/files/chinese/201102/1777/40609.html
# 第三十一章：https://www.kanunu8.com/files/chinese/201102/1777/40639.html
发现了规律：每个章节的页面都有自己的URL后缀加以区分。看下网页源码找出URL地址：
上面已经发现了每个章节的URL地址的后缀
源代码
正则写的不太好，地址还需要切片一次
import requests
import re
import os
from multiprocessing.dummy import Pool
start_url = 'https://www.kanunu8.com/files/chinese/201102/1777.html'
def get_source(url):
"""
函数作用：获取网页内容，包含初始网页和每个章节的网页
参数：
URL地址，包含首页或者正文页地址
返回值：
网页源码内容
"""
response = requests.get(url=url)
result = response.content.decode('gbk')
return result # 返回初始网页源码
def get_toc(source_code):
"""
函数说明：从初始网页中解析出来每个章节的URL地址，以待后续爬取每个章节的正文内容
参数：
初始页面的源码
返回值：
正文页的URL地址构成的列表：[url1,url2,......,url33]
"""
toc_url_list = []
toc_url = re.findall('.*?<td.*?><a href="(.*?)">.*?</a></td>',source_code,re.S)
for url in toc_url:
toc_url_list.append(start_url.split('1777')[0] + url) # !!! 注意每个章节地址的构建
return toc_url_list[1:34] # 正则写的不好，还要切片一次
def get_article(article_code):
"""
函数说明：传入每个章节的源码，获取章节名、正文内容
参数：
正文页的源码内容
返回值：
章节名称
正文内容
"""
chapter_name = re.search('color="#dc143c">(.*?)</font>',article_code,re.S).group(1) # 获取匹配到的第一个内容
article_text = re.search('<p>(.*?)</p>',article_code, re.S).group(1) # p 标签之间的全部内容
article_text = article_text.replace('<br />','') # 替换文章中的空格符号
return chapter_name, article_text
def save(chapter,article):
"""
函数说明：根据每章名字和正文内容进行保存
参数：
章节名称
该章节正文内容
返回值：无
"""
os.makedirs("明朝那些事儿",exist_ok=True)
with open(os.path.join('明朝那些事儿', chapter + '.txt'), 'w', encoding='utf-8') as f:
f.write(article)
def query_article(url):
"""
函数说明：传入正文URL地址，获取到章节名和正文，并保存
参数：
正文页的URL地址
返回值：无
"""
article_code = get_source(url) # 获取网页源码的函数
chapter, article_text = get_article(article_code) # 通过网页源码获取到章节名和正文内容
save(chapter, article_text) # 保存正文
if __name__ == "__main__":
"""
函数说明：
1、传入初始URL得到初始页的网页源码
2、通过初始页的源码得到所有章节的url地址列表
3、调用query_article，对每个步骤2中的每个URL地址执行函数功能，最终保存
"""
source_code = get_source(start_url) # 初始化网页获取源码
toc_url_list = get_toc(source_code) # 传入源码获取全部的URL地址
pool = Pool(4)
pool.map(query_article, toc_url_list) # 对每个地址执行query_article函数，获取对应的章节名和正文内容，最后保存
正则切片问题
首页源码返回内容解析的结果：
url = 'https://www.kanunu8.com/files/chinese/201102/1777.html'
response = requests.get(url=url)
res = response.content.decode('gbk')
toc_url_list = []
toc_url = re.findall('.*?<td.*?><a href="(.*?)">.*?</a></td>',res,re.S)
print(toc_url)
for url in toc_url:
toc_url_list.append(start_url.split('1777')[0] + url) # !!! 注意每个章节地址的构建
toc_url_list
切片之后的有效URL地址：
