具体描述
随着大数据时代到来，网络信息量也变得更多更大，基于传统搜索引擎的局限性，网络爬虫应运而生，本书从基本的爬虫原理开始讲解，通过介绍Pthyon编程语言和Web前端基础知识引领读者入门，之后介绍动态爬虫原理以及Scrapy爬虫框架，最后介绍大规模数据下分布式爬虫的设计以及PySpider爬虫框架等。
主要特点：
l 由浅入深，从Python和Web前端基础开始讲起，逐步加深难度，层层递进。
l 内容详实，从静态网站到动态网站，从单机爬虫到分布式爬虫，既包含基础知识点，又讲解了关键问题和难点分析，方便读者完成进阶。
l 实用性强，本书共有9个爬虫项目，以系统的实战项目为驱动，由浅及深地讲解爬虫开发中所需的知识和技能。
难点详析，对js加密的分析、反爬虫措施的突破、去重方案的设计、分布式爬虫的开发进行了细致的讲解。
作者简介
范传辉，资深网虫，Python开发者，参与开发了多项网络应用，在实际开发中积累了丰富的实战经验,并善于总结，贡献了多篇技术文章广受好评。研究兴趣是网络安全、爬虫技术、数据分析、驱动开发等技术。
目录信息
基础篇
第1章 回顾Python编程 2
1.1 安装Python 2
1.1.1 Windows上安装Python 2
1.1.2 Ubuntu上的Python 3
1.2 搭建开发环境 4
1.2.1 Eclipse+PyDev 4
1.2.2 PyCharm 10
1.3 IO编程 11
1.3.1 文件读写 11
1.3.2 操作文件和目录 14
1.3.3 序列化操作 15
1.4 进程和线程 16
1.4.1 多进程 16
1.4.2 多线程 22
1.4.3 协程 25
1.4.4 分布式进程 27
1.5 网络编程 32
1.5.1 TCP编程 33
1.5.2 UDP编程 35
1.6 小结 36
第2章 Web前端基础 37
2.1 W3C标准 37
2.1.1 HTML 37
2.1.2 CSS 47
2.1.3 JavaScript 51
2.1.4 XPath 56
2.1.5 JSON 61
2.2 HTTP标准 61
2.2.1 HTTP请求过程 62
2.2.2 HTTP状态码含义 62
2.2.3 HTTP头部信息 63
2.2.4 Cookie状态管理 66
2.2.5 HTTP请求方式 66
2.3 小结 68
第3章 初识网络爬虫 69
3.1 网络爬虫概述 69
3.1.1 网络爬虫及其应用 69
3.1.2 网络爬虫结构 71
3.2 HTTP请求的Python实现 72
3.2.1 urllib2/urllib实现 72
3.2.2 httplib/urllib实现 76
3.2.3 更人性化的Requests 77
3.3 小结 82
第4章 HTML解析大法 83
4.1 初识Firebug 83
4.1.1 安装Firebug 84
4.1.2 强大的功能 84
4.2 正则表达式 95
4.2.1 基本语法与使用 96
4.2.2 Python与正则 102
4.3 强大的BeautifulSoup 108
4.3.1 安装BeautifulSoup 108
4.3.2 BeautifulSoup的使用 109
4.3.3 lxml的XPath解析 124
4.4 小结 126
第5章 数据存储（无数据库版） 127
5.1 HTML正文抽取 127
5.1.1 存储为JSON 127
5.1.2 存储为CSV 132
5.2 多媒体文件抽取 136
5.3 Email提醒 137
5.4 小结 138
第6章 实战项目：基础爬虫 139
6.1 基础爬虫架构及运行流程 140
6.2 URL管理器 141
6.3 HTML下载器 142
6.4 HTML解析器 143
6.5 数据存储器 145
6.6 爬虫调度器 146
6.7 小结 147
第7章 实战项目：简单分布式爬虫 148
7.1 简单分布式爬虫结构 148
7.2 控制节点 149
7.2.1 URL管理器 149
7.2.2 数据存储器 151
7.2.3 控制调度器 153
7.3 爬虫节点 155
7.3.1 HTML下载器 155
7.3.2 HTML解析器 156
7.3.3 爬虫调度器 157
7.4 小结 159
中级篇
第8章 数据存储（数据库版） 162
8.1 SQLite 162
8.1.1 安装SQLite 162
8.1.2 SQL语法 163
8.1.3 SQLite增删改查 168
8.1.4 SQLite事务 170
8.1.5 Python操作SQLite 171
8.2 MySQL 174
8.2.1 安装MySQL 174
8.2.2 MySQL基础 177
8.2.3 Python操作MySQL 181
8.3 更适合爬虫的MongoDB 183
8.3.1 安装MongoDB 184
8.3.2 MongoDB基础 187
8.3.3 Python操作MongoDB 194
8.4 小结 196
第9章 动态网站抓取 197
9.1 Ajax和动态HTML 197
9.2 动态爬虫1：爬取影评信息 198
9.3 PhantomJS 207
9.3.1 安装PhantomJS 207
9.3.2 快速入门 208
9.3.3 屏幕捕获 211
9.3.4 网络监控 213
9.3.5 页面自动化 214
9.3.6 常用模块和方法 215
9.4 Selenium 218
9.4.1 安装Selenium 219
9.4.2 快速入门 220
9.4.3 元素选取 221
9.4.4 页面操作 222
9.4.5 等待 225
9.5 动态爬虫2：爬取去哪网 227
9.6 小结 230
第10章 Web端协议分析 231
10.1 网页登录POST分析 231
10.1.1 隐藏表单分析 231
10.1.2 加密数据分析 234
10.2 验证码问题 246
10.2.1 IP代理 246
10.2.2 Cookie登录 249
10.2.3 传统验证码识别 250
10.2.4 人工打码 251
10.2.5 滑动验证码 252
10.3 www]m]wap 252
10.4 小结 254
第11章 终端协议分析 255
11.1 PC客户端抓包分析 255
11.1.1 HTTP Analyzer简介 255
11.1.2 虾米音乐PC端API实战分析 257
11.2 App抓包分析 259
11.2.1 Wireshark简介 259
11.2.2 酷我听书App端API实战分析 266
11.3 API爬虫：爬取mp3资源信息 268
11.4 小结 272
第12章 初窥Scrapy爬虫框架 273
12.1 Scrapy爬虫架构 273
12.2 安装Scrapy 275
12.3 创建cnblogs项目 276
12.4 创建爬虫模块 277
12.5 选择器 278
12.5.1 Selector的用法 278
12.5.2 HTML解析实现 280
12.6 命令行工具 282
12.7 定义Item 284
12.8 翻页功能 286
12.9 构建Item Pipeline 287
12.9.1 定制Item Pipeline 287
12.9.2 激活Item Pipeline 288
12.10 内置数据存储 288
12.11 内置图片和文件下载方式 289
12.12 启动爬虫 294
12.13 强化爬虫 297
12.13.1 调试方法 297
12.13.2 异常 299
12.13.3 控制运行状态 300
12.14 小结 301
第13章 深入Scrapy爬虫框架 302
13.1 再看Spider 302
13.2 Item Loader 308
13.2.1 Item与Item Loader 308
13.2.2 输入与输出处理器 309
13.2.3 Item Loader Context 310
13.2.4 重用和扩展Item Loader 311
13.2.5 内置的处理器 312
13.3 再看Item Pipeline 314
13.4 请求与响应 315
13.4.1 Request对象 315
13.4.2 Response对象 318
13.5 下载器中间件 320
13.5.1 激活下载器中间件 320
13.5.2 编写下载器中间件 321
13.6 Spider中间件 324
13.6.1 激活Spider中间件 324
13.6.2 编写Spider中间件 325
13.7 扩展 327
13.7.1 配置扩展 327
13.7.2 定制扩展 328
13.7.3 内置扩展 332
13.8 突破反爬虫 332
13.8.1 UserAgent池 333
13.8.2 禁用Cookies 333
13.8.3 设置下载延时与自动限速 333
13.8.4 代理IP池 334
13.8.5 Tor代理 334
13.8.6 分布式下载器:Crawlera 337
13.8.7 Google cache 338
13.9 小结 339
第14章 实战项目：Scrapy爬虫 340
14.1 创建知乎爬虫 340
14.2 定义Item 342
14.3 创建爬虫模块 343
14.3.1 登录知乎 343
14.3.2 解析功能 345
14.4 Pipeline 351
14.5 优化措施 352
14.6 部署爬虫 353
14.6.1 Scrapyd 354
14.6.2 Scrapyd-client 356
14.7 小结 357
深入篇
第15章 增量式爬虫 360
15.1 去重方案 360
15.2 BloomFilter算法 361
15.2.1 BloomFilter原理 361
15.2.2 Python实现BloomFilter 363
15.3 Scrapy和BloomFilter 364
15.4 小结 366
第16章 分布式爬虫与Scrapy 367
16.1 Redis基础 367
16.1.1 Redis简介 367
16.1.2 Redis的安装和配置 368
16.1.3 Redis数据类型与操作 372
16.2 Python和Redis 375
16.2.1 Python操作Redis 375
16.2.2 Scrapy集成Redis 384
16.3 MongoDB集群 385
16.4 小结 390
第17章 实战项目：Scrapy分布式爬虫 391
17.1 创建云起书院爬虫 391
17.2 定义Item 393
17.3 编写爬虫模块 394
17.4 Pipeline 395
17.5 应对反爬虫机制 397
17.6 去重优化 400
17.7 小结 401
第18章 人性化PySpider爬虫框架 403
18.1 PySpider与Scrapy 403
18.2 安装PySpider 404
18.3 创建豆瓣爬虫 405
18.4 选择器 409
18.4.1 PyQuery的用法 409
18.4.2 解析数据 411
18.5 Ajax和HTTP请求 415
18.5.1 Ajax爬取 415
18.5.2 HTTP请求实现 417
18.6 PySpider和PhantomJS 417
18.6.1 使用PhantomJS 418
18.6.2 运行JavaScript 420
18.7 数据存储 420
18.8 PySpider爬虫架构 422
18.9 小结 423
↑折 叠
· · · · · · (收起)
读后感
一开始学Python主要就是为了学爬虫。在经过Python基础的学习之后，想要进一步学习相关的知识，却没有发现相关的成体系的资料。后面偶然发现了这本书，选这本书的原因主要是因为目录。 从爬虫会涉及的多线程，多进程讲起，然后介绍web前端的基础知识，然后是数据存储，网络协议...
评分一开始学Python主要就是为了学爬虫。在经过Python基础的学习之后，想要进一步学习相关的知识，却没有发现相关的成体系的资料。后面偶然发现了这本书，选这本书的原因主要是因为目录。 从爬虫会涉及的多线程，多进程讲起，然后介绍web前端的基础知识，然后是数据存储，网络协议...
评分一开始学Python主要就是为了学爬虫。在经过Python基础的学习之后，想要进一步学习相关的知识，却没有发现相关的成体系的资料。后面偶然发现了这本书，选这本书的原因主要是因为目录。 从爬虫会涉及的多线程，多进程讲起，然后介绍web前端的基础知识，然后是数据存储，网络协议...
评分一开始学Python主要就是为了学爬虫。在经过Python基础的学习之后，想要进一步学习相关的知识，却没有发现相关的成体系的资料。后面偶然发现了这本书，选这本书的原因主要是因为目录。 从爬虫会涉及的多线程，多进程讲起，然后介绍web前端的基础知识，然后是数据存储，网络协议...
评分一开始学Python主要就是为了学爬虫。在经过Python基础的学习之后，想要进一步学习相关的知识，却没有发现相关的成体系的资料。后面偶然发现了这本书，选这本书的原因主要是因为目录。 从爬虫会涉及的多线程，多进程讲起，然后介绍web前端的基础知识，然后是数据存储，网络协议...
用户评价
这本书的排版和内容组织结构达到了一个非常高的水准，阅读体验极其流畅。它没有采用那种令人头疼的“大段文字+零散代码”的模式，而是采用了大量的图示和流程图来辅助理解复杂的架构。特别是数据清洗和存储那几章，作者把SQLAlchemy和MongoDB的使用场景做了非常清晰的区分，甚至给出了针对不同数据类型（如非结构化文本、时间序列数据）的最佳存储方案建议。我特别留意了其中关于“爬虫的合法性与伦理”的讨论，这部分内容在市面上很多技术书中往往被一带而过，但这本书却花了相当的篇幅，用严谨的法律条文和实际案例来提醒读者界限在哪里，这体现了作者极强的社会责任感和专业素养。读完之后，我不仅掌握了技术，更收获了一份对数据获取行为的敬畏之心，这对于任何想长期从事这个领域的人来说都是至关重要的软性能力。
评分这本书的语言风格非常独特，它既有理工科的精确性，又不失人文关怀的温度。作者在解释诸如HTTP响应头、Cookie会话管理这些底层概念时，没有简单地引用RFC文档，而是通过生动的比喻，比如把HTTP会话比作一次“握手、交谈、告别”的过程，让抽象的概念具象化。我尤其喜欢它在最后总结部分对“数据治理”的展望，这让我意识到爬虫开发远不止是技术实现，它最终会延伸到数据的质量控制和价值挖掘。这本书的价值在于，它将一个原本被认为偏向“黑客技巧”的技术领域，提升到了一个可以与数据科学、商业智能相结合的专业工程高度。它提供了一个全面的视角，让我看到爬虫技术如何成为驱动现代数据分析的强大引擎。对于任何希望从零基础成长为能独立负责数据采集项目的专业人士来说，这本书绝对是书架上不可或缺的“圣经”之一。
评分阅读这本书的过程，就像是跟着一个经验丰富的老手一起进行野外拉练，每走一步都有明确的目标和详细的地图。我最欣赏的一点是，作者在讲解每个技术点时，都会紧密地结合实际的项目案例，而不是停留在理论层面空谈。比如，在讲到如何处理动态加载的数据时，书中提供的解决方案不仅仅是告诉你用Selenium，而是详细对比了Selenium和Headless Chrome的优劣，并给出了在不同场景下选择工具的决策树。这种务实的态度贯穿始终。记得有一次我在尝试抓取一个电商网站的评论区数据时遇到了跨域请求的难题，按照书中的“网络抓包分析”章节的步骤，我很快定位到了数据源的API接口，绕开了前端复杂的JavaScript渲染，效率立刻提升了好几个数量级。这本书真正教会我的不是“怎么敲代码”，而是“如何像一个专业的爬虫工程师那样去思考和解决问题”。它不仅授人以渔，更重要的是，它塑造了一种解决问题的思维框架，让我在面对未知挑战时不再感到茫然无措。
评分老实说，我对市面上大多数“实战”类的书籍都抱有一定的怀疑态度，很多所谓的实战不过是换汤不换药的Demo集合。但这本书的“实战”部分是真正经得起推敲的。作者选择的项目，比如模拟登录、验证码处理、分布式爬取等，都是业界真实会遇到的“硬骨头”。书中对于如何构建一个健壮的、可中断恢复的爬虫框架进行了深入的探讨，这远远超出了我预期的内容深度。我尝试按照书中的架构蓝图搭建自己的爬虫集群，发现它内置的错误处理机制和日志记录系统设计得异常优雅，即使在长时间高并发运行时，系统也能保持极高的稳定性。这种对系统健壮性的关注，让我对这本书的作者团队产生了极大的信赖感。它不是教你写一次性脚本，而是教你如何打造一个可以长期稳定运行的“数据采集机器”。
评分这本书的封面设计就很有吸引力，那种深邃的蓝色调，配上简洁的文字排版，透露出一种专业和严谨的气质。我本来对数据抓取领域了解不多，觉得这玩意儿听起来就很高深莫测，但翻开这本书，感觉就像是找到了一个非常耐心的向导。作者的叙事方式很平易近人，不像有些技术书籍那样堆砌晦涩难懂的术语，而是用一种很生活化的语言来解释复杂的概念，比如把网络请求比作你去商店买东西的流程，一下子就清晰多了。特别是关于反爬虫机制那部分，作者没有简单地罗列那些防火墙规则，而是深入剖析了网站为什么要设置这些障碍，以及我们如何从技术和道德的角度去应对，这种思考的深度让我印象深刻。我以前总觉得爬虫就是复制粘贴代码，但这本书让我明白了，它更是一门关于“理解”和“沟通”的艺术，你需要理解网站的结构，才能和它“对话”。对于初学者来说，这本书简直是量身定做，它打下的基础非常扎实，让你在后续的学习中能站得更稳。
评分感觉这本书还是不错的，思路很清晰，对于初学者来说很棒
评分兄弟，2017年了，示例代码都是python2，不合适吧，除此之外都很ok
评分这是一本我读了跟没读的书#我与代码真是相爱相杀耳鬓厮磨
评分感觉这本书还是不错的，思路很清晰，对于初学者来说很棒
评分入门很不错
相关图书
本站所有内容均为互联网搜索引擎提供的公开搜索信息，本站不存储任何数据与内容，任何内容与数据均与本站无关，如有需要请联系相关搜索引擎包括但不限于百度，google,bing,sogou 等
© 2026 book.quotespace.org All Rights Reserved. 小美书屋 版权所有