图书标签: Python  Scrapy  Scraping  Programming  计算机  Web  爬虫  py   

喜欢 Web Scraping with Python 的读者还喜欢

可惜维基被墙了，代码没法运行

可惜维基被墙了，代码没法运行

When I am going to read this book, I find that the new version just came out! Hooray. 如同作者所说，这本书不适合读者当作Python的入门书。而我初读前两章的感受是这本书的内容需要读者要对Python甚至Web Scraping有一定的了解。每一个点可能浅尝辄止，例子不够深入，但是作者提到的方法能够完善我对数据挖掘的认知。 更新：对于一个新手来说，内容可以开眼界，但是书中有很多代码都不能直接运行！累了我这种一无所知的小白。 更新-180921：终于读完了！虽然很多代码要修改才能跑动，后面的章节比较概况，但是看完之后我对爬虫技术有了新的理解（自己顺带学了很多搭建网页的技术）。

读得是最新版，跟老版侧重点有点不同，主要学习了urllib，beautifulsoup，requests，selenium这几个包的用法，读完爬虫差不多能入门了。由于写得比较简洁，对毫无爬虫和网页经验的人来说还是会有看不懂的地方，比如scrapy和API两章，看完也完全不知道在讲什么。

可惜维基被墙了，代码没法运行

我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看...

1.可以尝试使用Google API 2.对于容易被封杀的站点使用tor来匿名 3.使用Tesseract识别验证码，可以训练特殊字体提高识别率 4.爬取整个网站的外链链接是件容易的事情 5.使用selenium作为测试网站的框架 6.注意cookie和request header的使用，努力让网站不把你当做爬虫对待  

作者显然是此行达人，踩坑踩多了都是直接上经验。 书里的代码很优美、正规并且很简洁，运用了大量的递归算法和正则表达式。但是有些地方译者翻译的有误，比如第31页，倒数第六行冒号翻译成了分号，显然运行了源码并且对比了wiki网站才会知道这是误翻译。 另外，作者源码也有错...  

我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看...