python
美女网站爬虫入坑
1 缘起
在很久很久以前，就想接触一下爬虫，翻到余弦大大的这篇文章，写爬虫很简单但也很难(附某美女站爬虫源码) 我知道，是时候了。修改后能跑的代码
2 坑
踩了这么几个坑
- Mac上安装Scrapy的，一开始没仔细看安装文档https://doc.scrapy.org/en/latest/intro/install.html，直接pip install Scrapy，谁知道mac自带的系统python有问题，折腾了半天才知道在文档的后面有关于这个的介绍，于是按照文档推荐的方式重新安装python，并且修改了PATH内路径的顺序。
- 安装好以后，直接git clone 源代码，也不知道是为啥。没有图片下下来啊，于是我就开始翻官方的文档。主要是通过以下几种方式调试
- 为了减少日志输出，先把next 翻页的代码注释掉
- 根据理解的数据流程一步一步打日志，发现我把tu.68flash.com 改成http:// 就可以了，改好以后就开始飕飕地下图片
3 理解与修改
所谓简单粗暴，我的理解是，通过超链接，跳到所有的页面，然后把图片的src给下下来，不知道理解的是否深刻。这里其实还是有优化的余地，例如样张里面的大图，都下不下来。因为这个超链接直接指向jpg，这个规则就失效了，所以我做了一下优化。可以看Git提交记录。
- 加了这句话 il.add_css(‘image_urls’, ‘a::attr(href)’)
- 同时把DEPTH_LIMIT = 2 给注释了
- 也可以给图片加个大小的限制，接个过滤。
- 改了文件目录，之前的那个目录需要sudo
- 难道目录不能出现～
- 目录后面的／不要忘了
至此我感受到的是深深的敬畏。 遗憾的是，所谓的会员部分的小技巧，没有在源码中体现。希望随着自己的进步以后能够领悟到。入坑完毕。
在4chan 上也试了一把，太可怕了。