实战多种网站、电商数据爬虫。包含：淘宝商品、微信公众号、大众点评、招聘网站、闲鱼、阿里任务、scrapy博客园、微博、百度贴吧、豆瓣电影、包图网、全景网、豆瓣音乐、某省药监局、搜狐新闻、机器学习文本采集、fofa资产采集、汽车之家、国家统计局、百度关键词收录数、蜘蛛泛目录、今日头条、豆瓣影评️️️。微信爬虫展示项目:

爬取微信公众号文章

微信公众号文章-无限制抓取

根据图书ISBN抓图书封面图片的小程序

A toolkit to help you make crawlers at ease.

将你的豆瓣帐号数据备份到本地并支持脱机浏览来自豆瓣的朋友@tabris17，此项目已经停止维护

北京地铁客流量统计（py爬虫+js统计图）

Scrapy：网站爬虫框架库抓取

基于Python和Echarts职位画像系统，使用Scrapy抓取职位招聘数据，使用Django+echarts完成数据可视化

分布式微博爬虫。抓取内容包括微博用户资料、微博信息、评论信息和转发信息。目前专注于微博数据抓取本身，正在快速迭代。如果觉得有帮助，不妨到github上给我点个star，osc上可能不会再继续更新了

多线程知乎用户爬虫，基于python3

知乎用户爬虫数据分析

《Web Scraping with Python》用python写网络爬虫一书的源代码。

因为是oschina所有都是大中文了：）起因是看到一个网站很多kindle的资源丧心病狂想占为己有全部趴下来 自然使用了scrapyscrapy刚需安装beautifulsoup刚需安装mongodb随存储方式安装python渣要开始啦

通过一个实际的项目，来学习如何使用scrapy爬取网络上的信息。这里以豆瓣小组为例，对组内的图片进行爬取，相关信息保存数据到MongoDB，图片下载到本地。