Scrapy豆瓣整站爬虫

Scrapy豆瓣整站爬虫 分析： 豆瓣的分类有这些 其中读书、电影、音乐、同城的四个分类信息较多、维度较全，我们今天就来爬取这四个分类下的数据 豆瓣电影： 豆瓣电影下的分类导航是最全的，默认选择全部 拉到下面点击更多 在F12开发者工具可以看到 一共出来了21条请求，其中20条是图片，第一条是返回的json数据 分析这条GET请求 https://movie.douban.com/j/new_search_subjects?sort=U&range=0,10&tags=&start=20 range经测试并没有什么用，后面的start可以按20的倍数增长 不过json数据并不是很全，所以需要…