爬取美团网站信息（二）

目前还在写代码中，模拟登陆，所以在慢慢更新

接着上一次的代码，接下来就是关于爬取区县以及街道的信息

有了上一次的省市信息，从数据库中拿出市一级的信息，根据美团的请求的url，发现只需要拼音的简写，就可以组成新的url去访问

依据此，去爬取数据

先去从数据库中获取数据，直接的截图，返回的是一个生成器，生成器的知识自己去了解，返回的是城市的id，及它的拼音简写

接下来就是拼接url，发送请求，获取区县数据，源码的一部分

重新拼接好的url放入列表中，重写start_requests方法，使用request.meta方法传递附加的数据，该方法可以传递任何数据，使用response获取传递的数据

接下来就是将所需要数据解析出来，根据items中定义的，去保存数据，通过管道将其保存到数据库中，下图中的数据是从数据中导出来的，区县的数据（3092）

街道的数据（20593）

当然数据可能没有那么完整，目前就更具此来爬取店铺的简要信息一共是56w的数据 ，具体的获取下一节再说，当然这些都是比较简单的获取，代码还不是特别完善