"当然, 并不是所有数据都适合"
?
在学习爬虫的过程中, 遇到过不少坑....Intro 引例
在爬虫入门的时候, 我们爬取豆瓣电影Top250这些数据量并不是很大的网页时(仅计算文本数据量), 通常无需考虑数据存储的效率问题, 使用MySQL这些关系型数据库, 或者用TXT,...起初, 我爬的数据量在几千条时, 我选择用MySQL作为数据存储的数据库, 爬取结束时, 存储的时间花了几秒, 我还没有太在意.
?
但是当我爬取的数据量到了200M左右时, 问题非常明显了....此时用MySQL存储, 半小时都无法关闭Spider! 如果添加了查重, 时间将会指数增长.
而使用CSV存储, 虽然关闭花不了特别多时间, 但是打开关闭文件所需的时间同样不少!...感人的速度让我意识到要换一种方式来存储和处理数据, 本文仅对数据存储部分做过相应测试.
我将眼光瞄准了NoSQL中的MongoDB.