爬了下Unsplash上的高清壁纸，总有一款适合你

数据森麟

发布于 2019-09-27 19:37:32

8280

文章被收录于专栏：数据森麟数据森麟

作者 | shenzhongqiang

来源 | Python与数据分析

Unsplash是个高清摄影图片的网站，里面的照片非常精美，分辨率也很高，最重要的是，所有的照片都没有版权，无须向原作者申请授权，即可任意使用。

最近闲暇的时候写了个爬虫爬了下Unsplash上的那些高赞的壁纸。爬虫原理非常简单，就是爬取所有的壁纸，然后筛选那些赞数最高的图片。

代码实现

第一步我们爬取Unsplash所有的壁纸图片信息，并存入MongoDB，代码如下

def get_image_by_page(page_no):
   url = "https://unsplash.com/napi/collections/1065976/photos?page={}&per_page=10&order_by=latest&share_key=a4a197fc196734b74c9d87e48cc86838".format(page_no)
   r = requests.get(url, verify=False)
   data = r.json()
   return datadef get_images():
   page_no = 1
   client = pymongo.MongoClient()
   db = client["unsplash"]
   while True:
       result = get_image_by_page(page_no)
       if len(result) == 0:
           break
       db.wallpaper.insert_many(result)
       print(page_no)
       page_no += 1
       time.sleep(10)

爬下来的数据里面包含了几个重要的字段。

我们最关心的就是likes这个字段，这个里面存了图片的赞数，后续我们筛选高赞图片的时候会用到。

还有两个字段分别是width和height，这是图片的宽度和高度，因为我们这里关注的是桌面壁纸，所以只关心宽度大于高度的那些壁纸。

爬完图片信息后，接下来我们从数据库筛选高赞图片，代码如下

def get_top_liked_images():
   client = pymongo.MongoClient()
   db = client["unsplash"]
   cursor = db.wallpaper.aggregate([
       {"$match": {"likes": {"$gte": 1000}}}
   ])   path = os.path.dirname(__file__)
   path = os.path.join(path, "wallpaper")
   for item in cursor:
       url = item["urls"]["raw"]
       width = item["width"]
       height = item["height"]
       if width <= height:
           continue
       r = requests.get(url, verify=False)
       filename = "{}.jpg".format(int(time.time()))
       filepath = os.path.join(path, filename)
       with open(filepath, "wb") as f:
           f.write(r.content)
       print(filepath)
       time.sleep(10)

这里我们会根据图片信息里的URL去下载图片。需要注意的是，如果过于频繁的爬取Unsplash，会导致爬虫被封，所以这里每次下载完都会睡个10秒钟。

本文参与腾讯云自媒体同步曝光计划，分享自微信公众号。

原始发表：2019-01-09，如有侵权请联系 cloudcommunity@tencent.com 删除

爬虫

本文分享自数据森麟微信公众号，前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与腾讯云自媒体同步曝光计划，欢迎热爱写作的你一起参与！

爬虫

登录后参与评论

0 条评论

热度