爬取简书用户的动态

伪君子

发布于 2018-07-12 11:05:41

5720

发布于 2018-07-12 11:05:41

文章被收录于专栏：伪君子的梦呓

0 前言

我在简书关注的一位大佬发了一篇文章，文章大意是一个简书用户假意约稿，其实是想让别人关注微信公众号，大佬写代码去爬取该用户的动态，发现该用户真的是在骗人。

具体细节请看文章：https://www.jianshu.com/p/35a85ee14f7b

我把大佬的代码复制到本地运行，发现没有把第一页的动态保存下来，于是添加了一点点代码把代码完善了一下。

1 环境说明

Win10 系统下 Python3，编译器是 Pycharm，需要安装 requests、lxml这两个包。

这里只介绍 Pycharm 安装第三方包的方法。

2 相关代码

import requests
from lxml import etree

my_header = "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36"

res = requests.get(url='https://www.jianshu.com/users/93022c8a49c5/timeline', headers={'user-agent': my_header})

if '大神带我来搬砖' in res.text:
    print('找到了')
page = etree.HTML(res.text)
last_li = page.xpath('''//ul[@class="note-list"]/li[last()]''')[0]
max_id = int(last_li.get('id').split('-')[1]) - 1

file = open("activity.txt",'w',encoding='utf-8')
file.write(res.text)
file.write("\n")

page = 2
while True:
    res = requests.get(url='https://www.jianshu.com/users/93022c8a49c5/timeline?max_id=%s&page=%s' %(max_id,page),
        headers={'user-agent': my_header, 'X-INFINITESCROLL':'true'})

    last_li = etree.HTML(res.text).xpath('''/html/body/li[last()]''')[0]
    max_id = int(last_li.get('id').split('-')[1]) - 1
    page = page + 1
    file.write(res.text)
    file.write("\n")
    if '加入了简书' in res.text:
        print('end')
        break

file.close()

这里我爬的是我简书账号的动态，如果想爬取别人的动态需要去拿到动态链接，进去他的主页，在动态那点击一下鼠标右键，然后复制链接地址或者在新标签页打开链接