Python 爬虫进阶必备 | 某公司爬虫工程师机试解析第一部分（基础与 Js 逆向）

咸鱼学Python

发布于 2021-10-28 15:53:22

4210

发布于 2021-10-28 15:53:22

文章被收录于专栏：咸鱼学Python

前奏

这个例子来自匿名的群友投稿

站点网址就不 po 了（主要怕你们把人家机试网站干崩了）

本文为某公司一面机试第一题，题目比较简单，有手就行

第二题下次发

正文

先来看题目描述

第一题一小题

用python.requests抓取此页面，用lxml解析下面的item list

item list 展示如下

“这不是有手就行？

像这样简单的机试题，除了考察你的基础之外，还有你的编码规范

控制台打开抓包，复制 xpath 直接请求就完事了

def getItemList():
    resp = requests.get("http://xxxx.com/xxxx/index.html")
    resp.encoding = resp.apparent_encoding
    html = etree.HTML(resp.text)
    item_list = html.xpath('/html/body/div[1]/li/text()')
    # 解析结果
    print("第一题第一小题的 item list 结果： ", item_list)
    # print(resp.text)


if __name__ == '__main__':
    getItemList()

结果如下

第一题二小题

用python.requests抓取此页面中的ajax请求(将itemid设为12345678)，找到sign算法，并从回返结果中用正则表达式解析出多个skuId变量的值

根据上面的要求先找到对应的 ajax 请求，我感觉这一步老鱼友们都是一把梭

要分析的就是这里的sign

其他两个字段是传入的itemid还有时间戳time

直接通过调用栈就可以找到位置了

所以接下来就是常规操作了

打上断点，然后单步进去就可以看到s的方法了

 function s(x, y) {
        var ss = x + 'easy' + y;
        var r = [];
        for(var i=0;i<ss.length;i++) {
            r.push(String.fromCharCode(ss.charCodeAt(i) + 5));
        }
        return r.join('');
    }

接下来就是基本操作，可以直接改写成 Python 也可以直接用execjs调用，完事~

sign 算法

def get_sign(time1, itemid):
    str1 = str(itemid) + 'easy' + str(time1)
    sign = ''
    for str_ in str1:
        sign = sign + chr(ord(str_) + 5)
    return sign

然后将这个 sign 代入请求就可以了

结果如下