首页
学习
活动
专区
圈层
工具
发布
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    从URL构造到字段提取的正则优化 —— 豆瓣影评的实践记录

    URL 怎么分辨:翻页 URL 和单条 URL 的模式不一样,如果不做区分,逻辑根本跑不通。字段怎么抽取:评论时间和作者信息没有统一格式,写死的解析规则肯定不稳。...于是我开始往正则表达式的方向想:能不能写一套更“宽容”的模式,把这些变动都涵盖进去?三、转机:用正则抽象出“通用规则”经过几番尝试,慢慢找到了一些规律。翻页 URL:reviews?...作者昵称:([^一旦抽象成这些模式,后续就很顺畅了:URL 能自动识别类型,评论时间和作者也能统一提取。...start=(\d+)")page = page_pattern.search(url)if page: print("当前页码:", page.group(1))# 提取影评 IDreview_pattern...正则不是万能钥匙,但能兜底,尤其是在字段格式多变时。代理要跟上,特别是像豆瓣这种会有限流的网站。过去我写爬虫时,总是先考虑“跑通”,很少想“如果格式变了怎么办”。

    45510

    快速提取APK中IP和URL

    获取app访问的url或者IP。从而对IP进行攻击,本文为大家介绍的这款工具,可以方便的为你分析app中存在的url。 注意:本文仅供学习和研究,坚决反对一切危害网络安全的行为。...关于 apk2url 可以轻松地将 URL 和 IP 端点从 APK 文件提取到 .txt 输出。这适合红队、渗透测试人员和开发人员收集信息,以快速识别与应用程序关联的端点。...与 APKleaks、MobSF和 AppInfoScanner 相比,apk2url 识别出的端点数量明显增多。...apk2url 进行了重写和升级,增加了 IP 支持、更强的正则表达式、自动过滤和 Jadx 反编译。 安装 在kali中安装也很简单,我们只需执行下面命令。...apk2url "33.apk" 完成之后,在endpoints目录下会有txt文件。便是app中存在的url和IP地址。

    1.3K10

    js正则小结

    1,\ 斜杠用于转义,在js正则里,只有一些元字符(*,?,.等)和\本身需要转义,其他的不需要转义,如果其他的字符前面使用了\,可能会产生负面影响,比如\b,\t这些有特殊含义的转义。...此外,在js正则中,\还有一个用处在于使用new RegExp()形式创建正则对象时,比如new RegExp('a\*a'),其中*是乘以的意思,js引擎在解析该正则表达式字符串时,会消耗掉这个斜杠,...2 ^ 该元字符比较简单,就是表示该正则是从字符串的首字符开始匹配的,有一个地方需要注意的是,如果该正则表达式加了m标记时,匹配到了行分隔符的时候就会结束。然后会在下一行继续匹配。...$n ()代表捕获分组,x代表的表达式所匹配的内容可以在x所有的正则中或者其他地方使用。...$&是一个特殊的变量,他代表是整个正则表达式匹配到的结果。也就是xy。 7 (?:x) 非捕获分组,也就是()中的表达式捕获到分组不可在其他地方使用。'x'.replace(/(?

    10.7K50

    js爬虫,正则

    大概看了下,是js加载的,而且数据在js函数中,很有意思,就分享出来给大家一起看看! 抓取目标 ?...但是发现有个js的请求,点击请求,是一行js函数代码,我们将其复制到json的视图查看器中,然后格式化一下,看看结果 ? ?...发现里面有可能存在我们需要的内容,比如url、title、intro这3个参数,猜测就是对应的新闻URL、标题、简介 ?...只是其内容,需要在进行处理一下,我们写到代码中看看 开始写代码 先导入库,因为最终需要从字符串中截取部分,所以用requests库获取请求,正则re匹配内容即可。然后我们先匹配出上述3项 ?...先用replace函数剔除url中\ \,即可得到url,后面的\ \ u4e09则是unicode编码,可以直接解码得到内容,直接写代码了 ?

    10.6K20
    领券