社区首页 >专栏 >一行命令将count转为CPM/TPM/FPKM

一行命令将count转为CPM/TPM/FPKM

生信技能树

发布于 2023-02-27 13:42:22

3.9K00

代码可运行

文章被收录于专栏：生信技能树生信技能树

运行总次数：0

代码可运行

一、背景分析

1.0 爬取目标平台

蒲公英平台（用过的人都知道^^，没用过的人一脸懵- -!），在此介绍一下：蒲公英是小红书推出的优质创作者商业合作服务平台，致力于为品牌和博主提供内容合作服务，可以为品牌匹配出最符合合作条件的优质博主。

页面部分：上面是筛选条件，下面是筛选结果。

共爬取到34个字段，字段如下：

1	关键词
2	页码
3	小红书昵称
4	小红书号
5	地址
6	机构
7	数据更新至
8	小红书链接
9	粉丝数
10	账号类型
11	图文报价
12	视频报价
13	合作笔记数
14	预估阅读单价_图文
15	图文3秒阅读
16	日常_阅读中位数
17	日常_互动中位数
18	日常_阅读来源发现页占比
19	日常_阅读来源搜索页占比
20	合作_阅读中位数
21	合作_互动中位数
22	合作_阅读来源发现页占比
23	合作_阅读来源搜索页占比
24	女性粉丝占比
25	年龄占比最多的
26	账号评估
27	合作笔记1阅读数
28	合作笔记2阅读数
29	合作笔记3阅读数
30	合作笔记4阅读数
31	合作笔记5阅读数
32	合作笔记6阅读数
33	合作笔记7阅读数
34	合作笔记8阅读数

详细演示数据：（看《蒲公英》这个sheet页）整理到腾讯在线文档了。

1.1 演示视频

软件操作演示视频：

1.2 软件说明

重要说明，请详读：

Windows用户直接双击打开使用，无需安装Python环境，非常方便、适合小白！
需要在cookie.txt中填入cookie，实现持久化存储，方便长期使用
支持筛选笔记搜索关键词（笔记关键词和博主关键词不同，注意区分）、笔记类型(不限/图文笔记为主/视频笔记为主)、粉丝数量、图文报价、搜索页范围。其他个性化筛选条件，可以和我沟通定制，只要网页上有的都可以加入
爬取过程中，有log文件详细记录运行过程，方便回溯
爬取过程中，自动保存结果到csv文件（每爬一条存一次，防止数据丢失）
可爬34个关键字段，见1.0章节
以上爬取字段已经包含，如无法满足个性化要求，可定制开发（接口已调通）以上。

二、代码讲解

2.0 关于接口

由于采集字段较多，开发者模式中分析接口不止一个，采集程序整合多个接口开发而成，归纳如下：

博主列表接口
日常笔记接口
合作笔记接口
粉丝数接口
阅读单价接口
合作笔记阅读数接口
所属机构接口

以上。

2.1 爬虫采集模块

软件开发成本较高，代码量大、实现逻辑复杂，为保护个人知识版权，防止恶意盗版软件，不展示爬虫核心代码。

2.2 cookie获取

运行软件之前，需要填写cookie值到txt配置文件中，获取方法如下：

开发者模式是各大主流浏览器自带的、专为开发人员分析网站页面的实用工具，普通小白可能不熟悉界面使用，我可以提供一对一指导步骤^^

2.3 软件界面模块

tkinter是Python的内置标准GUI（图形用户界面）工具包。它提供了许多用于创建GUI应用程序的组件和工具，可以用来设计和开发用户友好的界面。tkinter是一个跨平台的工具包，是一个功能强大且易于学习和使用的GUI工具包，非常适合用来开发简单的桌面应用程序和工具。

主窗口部分：

# 创建主窗口
root = tk.Tk()
root.title('蒲公英爬虫-公开版p1.4 | 马哥python说 | 定制')
# 设置窗口大小
root.minsize(width=850, height=650)

部分界面控件：（以搜索关键词为例）

# 笔记关键词
tk.Label(root, justify='left', text='笔记关键词:').place(x=30, y=65)
entry_kw = tk.Text(root, bg='#ffffff', width=22, height=2, )
entry_kw.place(x=105, y=65, anchor='nw')  # 摆放位置

日志输出控件：

# 运行日志
tk.Label(root, justify='left', text='运行日志:').place(x=30, y=250)
show_list_Frame = tk.Frame(width=780, height=300)  # 创建<消息列表分区>
show_list_Frame.pack_propagate(0)
show_list_Frame.place(x=30, y=270, anchor='nw')  # 摆放位置

2.4 日志模块

在软件开发过程中，日志是非常重要的工具，用于记录应用程序的运行状态、错误信息、调试信息以及其他相关信息。在故障排查、性能监控、跟踪程序运行情况方面有重要作用。同时这也是我的个人编程习惯^^

核心代码：

def get_logger(self):
	self.logger = logging.getLogger(__name__)
	# 日志格式
	formatter = '[%(asctime)s-%(filename)s][%(funcName)s-%(lineno)d]--%(message)s'
	# 日志级别
	self.logger.setLevel(logging.DEBUG)
	# 控制台日志
	sh = logging.StreamHandler()
	log_formatter = logging.Formatter(formatter, datefmt='%Y-%m-%d %H:%M:%S')
	# info日志文件名
	info_file_name = time.strftime("%Y-%m-%d") + '.log'
	# 将其保存到特定目录
	case_dir = r'./logs/'
	info_handler = TimedRotatingFileHandler(filename=case_dir + info_file_name,
						when='MIDNIGHT',
						interval=1,
						backupCount=7,
						encoding='utf-8')