基于Venn-Abers预测器的系统日志异常检测方法_顾兆军 - plus studio

基于Venn-Abers预测器的系统日志异常检测方法_顾兆军

收集日志信息、日志解析和日志的特征化提，包括收集日志信息、日志解析和日志的特征化提取。

每条日志都包含时间戳、日志优先级、系统组件和日志条目本身等信息的非结构化数据。日志解析会生成一个生成事件计数矩阵，每个日志事件模板对应一个标识符 ｂｌｏｃｋ＿ｉｄ，用于日志异常检测模型推理。在事件计数矩阵中，将具有相同 ｂｌｏｃｋ 的事件模板放在一行，即每一行代表一个块 ｂｌｏｃｋ，将每一行的事件模板统计出次数，即每一列代表一种事件类型。(因为日志是非结构化的，这样子实际上就合并了不同事件的日志，将其变成一个矩阵用于推理). \(X_{i,j}\) 单元格中的值记录事件 ｊ 在块 ｉ 上发生的次数。TF-IDF是信息检索中一种公认的启发式方法，它通常用作信息检索和文本挖掘中文档的特征表示。

运行效率优化 实验过程中，发现由训练集标签和训练集对象得到的保序回归序列分布过于密集，不符合预期。ＨＤＦＳ 记录的日志行为单一［１８］ 使不同特征向量之间的差异较小，特征向量高度相似或重复。对于重复的得分，将其标签 \(ｙ_i\) 累积求和并取平均值作为该得分新的标签.

算法有效性评估是平方损失，评估指标是f1