首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >日志审计系统

日志审计系统

原创
作者头像
数据库保护
修改于 2019-11-22 09:29:48
修改于 2019-11-22 09:29:48
7.9K0
举报

概述

随着信息化进程的深入和互联网的迅速发展,人们的工作、学习和生活方式正在发生巨大变化,效率大为提高,信息资源得到最大程度的共享。紧随信息化发展而来的网络安全问题日渐凸出,如果不能很好地解决这个问题,必将阻碍信息化发展的进程。由此可见,信息安全在社会生活的各个方面已受到更为广泛的关注,其重要性也日益明显。

随着互联网和云计算的发展,公有云服务器是人们越来越容易接受的产品,其最普遍受益的一点就是节省成本。企业不必像拥有私有云那样去购买,安装,操作或运维服务器或是其他设备。在一个公有云的服务供应商提供的平台上,企业只需使用或开发他们自己的应用程序即可。但公有云的安全问题也是显而易见的,基于Internet的公有云服务的特性,全世界只要能上网的人就可以访问到其云服务器,其在云主机及其云上的数据受到威胁会更多而且更复杂,数据相对于私有云处于一个不稳定的状态。

不管是传统的信息化还是未来趋势的云计算,都面临着安全的风险,从安全防护的角度来说,需要一个循序渐进的方式去完善安全体系。一般建设的顺序是网络安全、主机安全数据安全的顺序逐步完善。对于传统信息化,要优先处理网络安全,但对于云服务器来说,网络安全是提供云服务的厂家要重点考虑的事情,反而主机安全是要优先考虑的内容了。本产品就是通过对日志的分析来解决主机的安全尤其是访问安全,帮助企业有效的主机的管理和维护。

产品介绍

1、产品简介

综合日志审计系统能够通过主被动结合的手段,实时不间断地采集用户网络中各种不同厂商的安全设备、网络设备、主机、操作系统、以及各种应用系统产生的海量日志信息,网络流量的信息,并将这些信息汇集到审计中心,进行集中化存储、备份、查询、审计、告警、响应,并出具丰富的报表报告,获悉全网的整体安全运行态势,实现全生命周期的审计管理。

1、体系结构

综合日志审计系统产品主要有三大模块:日志审计、流量审计。每个模块由三部分组成,一部分是数据采集,一部分是对采集的数据进行在线格式化分析处理、过滤、规则验证,同时产生告警;一部分是数据存储系统,把采集分析的内容和规则生成的告警信息存入数据存储系统;最后部分是web服务器,管理员可以通过http方式对日志信息告警等进行查看、管理。

l  采集器

采集器主要是对日志、网络流量进行采集,然后对采集的数据进行在线格式化分析处理,把数据分解成不同的维度,然后对格式化后的数据进行告警分析,产生告警,同时存储原始数据和格式化后的数据。采集器可以分布式部署,每个采集节点可以采集数据,同时可以存储数据,这样就形成了一个采集集群,可以横向无限扩展,支持海量数据。

l  数据存储系统

对采集器采集的数据(格式化、原始)、生成的告警进行存储,同时存储这些告警所对应的数据源,系统通过集群算法可以关联到采集集群,同时存储系统还存储了账号,基础数据等信息。

l  Web服务器

Web服务器主要是给管理员操作的入口,主要包括首页门户,审计搜索,告警配置,工单管理,资产管理,系统管理几部分。

系统架构

采用组件式平台架构,实现了分层的逻辑架构,包括:审计数据源层、数据采集层、业务层和应用层。如下图所示:

l  审计数据源层

审计对象层是指审计数据源对象,数据源包括各类型的网络设备、安全设备、应用系统、主机等能产生相关日志的设备和信息系统;网络数据流中的原始数据包。日志审计对象须开放接口才可以收集到日志;网络流量审计数据源包括网络流量镜像、数据转发等,如果审计对象开放的接口是私有协议,系统可以通过定制开发协议的方式进行支持。

l  采集层

在该层日志采集利用Syslog、SnmpTrap、Jdbc、本地文件、Sftp/Ftp远程采集文件、Sniffer、Agent方式进行采集,从审计对象获取日志,并对原始日志信息进行范式化、分类、过滤、归并,统一推送到业务层进行分析、存储;网络流量采集利用ntopng抓包网络镜像流量方式进行采集,并对原始数据包进行解析、分类、过滤、归并统一推送到业务层进行存储。

l  业务层

业务层有日志审计、网络流量审计,目前日志审计是具备最完善、业务场景最多的模块,日志审计利用关联分析引擎对采集的日志进行分析,触发规则,生成告警记录;通过高性能海量数据存储代理将日志进行快速存储;通过分布式查询引擎实现日志查询;通过日志聚合引擎实现日志抽取。

l  应用层

面向系统的使用者,提供一个图形化的显示界面,展现安全审计系统的各功能模块,提供综合展示、日志审计、告警规则、工单管理、报表组件、资产管理、系统设置等功能。

产品功能

1、综合展示

用户登录即可进入综合展示仪表盘(首页)。通过盘,能够快速的导航到各个功能。用户能够通过仪表盘从不同的方面对日志进行审计,可以在一个屏幕中看到不同设备类型、不同安全区域的实时日志流曲线、统计图,以及网络整体运行态势、待处理告警信息等。用户可以自定义仪表盘,按需设计仪表板显示的内容和布局,可以为不同角色的用户建立不同维度的仪表板。

2、 日志审计

系统提供日志审计(搜索)功能,可以对解析、过滤后的日志审计数据进行搜索查看。并支持保存搜索、自定义时间以及表格导出。

3、 网络流量审计

系统提供网络流量审计功能,对原始数据流中的数据包解析、过滤、统一存储。并将解析后的五元组数据以报表形式展示。

4、告警规则

系统具备日志关联分析功能。通过关联分析规则,系统能够对符合关联规则条件的日志产生告警。系统提供了可视化的规则编辑器,用户可以定义基于逻辑表达式的关联规则,所有日志字段都可参与关联。规则支持统计计数功能,可以对达到一定统计数量的日志进行告警。

5、工单管理

系统携带工单管理模块,批量分配用户告警信息的处理、归类等。

6、报表组件

系统内置了丰富的报表模板,包括统计报表、明细报表、综合审计报告,审计人员可以根据需要生成不同的报表。系统内置报表生成调度器,可以定时自动生成日报、周报、月报、季报、年报,并支持以邮件等方式自动投递,支持以PDF、Excel、Word等格式导出,支持打印。系统还内置了一套报表编辑器,用户可以自行设计报表,包括报表的页面版式、统计内容、显示风格等。

7、资产管理

系统提供资产管理功能,可以对网络中的审计数据源资产进行管理。除基本资产信息外,系统提供灵活的资产分类功能,实现对资产的分类管理。系统提供基于拓扑的资产视图,可以按图形化拓扑模式显示资产,并可编辑资产之间的网络连接关系,通过资产视图可直接查看该资产的日志及告警信息。系统能够根据收到的日志的设备地址自动发现新的资产。

8、搜索查询

系统提供日志的查询功能,便于从海量数据中获取有用的日志信息。用户可自定义查询策略,基于日志时间、名称、地址、端口、类型等各种条件进行组合查询,并可导出查询结果。系统还提供快速查询和模糊查询功能。用户在检索历史日志记录时,系统可以通过多条件相结合的方式进行日志查询,根据日志的类型、发生时间、不同字段内容等进行精细匹配,如:日志源IP、日志发生时间、登录账号、信息字段内容等,从而实现日志的快速准确定位。

9、参考知识管理

系统内置日志字典表,记录了主流设备和系统的日志ID的原始含义和描述信息,方便审计人员在进行日志审计的时候进行参考。

10、用户管理

系统提供三权分立设计,内置系统管理员、用户管理员和审计管理员。

系统提供用户集中管理的功能,对用户可以访问的资源进行细致的权限划分,具备安全可靠的分级及分类用户管理功能,支持用户的身份认证、授权、用户口令修改等功能。不同的操作员具有功能操作权限。

11、系统管理

系统具有丰富的自身配置管理功能,包括自身安全配置、系统运行参数配置、审计资源配置等。系统具有系统自身运行监控与告警、系统日志记录等功能。

界面展示

首页

网络流量审计

日志查看:

告警查看:

工单管理

报表组件

资产

产品特点

综合日志审计系统不需要在机器上安装软件,只要支持标准syslog、snmp、sftp/ftp、jdbc等标准协议即可采集分析日志,不改变过客户的原有方式,部署便捷,不会破坏本身的网络结构,不会影响到原主机性能。采集器支持横向扩展集群功能,在不改变现有环境的情况下,非常方便的增加采集节点,并整合到系统中进行协同工作,通过这种横向集群方式可以支持海量日志的收集,存储,分析展示的能力。

综合志审计系统具有强大的日志分析、网络流量分析能力,可以支持单条日志的分析,多条日志的组合分析,定时场景的分析,先后条件满足的分析。通过这些分析能力,能满足绝大多数用户分析场景的需求。

综合日志审计系统整合了全文搜索Elasticsearch,我们对Elasticsearch进行了优化,并有源码级的支持能力。Elasticsearch是一个灵活、功能强大的开源、分布式、实时搜索和分析引擎。从设计之初就考虑了分布式环境,所以它具有天然的可靠性和可扩展性,Elasticsearch使您能够轻松地的使用全文检索的功能。通过其强大的、健壮的RESTfulAPI和查询DSL,支持多种客户端,如Java、Python、Clojure等。

部署方式

产品部署分4部分内容,数据源部分,采集器采集部分,数据库部分和web服务器部分,第一部分是数据源,支持syslog、snmp、jdbc、sftp/ftp等协议,其余三部分是本产品的主要部分,这四部分内容可以根据规模大小部署在一台机器或者多台机器上面。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
暂无评论
推荐阅读
【一步步一起学DApp开发】(四)web3.js 基本使用 | 连接geth | 创建web客户端
web3.js内部使用JSONRPC与geth通信。它把所有JSON-RPC API当作JavaScript API,也就是说,它不仅支持所有与以太坊相关的API,还支持与Whisper和Swarm相关的API。
前端修罗场
2023/10/07
1.2K0
web3.fromWei
如果你希望马上开始学习以太坊DApp开发,可以访问汇智网提供的出色的在线互动教程: 以太坊DApp实战开发入门 去中心化电商DApp实战开发 以太坊货币单位之间的转换。将以wei为单位的资金,转换为指定单位的数值: 调用: web3.fromWei(number, unit) 参数: number:. Number|String|BigNumber - 数字或BigNumber。 unit:. String - 单位字符串 货币单位可取值如下 kwei/ada mwei/babbage gwei/shan
用户1408045
2018/05/17
7470
以太坊开发指南 #1
你应该听说过了以太坊[4]了,准备进入以太坊的世界冒险了吗?这篇文章将快速介绍一些区块链基础知识,然后让了解与模拟的以太坊节点进行交互--读取区块数据,检查账户余额并发送交易。在这个过程中,我们将理解传统的应用程序与这种新的去中心化应用之间的差异。
Tiny熊
2021/02/25
1.3K0
以太坊开发指南 #1
web3.toWei
如果你希望马上开始学习以太坊DApp开发,可以访问汇智网提供的出色的在线互动教程: 以太坊DApp实战开发入门 去中心化电商DApp实战开发 将给定资金转换为以wei为单位的数值。 调用: web3.toWei(number, unit) 参数: number:Number|String|BigNumber - 数字或BigNumber unit : String - 字符串单位 可选择的单位如下: kwei/ada mwei/babbage gwei/shannon szabo finney ether
用户1408045
2018/05/17
7640
搭建以太坊私有链
区块链技术正在逐渐走向成熟,以太坊作为区块链领域的重要代表被广泛应用于智能合约、去中心化应用等领域,然而公有链上的交易需要消耗大量的手续费,且数据的公开性也限制了其在某些场景下的应用。因此搭建以太坊私有链成为了一种更加灵活、高效、安全的解决方案,本文将介绍如何搭建以太坊私有链帮助读者更好地理解和应用区块链技术
Al1ex
2023/09/07
1.8K1
搭建以太坊私有链
以太坊介绍和使用
以太坊是一个能够在区块链上实现智能合约、开源的底层系统。换言之,以太坊是可编程的区块链,它并不是给用户一系列预先设定好的操作(例如比特币交易),而是允许用户按照自己的意愿创建复杂的操作。这样一来,以太坊是就可以作为多种类型去中心化区块链应用的平台,这些应用比如包括之前很火的各种代币但并不仅限于此,我们可以做很多除了代币之外的东西,比如你可以输出一行代表自己不是外行身份的hello world,或者在上面做一个简单的计算器,总之你可以在上面实现你想要的任何功能。
fnatic
2022/07/15
37.4K0
第三课 以太坊术语说明及开发者资源列表
也称钱包,提供账户管理、挖矿、转账、智能合约的部署和执行等等功能,以太坊节点利用以太坊客户端接入到以太坊网络。 现在以太坊客户端主要有:Wallent/ist , Geth, Parity, Harmony,
辉哥
2018/08/10
8050
第三课 以太坊术语说明及开发者资源列表
第十一课 从宠物商店案例看DAPP架构和WEB3.JS交互接口
【本文目标】 了解ETH生态下DAPP去中心化应用程序的框架和交互流程,了解WEB3.JS的作用和接口函数。 【前置条件】 完成了《第六课 技术小白如何开发一个DAPP区块链应用(以宠物商店为例)》的学习实践,对智能合约了解。 【技术收获】 1). DAPP架构 2). ETH节点框架 3).宠物商店的APP.js文件的业务处理流程图和函数介绍 4).web3.js接口
辉哥
2018/08/10
2.7K0
第十一课 从宠物商店案例看DAPP架构和WEB3.JS交互接口
web3.py简介
与web3.py库交互的共同入口是web3对象。web3对象提供API,用于python开发的应用与以太坊区块链进行交互,通常是通过连接JSON-RPC服务器进行。
笔阁
2018/09/04
1.3K0
【手把手】如何在10分钟内搭建一个以太坊私有链?
在开发以太坊时,很多时候需要搭建一条以太坊私有链,这篇来自作者熊丽兵的文章,手把手教你10分钟内如何在Mac上进行搭建。 作者 | 熊丽兵 整理 | 科科 阅读本文前,你应该对以太坊语言有所了解,如果你还不了解,建议你先看以太坊是什么。 go-ethereum客户端安装 Go-ethereum客户端通常被称为Geth,它是个命令行界面,执行在Go上实现的完整以太坊节点。Geth得益于Go语言的多平台特性,支持在多个平台上使用(比如Windows、Linux、Mac)。Geth是以太坊协议的具体落地实现,通过
区块链大本营
2018/06/19
2.5K0
以太坊私链入门
中国广东省深圳市龙华新区民治街道溪山美地 518131 +86 13113668890 <netkiller@msn.com>
netkiller old
2018/02/02
5.1K2
快速学习-Geth 控制台命令
Geth Console 是一个交互式的 JavaScript 执行环境,里面内置了一些用来操作以太坊的 JavaScript 对象,我们可以直接调用这些对象来获取区块链上的相关信息。这些对象主要包括: eth:主要包含对区块链进行访问和交互相关的方法; net:主要包含查看 p2p 网络状态的方法; admin:主要包含与管理节点相关的方法; miner:主要包含挖矿相关的一些方法; personal:包含账户管理的方法; txpool:包含查看交易内存池的方法; web3:包含以上所有对象,还包含一些通用方法。 常用命令有: personal.newAccount():创建账户; personal.unlockAccount():解锁账户; eth.accounts:列出系统中的账户; eth.getBalance():查看账户余额,返回值的单位是 Wei; eth.blockNumber:列出当前区块高度; eth.getTransaction():获取交易信息; eth.getBlock():获取区块信息; miner.start():开始挖矿; miner.stop():停止挖矿; web3.fromWei():Wei 换算成以太币; web3.toWei():以太币换算成 Wei; txpool.status:交易池中的状态;
cwl_java
2020/04/10
2.1K0
以太坊查看账户余额
如果你希望马上开始学习以太坊DApp开发,可以访问汇智网提供的出色的在线互动教程: 以太坊DApp实战入门教程 以太坊去中心化电商应用开发实战 使用web3获取账户余额 可以使用JavaScript API来获取以太坊账户余额,例如在JavaScript代码中: web3.fromWei(web3.eth.getBalance(web3.eth.coinbase)); 如果你在geth控制台里,可以将web3.eth使用其eth别名代替: > web3.fromWei(eth.getBalance(et
用户1408045
2018/05/17
3.1K0
智能合约:介绍、geth、Ethereum Wallet
从看雪论坛换了一本《智能合约安全分析和审计指南》,看了一些智能合约相关的内容,因为我之前对于区块链的了解仅仅是只知道世界上有一种叫做比特币的东西,所以对于这些概念的理解还是比较困难的
yichen
2020/05/04
1.9K0
以太坊开发入门 - 基本概念
本质上是一个去中心的数据库,区块链包含一串数据块,每个数据块中包含若干交易数据、时间戳等信息,可用于验证交易的有效性。
寒星
2018/06/19
6500
以太坊的安装、私有链创世区块搭建以及智能合约的部署
官方下载地址:https://geth.ethereum.org/downloads/ 下载相应系统版本的geth,安装成功后可以查看版本信息:
梦飞
2022/06/23
1.6K0
以太坊的安装、私有链创世区块搭建以及智能合约的部署
web3js 实战基本操作
这个篇文章的总结是在学习 b站web3.js的一个基础教程课 的课程总结,方便后续在文章中查找API。
六个周
2023/02/16
1.8K0
从零构建以太坊(Ethereum)智能合约到项目实战——第22章 玩转truffle framework 、Web3.js 框架
P84 、1-玩转truffle framework、Web3、js 框架 内容介绍
墨文
2020/02/28
5480
探路以太坊
关键字:以太坊,加密货币,crowdsale,geth,console,web3.js 以太坊简介 一句话简介:以太坊是一个基于功能齐全的编程语言构建的众多去中心化区块链应用的平台。 下面来解读一下这句话: 平台:首先以太坊是一个平台,这个平台上面有很多应用。 应用:这些应用是是去中心化的,基于区块链技术。所以这些应用可以实现永不停歇,因为它是分布式的,去中心化的,基于P2P网络的,这些应用被管理在以太坊钱包上面。 钱包:以太坊钱包,本质上以太坊钱包也是其中一个应用,它是一个网关,可以管理所有基
文彬
2018/05/03
2K0
CentOS7 搭建以太坊私有链
这里要注意下 最新的golang 1.10 和go-ethereum-1.7.3 不太兼容
王小明_HIT
2019/08/13
1.2K0
相关推荐
【一步步一起学DApp开发】(四)web3.js 基本使用 | 连接geth | 创建web客户端
更多 >
LV.1
这个人很懒,什么都没有留下~
目录
  • 1、产品简介
  • 1、体系结构
  • 1、综合展示
  • 2、 日志审计
  • 3、 网络流量审计
  • 4、告警规则
  • 5、工单管理
  • 6、报表组件
  • 7、资产管理
  • 8、搜索查询
  • 9、参考知识管理
  • 10、用户管理
  • 11、系统管理
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档