对其日志进行的分析其实是一种很常见的应用场景，对应用安全来说，WAF，IDS等产生告警日志是安全人员每天必看的日志。所有许多安全团队会将所有安全产品的日志汇聚到一个平台，从而诞生了安全日志平台。...2.业务接口日志→服务器本地某目录→通过syslog同步到安全日志平台 ? 3.日志格式示例见附录 日志审计平台功能 1.敏感数据定义 重要关注数据，如：身&&份证，手机号，银&&行卡等。...安全日志分析平台提供了数据操作和导出时的审计工作。...，目标域名：git，应用程序：TortoiseGit （2）DLP功能扩展： 总所周知，DLP需要非常强的运营能力，创建规则比较复杂，尤其在应用场景比较繁多的企业，准确率和告警人工排查工作都比较困难。...，使其逐步演进为一个安全基础监控平台和安全大数据平台。
国标视频云服务EasyGBS支持设备/平台通过国标GB28181协议注册接入，并能实现视频的实时监控直播、录像、检索与回看、语音对讲、云存储、告警、平台级联等功能。...平台部署简单、可拓展性强，支持将接入的视频流进行全终端、全平台分发，分发的视频流包括RTSP、RTMP、FLV、HLS、WebRTC等格式。...有用户提出需求，在Linux服务环境中，登录EasyGBS会报安全漏洞的错误，希望我们能对此细节进行优化。...在原先的EasyGBS项目中，登录使用了Get请求，虽然进行了加密处理但存在安全隐患，现在需要将原先的Get请求更换成Post请求，将密码加盐处理，并增加登录验证。...登录验证的功能有利于增强平台的安全性，可以有效防范不法分子对网络进行攻击等行为，保障平台的视频等数据资源隐私性与安全性。
前言 自从2018年大数据平台升级，Hadoop/Kafka从此被Kerberos立体环绕，虽然知道kinit/kdestory/klist命令，但是每次执行都感觉云里雾绕，尤其是对接租户的时候，多次陷入尴尬的境地...于是决定去靠自己理解一下Kerberos，脱离这种没有安全感的日子。 什么是kerberos？...在大数据平台的应用中，可以给不同的资源添加不同的权限，例如HDFS的访问、kakfa的topic读写，必须带有对应权限的principal和对应的"密码"去访问。...例如： 你的hadoop有十台主机，/etc/hosts配置的host为hadoop[1-10].hadoop.com，name在定义你的Kerberos的Realm时就是HADOOP.COM，你创建的客户端的服务端的
一、概述 在大数据平台建设初期，安全也许并不是被重点关注的一环。大数据平台的定位主要是服务数据开发人员，提高数据开发效率，提供便捷的开发流程，有效支持数仓建设。大数据平台的用户都是公司内部人员。...数据本身的安全性已经由公司层面的网络及物理机房的隔离来得到保证。那么数据平台建设过程中，需要考虑哪些安全性方面的问题？...最后，大数据平台的目标是赋能数据开发人员，提高数据开发效率，而安全管理必然会降低数据平台的便利性。如何平衡安全和便利性的关系，尤为重要。...有赞大数据平台安全建设是在大数据平台本身的发展以及数仓元数据建设的过程中不断演进的。概括起来可以分为三个阶段。...五、未来展望 大数据平台的安全建设并不是一项孤立的工作，而是随着大数据平台支持的业务量和业务种类越来越多，与大数据平台本身的进化而一起发展的。
安全平台
前言 OpenSOC是思科在BroCON大会上亮相了的一个安全大数据分析架构，它是一个针对网络包和流的大数据分析框架，是大数据分析与安全分析技术的结合, 能够实时的检测网络异常情况并且可以扩展很多节点，...宜信结合自己的实际情况，同样实现了一套集采集、分析和存储为一体的安全数据平台——流沙平台。...威胁情报对于企业安全的作用越来越大，能够帮助企业发现潜在的安全问题 对于流沙平台来说，一方面，将内部的告警转化为内部情报，另外一方面将内部情报和外部情报结合形成宜信独有的威胁情报，并将其反哺给日志和流量...，帮助企业安全分析人员更方便的进行数据分析和决策。...通过流沙平台，安全工作人员可以将大部分精力专注于数据分析上，弥补了商业安全产品的不足，更好的帮助安全防护同学全面的了解企业的安全状态。流沙平台不仅仅是一个数据平台，更是宜信现有安全措施的重要补充。
- END -
规则圈选是按照指定条件从画像数据中找到满足要求的用户并沉淀为人群的一种常见的人群创建方式。所谓的规则就是条件的组合，比如北京市男性用户，最近一周平均在线时长介于2到10分钟之间的中老年用户。...筛选北京市男性用户的需求可以通过画像平台可视化页面表达出来，其圈选配置最终通过接口传递到平台服务端并存储在数据库MySQL中。...每一个人群最终都会存储在Hive表和OSS中，但是不同人群创建方式优先产出的人群存储类型不同，所以画像平台需要支持Hive和OSS之间数据的相互转换。...、上传到HDFS以及加载成Hive表三个步骤，该过程与第3章中通过文件导入创建标签类似。...----本文节选自《用户画像：平台构建与业务实践》，转载请注明出处。
上篇文章《漫谈大数据平台架构》（阅读原文查看）大家应该对大数据平台有了一个整体架构上的理解和认识，作为姊妹篇，本篇着重讲解大数据平台安全风险与建设。 大数据平台安全伴随着大数据平台而生。...4）安全技术体系：公司开展大数据安全防护建设相关要求和实施方法，体系设计涵盖数据流转各环节数据安全防护通用技术要求、大数据平台各类基础设施及应用组件安全基线配置能力要求等。...2.5Microsoft大数据安全框架 ? 核心安全措施： 1）网络安全：企业管理员可在虚拟网络 (VNET) 中创建群集，并使用网络安全组 (NSG) 限制对虚拟网络的访问。...管理员还可以查看和报告对在 Apache Ranger 支持的终结点中创建的访问控制策略进行的所有更改。 5）加密：应对数据加密。...三、结束语： 综上所述，结合笔者自己的实践，大数据平台安全建设应根据平台规模、大数据安全建设人员投入数量、历史案件比例等因素做调整，最合适的是才是最好的。
1、大数据分析在企业安全管理平台上的应用 目前应用于大数据分析的主流技术架构是Hadoop，业界在进行大数据分析时越来越重视它的作用。...基于前面介绍过的传统企业安全管理平台面对的挑战和局限性问题，可以把Hadoop技术应用在企业安全管理平台中，发展成为新一代的企业安全管理平台，实现支持超大数据量的采集、融合、存储、检索、分析、态势感知和可视化功能...2、大数据在信息安全上的应用 大数据在信息安全上的应用主要表现为，数据的爆炸性增长给目前的信息安全技术带来了挑战，传统的信息安全技术在面对超大数据量时已经不再适宜，需要基于大数据环境的特点开发新一代安全技术...3、大数据安全分析 大数据安全分析，顾名思义，就是指利用大数据技术来进行安全分析。...在网络安全领域，大数据安全分析是企业安全管理平台安全事件分析的核心技术，而大数据安全分析对安全数据处理效果主要依赖于分析方法。
文 | 群演 on 大数据 一、概述 在大数据平台建设初期，安全也许并不是被重点关注的一环。大数据平台的定位主要是服务数据开发人员，提高数据开发效率，提供便捷的开发流程，有效支持数仓建设。...大数据平台的用户都是公司内部人员。数据本身的安全性已经由公司层面的网络及物理机房的隔离来得到保证。那么数据平台建设过程中，需要考虑哪些安全性方面的问题？...最后，大数据平台的目标是赋能数据开发人员，提高数据开发效率，而安全管理必然会降低数据平台的便利性。如何平衡安全和便利性的关系，尤为重要。...有赞大数据平台安全建设是在大数据平台本身的发展以及数仓元数据建设的过程中不断演进的。概括起来可以分为三个阶段。...五、未来展望 大数据平台的安全建设并不是一项孤立的工作，而是随着大数据平台支持的业务量和业务种类越来越多，与大数据平台本身的进化而一起发展的。
导入人群是将外部数据导入画像平台构建人群，主要有3种实现方式：文件导入、Hive表导入和SQL导入。...文件导入是将TXT、CSV等格式的文件导入画像平台；Hive表导入是指定源Hive表及导入字段，将满足条件的源表数据导入画像平台；SQL导入是Hive表导入的延伸，用户可以自由编写SQL语句，其运行结果最终导入画像平台...不同用户配置导入人群时涉及的数据表不同，要严格校验用户对数据表是否有读权限，防止发生数据安全事故。...通过TXT或者CSV文件创建人群，其文件中只需要保存一列UserId数据。文件通过接口上传到服务端后可以解析其中的每一行数据，数据经处理后可以直接写入BitMap并存储到OSS中。...导入人群是画像平台最常用的人群创建方式之一，其实现了将各类数据源沉淀为人群的功能，支持更灵活的人群创建方式，拓展了画像平台数据范围。
这样全球数以千计的科研人员就不用浪费自己的时间和金钱将数据转移到自己熟悉的云平台，只要从这个统一的数据平台进行存储和分析就可以了。...（见下图） 时至今日，云服务的安全性已经胜过了研究机构自己的数据中心。...如一些欧洲的资助机构就建议将基因组数据控制在自己的管辖范围内以遵守欧洲的隐私法律。但我们预计，基于云计算的经济性、灵活性、可靠性和安全性，未来几个月肯定会有向云平台的大规模迁移潮。...现在如果有不同的科研人员想要在云平台上使用同一数据集，他们各自必须得到相应的数据访问委员会批准。然后要将数据复制到自己的云平台才能开始工作。...如果把所有数据都集中到同一个云计算平台，此云计算平台就会因为垄断而提价，而这些成本就会转嫁到科研经费中。为了避免这种情况发生，应该将重要的数据集放在多个云平台上。
什么是开放平台 开放平台就是将企业中的业务的核心部分经过抽象和提取，形成面向企业或者面向用户的增值系统，为企业带来新的业务增涨点。 因为是企业的核心业务能力，所以平台的安全性就成为重中之重。...安全方案 普通的接口使用Token令牌的方案就可以保证，但是对于一些敏感的接口就需要有针对性的处理，比如使用https。...签名的设计一般是通过用户和密码的校验，然后针对用户生成一个唯一的Token令牌， 用户再次获取信息时，带上此令牌，如果令牌正确，则返回数据。...根据用户的信息和服务器的规则生成JWT Token 服务器将该token以json形式返回（不一定要json形式，这里说的是一种常见的做法） 用户得到token，存在localStorage、cookie或其它数据存储形式中...总结 关于开放平台其实还有很多需要切入的点，此处给出的安全方案只是一个示例，可以在此基础上进行二次开发，实现企业级的安全方案。
本期作者 李昌海 哔哩哔哩资深开发工程师 韩志华 大数据平台工具负责人 1.序言 Berserker是B站一站式数据开发及治理平台，基于常用大数据生态组件构建，满足公司内数据查询、数据分析、日常报表...Berserker主页 其中，数据安全是Berserker平台中重要的一部分，它将为公司内部 Hive、Kafka、ClickHouse、ETL任务等各种资产进行统一的数据安全管理，并为数据平台部内部的数据开发...授权 一般用户在Berserker平台进行数据安全变更操作（如：权限申请），授权结果记录在数据安全。数据安全将授权结果同步到Ranger和ClickHouse等。...2.4 里程碑 2020年7月数据安全的第一个服务权限系统从Berserker平台独立出，2022年7月，数据安全升级到2.0，中间经历了几次重大变更。 图6....主要为兼容部分第三方任务（非BSK平台上提交的任务），该任务可能未及时改用工作空间账号、而依旧使用个人账号运行 3.3 工作空间推进 3.3.1 背景 数据平台的用户的增长及业务的丰富，基于用户的数据安全模型体系难以支撑各种灵活多变业务需求
IT系统风险构成 按照等保的划分维度 云上的安全服务方式 云上安全防护的关键点 注意事项 应用与数据分离 应用集群部署 动静资源分离 云计算面临的主要安全威胁 产生安全风险的主要原因 4.阿里云安全解决方案...阿里云的服务器安全防护 阿里云的网络安全防护 阿里云的数据安全防护 阿里云的应用安全防护 阿里云的监控管理 5.安全法概要 背景 对企业的影响 对个人的影响 趋势 1.典型IT系统架构介绍 IT基础架构演讲的趋势...恶意代码防范、身份鉴别、访问控制、集中管控和安全审计等 应用和数据安全：包括安全审计、数据完整性和保密性 云上的安全服务方式 ?...云上安全防护的关键点 注意事项 ? 应用与数据分离 ? 应用集群部署 ? 动静资源分离 ? 云计算面临的主要安全威胁 可用性、完整性、保密性 ? 产生安全风险的主要原因 ?...4.阿里云安全解决方案 阿里云的服务器安全防护 ? 阿里云的网络安全防护 ? 阿里云的数据安全防护 ? 阿里云的应用安全防护 ? 阿里云的监控管理 ? 5.安全法概要 背景 ? 对企业的影响 ?
0x01 介绍 最近在做安全基线检查相关的，网上有一些代码比较零散；也有一些比较完整的项目，比如owasp中的安全基线检查项目，但是收费；还有一些开源且完整的，比如lynis，但是不符合我的要求。...我的要求如下： 能够对操作系统、中间件和数据库进行基线检查 脚本在系统上进行基线检查后的结果或者收集到的数据能够传输到一个服务端 服务端要做可视化展示 最终的效果是什么呢？...最好能够达到阿里云里的安全基线检查的样子，差一点的话也没关系啦。本篇文章是代码中在centos7和win2012系统中将要检查的项目，参考CIS标准而来。
北京市金融工作局、中关村银行及腾讯公司领导共同发布金融安全大数据监管平台。...腾讯金融安全大数据监管平台作为国内有影响力的金融监管平台，由腾讯金融科技业务依托腾讯安全反诈骗实验室的“灵鲲金融安全系统”搭建，主要用于防范普惠金融走向普“恶”金融，专门打击以金融创新之名行诈骗之实的黑产行为...金融安全大数据监管平台结合腾讯的大数据、腾讯安全联合实验室反诈骗实验室AI技术优势，解决克服了监管科技历来存在的“数据（全网的底层数据）”、“算法（模型能力远超一般小公司）”、“计算力（服务器计算能力）...在打击金融黑产方面，腾讯金融安全大数据监管平台能有效阻止或拦截网络黑产向线上业务运营的转移。...金融安全大数据监管平台依托微信、QQ等强大的社交平台，及腾讯安全与网络黑产势力对抗十多年积累沉淀的大数据平台，采用基于金融犯罪样本挖掘金融风险并进行数据化、可视化的方式方法，以及建立从监测、分析、模型拟定
系统的解决大数据安全，必须建设一套符合大数据平台自身特点的事后安全审计体系，以统筹解决安全威胁，并进行系统性的安全威胁消除。...通过借鉴国内外大数据平台安全体系建设经验，参考业界前沿的安全技术手段和经验，我们提出了数据安全审计层进建设体系。该体系以组织架构为基础，通过组织架构的信息需求，建立大数据安全审计框架。...该安全审计框架自底向上依次建设“内容计算层、要点审计层、目标分析层”，并在建设过程中引入AI技术，构建基于AI技术的数据安全审计平台。...2.png 0x01 运用聚类算法DBSCAN对关键风险进行独立初筛 步骤一：DBSCAN通过检查数据集中每点的Eps邻域来搜索簇，如果点p的Eps邻域包含的点多于MinPts个，则创建一个以p为核心对象的类...实现了探测引擎的安全稳定持续可靠运行。
理解中间件 一次web访问的顺序，web浏览器->web服务器（狭义）->web容器->应用服务器->数据库服务器 web服务器 广义：提供广义web服务的软件或主机 狭义：提供w3服务的软件或主机，即...以后默认会有一个管理页面，管理员只需要远程上传一个WAR格式的文件，便可以将内容发布到网站，这一功能方便了管理员的同时也给黑客打开了方便之门，除此之外，tomcat还有一些样本页面，如果处理不当也会导致安全问题...管理后台爆破 一般tomcat后台登录口不做任何安全处理，可以无限次尝试登入。...中的帐号密码（越复杂越好） 2 升级tomcat版本 3 删除远程部署页面 Jboss漏洞与防护 Jboss简介 JBoss这是一个基于JavaEE的应用服务器，与tomcat类似的是jboss也有远程部署平台...p=1548 安全防护 1 后台登录限制IP 2 加大密码复杂度 IIS漏洞与防护 IIS简介 IIS是微软的一款web服务器，其配置不当容易产生webdav漏洞。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
