本文最初发布于gvnshtn.com网站,经原作者授权由InfoQ中文站编译并分享。
Maersk(马士基)是全球最大的航运和集装箱物流综合公司。我非常荣幸地成为了他们的身份控制和访问管理(IAM)主题专家(SME),以及后来的IAM服务负责人。2017年,我和公司其他几十人一起应对了广为人知的notPetya恶意软件攻击事件。
这篇文章的目的是分享一些我们的经验和教训,以便给后来者参考。攻击是迟早会发生的,诚然我们有很多先进的装备,但很多组织从一开始就做错了。
这个故事涉及2015年到2019年我在Maersk的经历,其中包括notPetya事件和恢复工作,以及我最后离开前加入控制和保护措施的事情。
我从2015年初开始在Maersk工作。Maersk历史悠久,他们的IT部门有一点很有趣,就是他们在整个集团中交付IT服务的方式。当时,这个组织分散为服务于不同部门(物流、能源、运输)的多个业务部门。以前,每个业务部门都有自己的IT。但由于Maersk航运公司(运输业务)是其中最大的,其IT部门自然也最为强大,并已开始向其他业务部门提供一些共享的IT服务。在经过数年的政治和权力斗争后,Maersk的能源业务被出售,公司将资源集中在运输和物流上。与此同时,IT也逐渐集中化,组织的最高层建立了数字和云优先战略。
一开始,我参与了一个项目。公司彼时在通过一个著名的身份和访问管理(IAM)产品将共享的HR系统插入Active Directory,这款产品有一些向导式自定义Web服务和数据库后端服务来方便集成。项目的参与者包括英国和丹麦的同事,横跨IT、HR等业务部门,IAM技术要素则由微软提供支持。这个项目持续到2015年底,走过了一场艰辛的旅程。我们的资源有限,但在所有人的努力下解决方案的进展很快。
Maersk有着令人自豪的历史,它成绩斐然,是很好的工作场所,而这个项目让我感受到了家的温暖。上线任务是在几个周末内完成的,我们花了几个小时进行了一些真正的冒险,包括在凌晨3点以物理方式“闯入”存在问题的旧服务器!最终,解决方案成功上线,在大约六万活跃用户中,我们只错误地删除了一个帐户。好样的!
IAM项目的成功帮我在第一年的绩效评估中获得了最高分,我还参加了微软Ignite大会,给履历表又添了漂亮的一笔。
我在Maersk的工作主要是(现在称为)身份验证和安全项目:身份管理、特权访问管理、智能卡登录系统等。IAM系统现在可以处理典型的就职、调职和离职流程,那么我的下一个任务就是特权访问管理。在上一个项目中,我发现旧架构普遍不遵循最小特权原则。航运是一项庞大的业务,但利润相对较低。那时,IT一直被视作成本中心而非业务推动者。安全控制的优先权被高层排在了后面。我们的旧架构有多种安全部门,没有明确的主管,并且资金有限。
那时,我们本可以并且应该一直在应用一致的安全策略来控制帐户和访问的。你可以逐步推进变革。你也可以应用新标准并为它构建服务,然后随着时间的推移升级更多服务,最后你的旧系统要么焕然一新,要么死掉。你获得的预算越多,流程就越快。一些控制策略的典型例子包括:
列表很长,但这只是基本的Microsoft安全基准或分层访问模型的内容。
在此期间,我们的MSP试图推销一款特权访问管理(PAM)产品,以对用于访问我们MSP托管系统的MSP凭据进行凭据循环控制;一直以来,我们都在所有Maersk MSP托管的服务器上,将一个充满所有Maersk和MSP成员的活动目录(AD)组放入本地管理员组。这还不够。除了访问风险(不考虑凭据),那些非MSP托管包该怎么办?因此,我也在同时推动IAM解决方案的PAM组件作为替代方案。
我一厢情愿地认为公司应该用上一些行业水平的东西,但败在了成本管理政策下,毕竟我的后兜里没有几百万美元!
当我在特权访问项目上四处碰壁时,我们也在同时做其他事情。我们将运营团队移交给新的供应商;Maersk收购Hamburg Sud时,我们参与了一些有趣的合并活动;邮件自动化正在进行中……生活很美好。
在遥远的土地上,俄罗斯黑客一直在攻击乌克兰。在乌克兰运营的所有企业通常都使用某款财务应用程序。攻击者已经黑掉了应用程序的供应商,并将notPetya恶意软件注入到它的软件更新中。尽职尽责的财务人员在不知不觉中开门放进了一款破坏力极大的恶意软件。
在2017年6月27日,问题突然爆发!
大约上午10点,我们正在一个玻璃墙会议室开会。外面的人开始躁动起来,可能发生了一些小故障。然后,一些愤怒的人走进来把我们揪出去做事,我们才意识到:办公室里的一些工作站似乎挂掉了。不,不仅仅是我们的办公室。在全球范围内,所有设备正在逐渐完蛋。服务器呢?域控制器不见了?天哪……几个小时内,我们就损失惨重。这影响了地球上每台加入域的Windows笔记本电脑、台式机、虚拟机和物理服务器。
这家组织刚刚被送回黑暗时代!
Maersk全球所有设备屏幕上的画面,2017年6月27日
灾难临头,你会怎么做?对许多人来说,这会是一次灭顶事件。对我们来说,幸运的是,Maersk有很多资源可用。
让我大开眼界的是,我们甚至都不是目标。至少对我来说,这是一个巨大的惊喜。我一直认为网络攻击在某种程度上是针对性的。但是现代网络战极为残酷,没有俘虏。因此不要心存幻想,你可能不相信自己正面临很大的风险,但你遭受的灾难甚至可能与你无关。如果你从互联网接收数据(当然是对的),那么最好密切注意所有这些信息。网络攻击以前并不罕见,但是在COVID-19时代,私人和国家赞助的网络攻击已大大增加。这是做一些基本的防御行动的最佳时机。也许你很幸运,从未经历过严重的恶意软件攻击,但它们随时都可能来到你面前。攻击者不在乎范围,不在乎容量规划或预算,当然也不在乎你。你需要做好准备!
notPetya恶意软件很罕见。通常情况下,被恶意软件入侵时,你会看到设备被加密,并带有一条消息要求你支付赎金。很多组织(约50%)会屈服,让这类攻击更为猖獗。但notPetya并非如此,没有人需要付费,它的设计纯粹是要搞破坏,也的确达成了目标。
在Maersk,之前没有一致的安全基准。有一些模糊的书面政策,但基本上被忽略了。使用普通生产力帐户在工作站甚至服务器上执行管理任务的行为很常见。服务器管理员拥有对大量系统的长期管理访问权限,即使在我们开始采用云IaaS的业务里面管理得更好的部分中也是如此。域管理员不是很多,但它们会被用来在各种设备上执行管理任务。服务帐户通常会被授予本地管理员组成员资格,而不是适当地委派权限。服务帐户也会由多个应用程序共享。这些行为并非Maersk所独有,在你自己的组织中也很可能很普遍。这些现象是许多(即使不是大多数)组织仍在承担的风险。
由于notPetya已通过财务软件包更新找到了立足点,因此notPetya使用常见的凭据传递技术在整个组织中水平扩散,并垂直传播到服务器和域控制器中。由于组织缺乏标准化和一致的特权访问控制机制,使notPetya得以轻松击溃Maersk。
是的,网络分段之类的方法将有助于减缓传播速度。SOC之类的事情将帮助我们在审判日到来之前看到活动。补丁绝对是有帮助的。但是最终,我们未能解决的基本风险是特权访问的管理机制。
那是不得不咽下的苦药。我一直在组织内宣传的控制机制本可以让Maersk免受冲击。但是我敢打赌,并不是只有我对这件事上心了,而且绝对没人对我指手画脚。接下来的几个月,我加入公司以来就一直希望采取的措施都被开了绿灯。真是令人感慨,严重的网络攻击竟然能推动那么多事情。
在事件发生后的前几周,一切工作都围绕着恢复Active Directory展开。问题是Active Directory已在全球范围内跨数百个域控制器部署,可是灾难恢复流程只应对过一个站点或一个数据中心的丢失情况。应急计划中没有任何内容写的是“我们一夜之间就在所有位置失去了一切”。
经过Maersk、微软和我们合作伙伴的艰苦努力后,我们恢复了目录服务。这涉及一些源代码级别的操作,人们带着各种各样的数据和设备在世界各地飞来飞去。这段经历让我想起了美剧《24小时》,只是没有紧张的配乐罢了,而且用时显然不止24小时!
事件发生后的几个月间,加班已是司空见惯
当第一个域控制器恢复时,它是跑在一部Surface Pro4上的。当一切恢复到某种程度的常态时,我们基本上是就把它留在了底座上。
身份验证服务团队齐心协力。来自运营、工程、架构师和经理、合作伙伴和供应商……所有人都在紧密合作。然后,我们分成了几个战术小队,在办公室拐角处用一块巨大的白板隔开来。为了完成任务,我们让人轮班坐在白板旁,对来自业务或其他应用团队的问题或需求进行分类,而让其余团队成员着手处理当前任务。
目录本来应该消失了。我敢肯定,大多数组织都会建立一个全新的目录,但是我们非常幸运,不必一切从头来过。可是所有这些都是要付出代价的。人们在办公室吃饭和睡觉,公司预订了附近每一个酒店房间。人们因为太累而只能打车上班。对于某些人来说,这种情况持续了数周甚至数月。事件不仅影响了一线人员,还影响了职业生涯、家庭、生活。
你们不会想经历同样的灾难的。
在我们恢复服务期间,公司四巨头之一也下来了。高层人员四处奔波,做笔记,参与会议,影响决策。
微软还提供了出色的领导力,帮助我们快速部署了Privileged Access Workstation(PAW)——特权访问工作站和Tiered Access Model(TAM)——分层访问模型。这些技术是微软网络安全参考架构(CSRA)的重要功能,组织应对此予以密切关注。而且其成本确实并不是很高。TAM(以及扩展的PAW)更主要是要建立你缺失的流程,提供清晰度、确定界限和设定期望。你可能还需要少量额外设备来处理访问权限。
这里的投资收益是不可小觑的。你花的那些钱都会有回报,它们可能阻止了类似攻击的发生。
重点在于快速行动。找到正确的人授权他们去做事,出错也可以快速修正。不要浪费漫长的时间讨论快要过时的主题,那样效率太低了。
当时,一项积极的决策是加速Windows 10的部署。在遭受攻击时,组织已经完成了创建新的Windows 10版本的流程。由于所有工作站都需要重建,自然就用不着回退到Windows 7了。所有设备都被仔细检查过,而且所有本地管理员特权实例都消失了。
非常好的是我们在客户端上建立了安全基准。实际上,不再有人会获得永久管理权限,压根就不会拿到这种权限。TAM正在融入系统。
还好我们之前迁移到了带有密码哈希同步(PHS)的Azure AD单点登录(SSO)上。这意味着人们仍然能够登录Azure AD并访问Office365等基于云的SaaS应用程序!
使用带有PHS的Azure AD SSO,你可以获得:
你可能会担心这一阶段的“密码哈希同步”。其实,哈希在任何意义上都是不可逆的,并且你不是将密码存储在云中,不是在同步密码。
我们很快就构建了PAW和TAM的基本骨架。这样一来,当应用程序开始重新进入环境时,我们就可以发出权威的声音了:你需要一级管理员ID;不,你不应该使用旧的共享服务帐户,等等。麻烦的是这些要求必须是领导层给出的,而有时领导层并不那么重视安全性,他们更想快点恢复业务。这是一场漫长的拉锯战。
下图是我们讨论事情进展时常用的一张图:
香肠工厂,改正错误。
香肠工厂图显示了我们是如何部署TAM的,其中包括工作站、服务器和域控制器的典型三层架构。我们将域控制器和Windows 10资产内置到TAM中,并嵌入所有关联帐户。但是,所有要还原的服务器,以及一些虚拟化Windows 7系统仍处于不良状态。
显然,我不会讨论解决方案的细节,也不会讨论其部署方式。但是我确实需要谈一些使我措手不及,并最终导致我离开组织的因素。
notPetya事件发生时,我是IAM平台的服务负责人。事件后,高层意识到了“PAM”问题并将其提到了很高的优先级上。组织引入了外部影响力,不幸的是它们还能影响最顶层领导的决策。
任何安全控制都不是孤立存在的。为了解决给定的威胁,需要一种分层的方法。美国国家标准技术研究院(NIST)列出了以下五项原则:
识别∙保护∙检测∙响应∙恢复。
显然,此次攻击对Active Directory和加入域的系统影响最大。缺乏一致应用的安全基准和流程是一个很大的漏洞。公平地说,一旦选择并部署了PAM产品,我们就会尽快保护域管理员、企业管理员等凭据的密钥。但是就控制而言,光是有工具是不够的,还要知道它们已经用在了哪些地方,知道哪些地方没有用上,并能够对这些情况做出回应,必须确保你已涵盖了这五条原则。
我们要建立良好的状态,然后将系统过渡进来。我们大力发展安全信息和事件管理(SIEM)功能,因此“检测和响应”原则没什么问题。我们在AD中配置各种工件(帐户、组、组织单位、组策略),然后将系统移入其中并执行应用程序级配置。最后,支持流程将处理其余的工作。
旧的管理员帐户还是可以访问未迁移到TAM中的内容,保留它们纯粹是为了访问尚未修复的“陈旧”系统,然后在不再需要访问时将其删除。
我们四大咨询公司的朋友被催着快点交付。他们有一个在纸面上令人印象深刻的想法——将所有管理帐户都放到PAM解决方案中。这是有问题的:
可是这个主意得到了高层认可,反对无济于事。到2018年底,我已经无能为力。
2019年初,我妻子想要来一场旅行,我请假没成,最后决定辞职。我设法在离开前向高层传达我的担忧,想要最后纠正一些事情,只是这些努力最后都失败了。于是,我和家人开始了欧洲之旅。
你和你的组织可能也有类的经历。所有类似的攻击事件背后的原因都差不多。任何组织都不应以自己不会成为下一个目标为前提假设。攻击者明天就可能上门,不要让他们轻松得手。管理和保护你的身份和访问权限。
对于领导层来说,不要只看同行或中层管理人员的那些美好的故事。坐下与一线员工交流,倾听他们真实的想法。这将在组织上下建立信任。你需要相信专业人士,而人们则需要相信领导者能够理解并代表他们。
组织对IT的重视程度越低,相关人员的话语权就越少。IT安全措施是培养员工过程的一部分。听取员工的意见来帮助和保护他们,保持公开对话。
关键在于做出决定并采取行动。决策不必一成不变,事情不一定是完美的。这就是行业现在的运作方式。
无论你处于组织的哪个级别,都可以做一些事情来为最坏的情况作准备。
这可能是全文最重要的部分……
基础工作很简单。设置规则,按照这些规则构建系统,并逐步迁移或淘汰旧系统。但是不要光说不练,见到火星就应该扑灭它。
为所有人启用MFA并强制执行,不要亡羊补牢。在2020年,它是抵御当今威胁的基本保护措施。那些已有20年历史的Active Directory密码策略都是自欺欺人。
Azure AD密码保护是一种简单的、维护成本较低的方法。它将检测出用户使用公用密码的企图并阻止他们。
强制执行MFA并设置了密码保护后,NCSC和微软现在建议我们不用再要求密码复杂度了。我们可以移除密码过期限制并将密码长度缩短到8个字符。
如果你有预算,请申请AAD P2或M365 E5许可证。如果登录看起来很奇怪,即使在通常不需要MFA的情况下它也会强制执行MFA。如果凭据被泄漏到了暗网,那么它就会强制重置密码。如果你预算不够,至少要有compromised creds report,让人每天看一遍报告。但这里的前提是需要启用Azure AD密码哈希同步(PHS)。
如果你的管理员习惯于随时访问所有内容,那么现在正是他们改掉坏习惯的时候了。
Windows的所有版本都有一套称为用户帐户控制的基本策略。你需要在整个组织中一致地使用这些控制策略。至少你应该:
要做的工作总是很多的,但我建议你将上述策略作为一个不错的起点。是的,这些听起来很困难,很昂贵,需要很长时间。是的,我们随时都需要访问这访问那。
但失去一切的后果更为严重,将付出更多代价,并且将花费更长时间,让人们的工作和人际关系变得更糟。这些是基础工作,就像锁上前门,或在银行卡上输入PIN码一样。不管怎样,更新这些规则,安排好你的流程。在几十年的权限滥用之后,人们已经习惯了无限制地不断访问所有内容。在2017年6月,Maersk为此付出了惨痛代价。很多组织依旧在重蹈覆辙,但改变其实是很简单的,只要开始行动就够了。拥有的权限越多,承担的责任也就越重,迟早令人无法承受。
我敢打赌,你的组织并没有什么不同。滥用权限为用户带来了不错的体验,但也对坏人敞开了大门。你的用户和管理员需要了解他们的帐户对组织构成了明显的威胁,并且每个人都需要介入以帮助限制这些威胁。
这篇文章专注于身份和访问控制主题。但是安全环境的其他方面也是同样重要的:
延伸阅读:
原文链接:
领取专属 10元无门槛券
私享最新 技术干货