大数据本身就是一种资产,具有价值。由于大数据的存储资源和计算资源是有限的,在大数据的应用极其丰富之后,必然会出现“资源争用”等问题。这时,可以借鉴运筹学的方法,科学排布大数据的存储资源和计算资源,保证最紧要的业务应用能够优先获取资源,并优先产生计算结果。
运筹学是应用数学和形式科学的跨领域研究,利用统计学、数学模型和算法等方法,去寻找复杂问题中的最佳或近似最佳的解答。运筹学经常用于解决现实生活中的复杂问题,特别是改善或优化现有系统的效率。研究运筹学的基础知识包括实分析、矩阵论、随机过程、离散数学和算法基础等。其应用方面多与仓储、物流、算法等领域相关。
在大数据的数据仓库解决方案中,存储资源和计算资源十分珍贵,而企业的分析需求会越来越多,目前仅能靠人工粗放地管理数据仓库中的各种计算任务。像某电信运营商,随着市场压力的加大,来自市场分析的需求爆炸式增长,而系统的资源在一定时间内是非常有限的,不可能无限扩容。因此,如何安排这些来自业务部门的需求,合理调配系统计算资源,就成为摆在大数据管理者面前的突出问题。
在这个过程中,如果能够借助运筹学的方法论,就可以有效地分配系统资源,降低系统争用问题,实现大数据处理作业的精细化管理目标,实现大数据价值的最大化!
在基于 Hadoop 云计算的解决方案中,同样会面临类似问题,比如虚拟机的申请基于什么计算原则,是否仅仅依靠客户付费申请,如何能让 Hadoop 中每个计算节点的价值达到最大……同样可以借鉴运筹学的方法论。
在目前的大数据运营中,许多企业还没有进入到对大数据存储资源和计算资源的精细管理环节,但可以预见的是,在企业精细化管理过程中,大数据系统的计算压力会越来越大,如何更好地管理大数据资源的问题,迟早会摆在业界从业者的面前。
领取专属 10元无门槛券
私享最新 技术干货