mantou大数据-腾讯云开发者社区

开发者社区

文档建议反馈控制台

腾讯云架构师技术同盟

文章/答案/技术大牛

发布

mantou大数据

大数据，机器学习

专栏成员

31

文章

56483

阅读量

31

订阅数

Hadoop - YARN Introduce

yarn node.js 容器任务调度 hadoop

ResourceManager（RM）是一个全局的资源管理器，负责整个系统的资源管理和分配，主要包括两个组件，即调度器（Scheduler）和应用程序管理器（Applications Manager）。

2019-08-20

7040

越来越火的图数据库究竟是什么

apache 存储大数据数据结构数据库

既然图数据库应用这么广泛，越来越多的企业和开发者开始使用它，那它究竟什么过人之处呢，下面我们来揭开它的神秘面纱。

2019-03-14

2.3K0

JVM GC知识回顾 1.分代收集2.分区收集

当前主流VM垃圾收集都采用”分代收集”(Generational Collection)算法, 这种算法会根据对象存活周期的不同将内存划分为几块, 如JVM中的新生代、老年代、永久代. 这样就可以根据各年代特点分别采用最适当的GC算法:

2019-02-13

2.3K0

【Elasticsearch全文搜索引擎实战】之Filebeat快速入门

kafka Elasticsearch Service 容器镜像服务

用过ELK（Elasticsearch, Logstash, Kibana）的人应该都面临过同样的问题，Logstash虽然功能强大：支持许多的input/output plugin、强大的filter功能。但是确内存占用会非常大。还有种情况（我就是orz...），在Logstash 5.2+版本中，input plugin使用Log4j，必须使用filebeat，并且只支持log4j 1.x版本。了解到filebeat已经支持filter和不少的output plugin，果断转投fielbeat阵营。

2019-02-13

9470

【Elasticsearch全文搜索引擎实战】之Head插件实践简介1. ES 5.0+ 版本Head插件安装2. 配置3. 启动4. 访问5. 安全问题（严重）6. 小结

npm Elasticsearch Service 搜索引擎 grunt git

Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。它可以快速地储存、搜索和分析海量数据。维基百科、Stack Overflow、Github也都采用它做的搜索。更多Elasticsearch的相关知识，请阅读官网《Elasticsearch: 权威指南》。

2019-02-13

1.1K0

Git快速入门

git github 开源编程算法 windows

git是一个分布式版本控制软件，最初由林纳斯·托瓦兹（Linus Torvalds）创作，于2005年以GPL发布。最初目的是为更好地管理Linux内核开发而设计。Git可以在任何时间点，把文档的状态作为更新记录保存起来。因此可以把编辑过的文档复原到以前的状态，也可以显示编辑前后的内容差异。而且，编辑旧文件后，试图覆盖较新的文件的时候（即上传文件到服务器时），系统会发出警告，因此可以避免在无意中覆盖了他人的编辑内容。

2019-02-13

6660

Git Workflow简介

Git Flow是构建在Git之上的一个组织软件开发活动的模型，是在Git之上构建的一项软件开发最佳实践。Git Flow是一套使用Git进行源代码管理时的一套行为规范和简化部分Git操作的工具。

2019-02-13

7950

BinderPool — Andorid端的“服务发现治理工具” 1. 背景2. AIDL3. Binder 连接池1.4 Binder客户端1.5 总结

随着公司业务的发展，项目规模会越来越大，可能会遇到多多服务IPC的场景，有很多模块，而每一个模块都需要和服务端通讯，那么我们也要为每一个模块创建特定的AIDL文件，那么服务端service也会产生很多个。作为四大组件之一，过多使用也会造成性能资源消耗。所以我们可以设计只有一个Service，对于不同可客户端我们只是去返回一个不同的Binder即可，这样就避免了创建了大量的Service。

2019-02-13

5820

Spring Cloud Consul入门 1. Consul介绍2. 安装3. 启动Consul4. 使用SpringCloud Consul组件

dns spring spring boot spring cloud http

Consul是一套开源的分布式服务发现和配置管理系统，支持多数据中心分布式高可用。Consul是HashiCorp（ Vagrant的创建者）开发的一个服务发现与配置项目，用Go语言开发，基于 Mozilla Public License 2.0 的协议开源。

2019-02-13

1.2K0

使用Atlas进行元数据管理之容错和高可用

Apache Atlas使用各种系统并与之交互，为数据管理员提供元数据管理和数据血缘信息。通过适当地选择和配置这些依赖关系，可以使用Atlas实现高度的服务可用性。本文档介绍了Atlas中的高可用性支持状态，包括其功能和当前限制，以及实现此高级别可用性所需的配置。

2018-12-21

1.5K0

使用Atlas进行元数据管理之Atlas简介

企业安全开源 hadoop apache

谈到数据治理，自然离不开元数据。元数据(Metadata)，用一句话定义就是：描述数据的数据。元数据打通了数据源、数据仓库、数据应用，记录了数据从产生到消费的全过程。因此，数据治理的核心就是元数据管理。

2018-12-14

4.3K0

使用Atlas进行元数据管理之Type(类型)

[0] - 使用Atlas进行元数据管理之Atlas简介 [1] - 使用Atlas进行元数据管理之Glossary(术语) [2] - 使用Atlas进行元数据管理之Type(类型)

2018-12-14

2K0

【元数据管理】Atlas术语(Glossary)

数据库 NLP 服务企业 apache

Atlas的术语表(Glossary)提供了一些适当的“单词”，这些“单词”能彼此进行关连和分类，以便业务用户在使用的时候，即使在不同的上下文中也能很好的理解它们。此外，这些术语也是可以映射到数据资产中的，比如：数据库，表，列等。

2018-12-13

2.8K0

【大数据安全】基于Kerberos的大数据安全验证方案

互联网从来就不是一个安全的地方。很多时候我们过分依赖防火墙来解决安全的问题，不幸的是，防火墙是假设“坏人”是来自外部的，而真正具有破坏性的攻击事件都是往往都是来自于内部的。

2018-12-06

1.2K0

【大数据安全】基于Kerberos的大数据安全方案

互联网从来就不是一个安全的地方。很多时候我们过分依赖防火墙来解决安全的问题，不幸的是，防火墙是假设“坏人”是来自外部的，而真正具有破坏性的攻击事件都是往往都是来自于内部的。

2018-11-05

2.1K0

【大数据安全】CDH集群禁用Kerberos

大数据安全 kerberos linux 容器镜像服务

在调试Kerberos的时候可能会有需要禁用的场景。以下是各组件禁用Kerberos的相关配置。

2018-10-10

1.4K0

【大数据安全】Apache Kylin 安全配置(Kerberos)

大数据安全 apache kerberos 开源

本文首先会简单介绍Kylin的安装配置，然后介绍启用Kerberos的CDH集群中如何部署及使用Kylin。

2018-10-10

1.5K0

【大数据安全】Kerberos集群安装配置

大数据安全 kerberos

Kerberos是一种计算机网络认证协议，它允许某实体在非安全网络环境下通信，向另一个实体以一种安全的方式证明自己的身份。它也指由麻省理工实现此协议，并发布的一套免费软件。它的设计主要针对客户-服务器模型，并提供了一系列交互认证——用户和服务器都能验证对方的身份。Kerberos协议可以保护网络实体免受窃听和重复攻击。

2018-08-11

1.9K0

MacOS多版本Python切换方案

1. 安装homebrew 官网 http://brew.sh/index_zh-cn.html 打开终端，在终端中粘贴如下脚本 /usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)" 测试是否安装成功在终端中输入 brew -v 出现类似提示，即代表安装成功 Homebrew 0.9.5 (git revision 1021; last commit 2016-0

2018-06-14

5.9K0

深入浅出JWT(JSON Web Token )

json 安全编程算法

JSON Web Token（JWT）是一个开放式标准（RFC 7519），它定义了一种紧凑（Compact）且自包含（Self-contained）的方式，用于在各方之间以JSON对象安全传输信息。这些信息可以通过数字签名进行验证和信任。可以使用秘密（使用HMAC算法）或使用RSA的公钥/私钥对对JWT进行签名。

2018-05-05

4.1K5

点击加载更多

社区活动

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·干货材料·成员作品最新动态