share ai happiness-腾讯云开发者社区

开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

share ai happiness

专栏成员

77

文章

75753

阅读量

13

订阅数

精简版 — Hive开发常用操作

直接使用cross join关联只会分配一个reduce，导致耗时严重，因此我们可以将小表扩充一列，并且复制n倍，然后进行left join操作。这样扩充几倍，就会分配几个reduce。

2023-02-25

1.3K0

灵魂拷问JVM，你被干趴了吗

jvm 编程算法 java jar

jvm将.class类文件信息加载到内存并解析成对应的class对象的过程，注意：jvm并不是一开始就把所有的类加载进内存中，只是在第一次遇到某个需要运行的类才会加载，并且只加载一次

2023-02-25

2400

什么是数据湖？

数据湖大数据数据处理编程算法存储

数据存储是人类千百年来都在应用并且探索的主题。在原始社会，人类用树枝和石头来记录数据。后来，人类制造了铁器，用铁器在石头上刻画一些象形文字来记录数据，而此时，语言还没有形成，人们记录的东西只有自己才可以看懂。从使用树枝和石块记录数据和用铁器在石头上刻画一些形象文字，到通过竹简和纸张，再到通过计算机保存在软盘，硬盘等设备上。随着技术的发展，信息数据的量越来越大和复杂度越来越高。特别是在近几十年，数据已经呈几何指数增长，早在2012年，就已经宣称大数据时代到来。随着物联网的普及，越来越多的数据将被生产出来。

2023-02-25

9910

《hive编程指南》读书笔记：模式设计

存储 hive jvm 文件存储

按天划分表就是一种模式，每天一张表的方式在数据库领域是反模式的一种方式，按天划分的表建议使用分区表，hive通过where子句中的表达式来选择查询所需要的指定的分区，这样查询执行效率高。

2023-02-25

3600

（学习之路）Hive数据倾斜解决办法

hive mapreduce 文件存储

hive是基于大数据开发的一组用于数据仓库的api，其主要功能是将HQL(HIVE SQL)转换成MapReduce执行。所以对hive的优化几乎等于对MapReduce的优化，主要在io和数据倾斜方面进行优化。

2023-02-25

1.1K0

《大数据之路》读书笔记：维度设计

存储编程算法

维度是维度建模的基础和灵魂。在维度建模中，将度量称为“事实”，将环境描述称为“维度”，维度是用于分析事实所需要的多样环境。

2023-02-25

8320

安装 | 企业版CDH服务器集群配置(详细)

云数据库 SQL Server centos windows yum 专用宿主机

此方案为暂定方案，有可能会变更。如果直接使用CDH会更加方便，但是如果进行自行配置，需要做实验。

2022-04-14

3.4K0

【推荐】Spark知识点

spark java linux yarn node.js

客户那边需要快速出一个版本，开发的这块使用到的之前没怎么用过，比如用oozie调度spark程序时候，你可能在你本地调试代码没有问题，上传到集群上之后，运行就出各种错，加上我们使用的服务器配置很差，导致各种服务需要的资源都不都用，然后每天就是在各种配置，话不多说了，赶紧来复习一下spark；

2022-04-14

3600

Java中四种遍历Map的方式

编程算法 java

Map中采用Entry内部类来表示一个映射项，映射项包含Key和Value (我们总说键值对键值对, 每一个键值对也就是一个Entry)

2022-02-25

5230

安装 Anaconda 的正确姿势（带图)

python ide tensorflow

Win10下Anaconda、TensotFlow安装和Pycharm配置详细教程

2022-02-25

1.1K0

学了又忘又学的 LSTM RNN（二）

文件存储机器学习深度学习人工智能

在上一篇文章学了又忘又学的RNN（一）中回顾了什么是RNN，以及RNN和普通神经网络有什么不一样

2022-02-25

3000

学了又忘又学的 RNN（一）

深度学习机器学习人工智能神经网络

任务也涉及到NLP领域方面的知识，关于这个领域我就不做过多的介绍了，我也是个小白，现在连脚趾头都还没有迈过门槛

2022-02-25

2380

一文看懂机器学习指标（二）

这几天跑的模型是以论文摘要，说的再详细一些就是对摘要进行标记，然后用标记后的数据在模型中训练

2022-02-25

2590

一文看懂机器学习指标（一）

这几天在训练一个模型，模型结果中涉及到一些参数，不太理解什么意思，就差了一些资料

2022-02-25

4370

数据分析中常见的存储方式

存储 json 编程算法 hadoop numpy

CSV（逗号分隔值）是一种纯文本文件格式，用于存储表格数据（例如电子表格或数据库）

2022-02-25

2.7K0

简单聊聊分布式系统架构

运维负载均衡 spring 文件存储负载均衡缓存

架构解决的问题：结构拆分，就是把大的问题拆解成小的系统，然后把小的系统拆分成若干个层去实现。

2022-02-25

4860

力扣-反转链表

问题描述定义一个函数，输入一个链表的头节点，反转该链表并输出反转后链表的头节点。示例：输入: 1->2->3->4->5->NULL 输出: 5->4->3->2->1->NULL 限制： 0 <= 节点个数 <= 5000 有三种方案：使用栈解决双链表解决递归解决使用栈解决链表反转在面试中经常被问到。使用栈解决，具体流程如下：代码如下： public ListNode reverseList(ListNode head) { Stack<ListNode> stack =

2022-02-25

2080

一篇文章让你理解Java继承那些事

面向对象编程 java

继承是面向对象最显著的一个特性。继承是从已有的类中派生出新的类，新的类能吸收已有类的数据属性和行为，并能扩展新的能力。

2022-02-25

2210

金九银十，金三银四（下）

缓存数据库 sql 云数据库 SQL Server

MySQL日志主要包括查询日志、慢查询日志、事务日志、错误日志、二进制日志等。其中比较重要的是 bin log（二进制日志）和 redo log（重做日志）和 undo log（回滚日志）。

2022-02-25

5630

金九银十，金三银四（上）

全文检索编程算法 mvc mvcc 数据结构

所谓金九银十，金三银四，眼看十月份最后一天已经快要结束了，当初那个充满斗志，充满梦想的你在哪里？

2022-02-25

8130

点击加载更多

社区活动

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·干货材料·成员作品最新动态