归档: 2019/6
共 10 篇文章
共 10 篇文章
问题出现的背景目前在使用Hive查数据的时候，同事们更多的是选择Hue平台，但是也会有熟悉Hive的同事直接使用Hive Cli来完成数据的查询，来看具体的Running进度，但是遇到这种Hive Cli卡住的情况，我也是第一次遇到。首先想到的则是 Hive 服务是否还健康，去Ambari看了下Hi
将Hadoop源码下载到本地后，直接用Vs Code打开，起初我是想通过IDEA，一边Debug，一边看源码的执行流程，但是Maven依赖总出问题，后来索性还是直接用Vs Code生撸吧，我选择的版本是Hadoop 2.9.2从提交任务开始路径：hadoop-2.9.2-src/hadoop-map
最近公司大数据集群要迁移到腾讯云，由原来的HDP版本+物理机的模式，要切换到EMR+COS（对象存储）存算分离模式，那么存算分离到底是什么呢？Hadoop一出生就是存储与计算在一起的，前几年面试题中都问，Hadoop怎么保证高性能呢？其中一个原因是数据不动，计算(code)动。如今，到了计算与存储分
在实时计算的场景下，绝大多数的数据源都是消息系统，而 Kafka 从众多的消息中间件中脱颖而出，主要是因为高吞吐、低延迟的特点；同时也讲了 Flink 作为生产者像 Kafka 写入数据的方式和代码实现。将从以下几个方面介绍 Flink 消费 Kafka 中的数据方式和源码实现。Kafka 连接 F
最近公司的小伙伴基本上都在用Hive来查询数据，毕竟对于后端程序员来讲更为熟悉的还是像MySQL，Oracle这样的数据库，虽然Hive中的SQL标准和上面两者很相似了，但是还有些差别的，这也造成了同事们的水土不服，其中就有关于Hive判空的操作，那这里就记录一下Hive的Nullhive的使用中对