Hive性能问题排查方式当我们发现一条SQL语句执行时间过长或者不合理时，我们就要考虑对SQL进行优化，优化首先得进行问题排查，那么我们可以通过哪些方式进行排查呢。 经常使用关系型数据库的同学可能知道关系型数据库的优化的诀窍 — 看执行计划。如Oracle数据库，它有多种类型的执行计划，通过多种执行 ...

背景一般在使用Spark的的时候通过 spark-submit.sh 配置 num-executors 显示的指定executor的个数。然后AppMaster会向资源调度框架如yarn申请资源，每个executor在yarn中以Container的形式存在。无论executor是否执行任务，都会占 ...

在第一次建立Hbase表的时候，我们可能需要往里面一次性导入大量的初始化数据。我们很自然地想到将数据一条条插入到HBase中，或者通过MR方式等。但是这些方式不是慢就是在导入的过程的占用Region资源导致效率低下，所以很不适合一次性导入大量数据。 总的来说，使用 Bulk Load 方式由于利用了 ...

概念Task(任务):Task 是一个阶段多个功能相同 subTask 的集合，类似于 Spark 中的 TaskSet (Stage)。 subTask(子任务)：subTask 是 Flink 中任务最小执行单元，是一个 Java 类的实例，这个 Java 类中有属性和方法，完成具体的计算逻辑。 ...

最近flink job出现了背压的问题, 后果是导致了checkpoint的生成超时, 影响了flink job的运行. 定位问题 flink的checkpoint生成超时, 失败: 查看jobmanager日志,定位问题: 找大神帮忙定位问题, 原来是出现了背压的问题, 缓冲区的数据处理不 ...

基本概念推迟窗口触发的时间，实现方式：通过当前窗口中最大的Event Time - 延迟时间所得到的Watermark与窗口原始触发时间进行对比，当Watermark大于窗口原始触发时间时则触发窗口执行！！！我们知道，流处理从事件产生，到流经source，再到operator，中间是有一个过程和时间 ...

Flink 认为 Batch 是 Streaming 的一个特例，所以 Flink 底层引擎是一个流式引擎，在上面实现了流处理和批处理。而窗口（window）就是从 Streaming 到 Batch 的一个桥梁。Flink 提供了非常完善的窗口机制，这是我认为的 Flink 最大的亮点之一（其他的 ...

引入hbase-flink的pom <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-hbase_2.12</artifactId> &l ...

底层利用的是MapReduce的InputFormat和OutputFormat批量读写HFile文件，最大提升性能。 Flink读取HBase数据import com.tunan.utils.HBaseUtilimport org.apache.flink.addons.hbase.TableIn ...

目录 State Backends State Backends用 Data Stream API 编写的程序通常以各种形式保存状态： 在 Window 触发之前要么收集元素、要么聚合 转换函数可以使用 key/value 格式的状态接口来存储状态 转换函数可以实现 CheckpointedFu ...