现象: kafka磁盘目录撑爆 kafka起不来，zk的文件EOF错误 解决: 删除 /var/lib/zookeeper/version-2文件夹 创建version-2文件夹 修改用户用户组 zookeeper 启动 总结: 监控很重要，稳稳的消费

这个问题是在Spark读取Lzo压缩文件的时候碰见的，Spark读取Lzo压缩文件的时候，就算文件添加了索引，也不能分片，原因是要在获取文件的时候使用newAPIHadoopFile算子读取文件获取rdd val rdd = sc.newAPIHadoopFile(in, classOf[LzoTe ...

Producer: acks: all buffer.memory: 536870912 compression.type :snappy retries: 100 max.in.flight.requests.per.connection = 1 batch. ...

原文：https://databricks.com/blog/2015/07/15/introducing-window-functions-in-spark-sql.html 在这篇博客文章中，我们将介绍Apache Spark 1.4中添加的新窗口函数特性。窗口函数允许Spark SQL的用户 ...

原文：https://blog.cloudera.com/orcfile-in-hdp-2-better-compression-better-performance/ 即将发布的Hive 0.12将在存储层带来一些新的重大改进，包括更高的压缩和更好的查询性能。 高压缩ORCFile是在Hive ...

Kafka交付语义的前半段producer：ack=all retries=100 无需关心，关键在于后半段consumer的offset如何选择！ 我司是 MySQL–>maxwell–>kafka–>ss+phoenix–>phoenix+hbase架构，那么在设计 ...

目录 Kafka batch相关 partition数据迁移 删除topic后遗症 Kafka batch相关在创建topic的时候需要设置两个值，分别是partitions数量和replication-factor副本数量，这两个参数分别代表kafka的吞吐量和设定副本数维护Kafka的可靠性。 ...

Kafka架构通过多个Partition提高并发，Producer生产数据的时候默认使用Hash发送数据到每个Partition，这样就造成了消费数据的时候只能保证分区内有序，而分区间无序(每个partition是一个有序的队列)。 现象最直接的现象就是kafka消费乱序，造成日志处理的先后顺序发生 ...

第一步：下载redis安装包(整个安装流程建议在root用户下完成)wget http://download.redis.io/releases/redis-5.0.5.tar.gz [root@hadoop local]# wget http://download.redis.io/release ...

1.kafka+zookeeper准备这里假设你已经把kafka+zookeeper安装完成，但是需要注意的几点是：1.kafka需要开启JMX端口 找到kafka安装路径，进入到bin文件夹，修改下面的地方。 vi kafka-server-start.sh...if [ "x$KAF ...