下载地址：http://archive.cloudera.com/kafka/kafka/4/kafka-2.2.1-kafka4.1.0.tar.gz 解压 tar -zxvf kafka-2.2.1-kafka4.1.0.tar.gz -C ../app 在部署kafka之前 ，检测zoo ...

在使用Flume传输数据的时候，需要注意几个字段 我们这里使用的是flume传输到hdfs 参数：hdfs.fileType 指定的数据传输类型，默认SequenceFile，如果直接传输本文本数据，则会乱码。在传输文本数据的时候它的值要修改为DataStream 而现在根据我们的错误提示就知道我们 ...

目录 jvm命令 jvm的运行时数据区 jvm会发生哪些ERROR 从一个class出发理解数据区 jvm命令JVM参数类型 标准: 稳定的，长期没有变化 X: 相对变化较少的 XX: 变化较大，JVM调优重点 设置参数时，idea指定在VM options里面，命令行直接加在java命令后 j ...

第一步，我们要打开azkaban的官网，配置一些文件和参数，如图所示 将spark、common.properties、commonprivate.properties拷贝到服务器中对应的目录，最终的文件展示如下 [hadoop@hadoop jobtypes]$ tree.├── commonp ...

如果WEB UI界面或者程序日志里面看不到错误，使用以下方式查看日志 yarn logs -applicationId application_1585536649766_xxxx 错误1 Error: Could not find or load main class org.apache. ...

在进行MR编程时，除了需要拿到HDFS上面的数据，有时候还需要Driver和Mapper或者Reducer之间进行参数传递 先看看我碰到的问题 在Driver中配置向Conf中配置了参数，在Mapper中从Context中拿出来的却是null值，问题出现在Job.getInstance() 中没 ...

Java内存模型其实就是围绕着在并发过程中如果解决原子性、有序性和可见性的通信规则 主内存与工作内存Java内存模型的主要目的就是定义程序中各种变量的访问规则，即关注在虚拟机中把变量存储到内存和从内存中取出变量这样的底层细节。 此处的变量指的是包括了实例字段，静态字段和构成数组对象的元素。但不包括 ...

从错误消息中，可以看到使用的虚拟内存超过了当前1.0gb的限制。这可以通过两种方式解决： 禁用虚拟内存限制检查 YARN只会忽略该限制；为此，请将其添加到您的yarn-site.xml： <property> <name>yarn.nodemanager.vmem-chec ...

Exception in thread "main" java.io.FileNotFoundException: File does not exist: /data/dept.txt#dept.txt 先去HDFS上确定文件是否存在，文件不存在，put文件上去，再次运行 E ...

目录 闭包 方法与函数的区别 柯里化 闭包说到柯里化必先说起闭包，我们先不关心闭包和柯里化是什么，而是看一个transformation val list = List(1, 2, 3, 4, 5, 6)val init:Int = 10val i = list.foldLeft[Int](ini ...