Error: java.io.IOException: Invalid LZO header

在使用Flume传输数据的时候,需要注意几个字段

我们这里使用的是flume传输到hdfs

参数:hdfs.fileType 指定的数据传输类型,默认SequenceFile,如果直接传输本文本数据,则会乱码。在传输文本数据的时候它的值要修改为DataStream

而现在根据我们的错误提示就知道我们使用了Lzo压缩,所以需要把它的值修改为CompressedStream,即可解决问题。

Name Default Description
hdfs.fileType SequenceFile File format: currently SequenceFile, DataStream or CompressedStream (1)DataStream will not compress output file and please don’t set codeC (2)CompressedStream requires set hdfs.codeC with an available codeC

还需要注意的一个参数是:hdfs.codeC ,在使用flume时,可以将数据压缩输出,它的值可选为gzip, bzip2, lzo, lzop, snappy

lzop的后缀是lzo

lzo的后缀是lzp.default


还是要熟悉一下flume的文档。。。hdfs

Author: Tunan
Link: http://yerias.github.io/2020/04/18/error/6/
Copyright Notice: All articles in this blog are licensed under CC BY-NC-SA 4.0 unless stating additionally.