在使用Flume传输数据的时候,需要注意几个字段
我们这里使用的是flume传输到hdfs
参数:hdfs.fileType 指定的数据传输类型,默认SequenceFile,如果直接传输本文本数据,则会乱码。在传输文本数据的时候它的值要修改为DataStream
而现在根据我们的错误提示就知道我们使用了Lzo压缩,所以需要把它的值修改为CompressedStream,即可解决问题。
Name | Default | Description |
---|---|---|
hdfs.fileType | SequenceFile | File format: currently SequenceFile , DataStream or CompressedStream (1)DataStream will not compress output file and please don’t set codeC (2)CompressedStream requires set hdfs.codeC with an available codeC |
还需要注意的一个参数是:hdfs.codeC ,在使用flume时,可以将数据压缩输出,它的值可选为gzip, bzip2, lzo, lzop, snappy
lzop的后缀是lzo
lzo的后缀是lzp.default
还是要熟悉一下flume的文档。。。hdfs