使用Flume導入csv

Question

我想用flume將csv文件導入HDFS。 但我得到「行長超過最大2048」這個警告和行被截斷。 任何人都可以請建議我如何解決這個問題。

下面是我的源file--

a1.sources = s 
a1.channels = c 
a1.sinks = sk 

a1.sources.s.type = spooldir 
a1.sources.s.spoolDir = /home/itelligence/Desktop/Project 2 

a1.channels.c.type = file 

a1.sinks.sk.type = hdfs 
a1.sinks.sk.hdfs.path = /project 2 
a1.sinks.sk.hdfs.fileType = DataStream 

a1.sources.s.channels = c 
a1.sinks.sk.channel = c 

---

預先感謝您

Answer 1

此行添加到您的源文件

a1.sources.s.deserializer.maxLineLength = <MAXIMUM_LINE_LENGTH>