2017-09-04 158 views
-2

我的大CSV文件中有一些損壞的行,其中一些數據值由於缺少換行符而發生移位。這會導致值出現在錯誤的列標題中。例如。如果在我的表中存在三列,,,在腐敗之後,我開始看到諸如,的值。查找列中的所有非整數

有沒有辦法讓我刪除所有行,例如:實際上,我知道應該在行中看到一個非int整數,這是一個Int?

+1

你應該輸入數據幀和預期的輸出數據幀提供。 –

回答

0

你可以做的是通過循環,當lines.split(",").count()不等於你想要的,你可以過濾它。事情是這樣的:

import scala.io.Source 
val n = 5 //or how many columns you require 
Source.fromFile(input_file).getLines().toSeq.map(_.split(",")).filter(_.count == n) 

這應該做你想要什麼:)