Spark - 行元素的長度

Question

我試圖做一個過濾器操作來獲取所有行，其中我的變量國家的長度小於4，並且無論我做什麼都不斷收到錯誤。

這是當前代碼（使用Python API）

uniqueRegions = sqlContext.sql("SELECT country, city FROM df") 
uniqueRegions = uniqueRegions.rdd 
uniqueRegions = uniqueRegions.distinct() 
uniqueRegions = uniqueRegions.filter(lambda line: len(line.country) < 4) 

這是錯誤 TypeError: object of type 'NoneType' has no len()

在第一行（與rdd.first完成）： Row(country=u'xxxxxx', city=u'xxxxxx')

任何建議關於如何解決這個問題？ 謝謝。

Answer 1

您有一個國家爲NULL的數據庫記錄。這個長度沒有意義。在沒有國家設置的情況下該怎麼辦？

也許你想篩選記錄？ SELECT country, city FROM df WHERE country IS NOT NULL？或者，也許lambda l: l.country is not None and len(l.country) < 4，或取決於你的邏輯，lambda l: l.country is None or len(l.country) < 4。