0
我在s3中加載製表符分隔的文件，在spark中創建一個數據框。我需要獲取數據幀中每條記錄的輸入文件名信息以供進一步處理。我試過如何獲取火花數據框中記錄的輸入文件名？
dataframe.select(inputFileName())
但是我得到了input_file_name的空值。有人請幫我解決這個問題。
A
回答
1
可以使用withColumn和input_file_name創建數據幀上一個新列：
dataframe.withColumn("input_file", input_file_name)
相關問題
- 1. 如何將記錄插入火花的數據框
- 2. 如何獲取火花流數據框中列的滯後？
- 3. 如何輸入stdin數據作爲輸入火花腳本
- 4. 在火花數據幀中插入記錄
- 5. 如何在火花中記錄數據幀？
- 6. 如何寫火花sql數據框到excel文件的摘要
- 7. VB.NET如何獲取從數據表輸入的以前記錄？
- 8. 火花數據框被寫入分區
- 9. 如何更改perf perf sched記錄中的輸入文件名
- 10. 如何獲得火花數據幀
- 11. 如何添加火花數據框中的火花數據框的列（使用Pyspark）？
- 12. 獲取源文件木地板表的目錄火花
- 13. 當文件無法放入火花的主內存中時，火花如何讀取大文件（petabye）
- 14. 過濾條件如何在火花數據框中工作？
- 15. 獲取在火花
- 16. 如何在火花數據框的一組行中標記一行
- 17. 如何在MRjob中獲取輸入文件的名稱
- 18. 如何平鋪火花數據框中的結構？
- 19. 從火花傳輸中讀取新的s3文件路徑
- 20. 在火花中讀取Avro文件
- 21. 將火花數據幀中每個分區的記錄寫入一個xml文件
- 22. 從Internet Explorer中的文件輸入中獲取文件名
- 23. 如何從輸入框中獲取數據到ajax
- 24. 如何從輸入中獲取文件夾/目錄路徑？
- 25. 根據用戶輸入獲取SQL中的所有記錄
- 26. newHadoopAPI中的多個輸入路徑以供火花讀取Lzo文件
- 27. 如何獲取輸入文件的值？
- 28. 如何獲取最近插入的記錄amoung重複數據
- 29. 獲取蓮花筆記文件UNID
- 30. 使用時間戳輸入獲取數據庫記錄
小錯字'dataframe.withColumn（ 「INPUT_FILE」，input_file_name（））' – markop