從GCS讀取輸入數據

Question

從GCS加載數據的建議方式是什麼？ The sample code shows copying the data from GCS to the /tmp/ directory。如果這是建議的方法，可以將多少數據複製到/tmp/？

Answer 1

雖然您有該選項，但您不需要將數據複製到本地磁盤。您應該能夠直接從GCS引用培訓和評估數據，通過使用他們的GCS URI來引用您的文件/對象 - 例如。 GS：//桶/路徑/到/文件。您可以在TensorFlow API中通常使用接受文件路徑的地方使用本地文件系統路徑的路徑。 TensorFlow支持訪問數據（並寫入）GCS的功能。

您還應該能夠使用前綴來引用一組匹配的文件，而不是單獨引用每個文件。

後續注意事項 - 如果您需要對數據進行適當ACL以便可以進行培訓，則需要檢查https://cloud.google.com/ml/docs/how-tos/using-external-buckets。

希望有所幫助。