分佈式文件系統用於小型文件的高併發訪問

Question

DFS技術有哪些用於高度併發訪問（如通過本地1 gbs網絡上的10000個遠程線程）的1,000,000個僅在MB大小範圍內的文件，但DSF應該向用戶提供高併發流？

Answer 1

常見HPC文件系統（如Lustre或GPFS）通常不會爲您描述的場景提供良好的支持，而是會針對大文件訪問時的高帶寬進行優化。在HPC環境中，您應該考慮使用IO中間件（如MPI-IO）或高級IO庫（如HDF5），而不是直接與文件系統進行連接。這些庫可以隱藏從應用程序優化對特定文件系統的訪問的複雜性，哪一個適合取決於應用程序場景的結構。另一方面，對於高度併發和非結構化的小訪問，您可能需要查看雲相關技術，例如，谷歌文件系統，分佈式關鍵值存儲卡桑德拉，只是爲了進一步研究的幾點提示。

一般的「文件」抽象和訪問方法（POSIX接口）並非專爲高度併發訪問而設計的，這使得難以符合接口並同時提供高併發性。

如果您想了解適用技術的更多具體提示，請提供一些關於您的用例的更多具體信息。