如何檢測收到的網絡超時是由於請求端點還是中間物（例如http代理）引起的

Question

作爲編寫爬網程序的一部分（在Node.js中，但實際上並非重點），我有時會收到超時和其他網絡例外。一些異常（如http錯誤代碼）可以正確歸因於目標請求端點。其他人，比如我配置自己的超時更難（不可能）。

例如，當使用http代理進行爬網時，如何檢查異常（如提到的超時）是由於代理還是由於請求端點？

Answer 1

你應該可以依靠代理來傳遞儘可能快的代理，除非它是一個本土項目，在這種情況下，任何事情都是可能的。所以你應該把所有的超時當作源自上游服務器。