導致不完整頁面由PHP的file_get_contents（）返回的URL結構

Question

我一直在做一些PHP的拼湊，並在特定的域上得到一些奇怪的結果。例如，當我下載此頁：

http://pitchfork.com/reviews/tracks/

它工作正常。但是，如果我嘗試下載此頁：

http://pitchfork.com/reviews/tracks/1/

它返回一個不完整的頁面，即使內容是完全一樣的。隨後的所有頁面（曲目/ 2 /，曲目/ 3 /等）也會返回不完整的數據。

這似乎是分頁期間URL形成的問題。網站上的大多數其他部分都顯示相同的行爲（着陸頁起作用，但不包括後續頁面）。一個例外是本節：

http://pitchfork.com/forkcast/

凡forkcast/2 /等做工精細。這可能是由於它只有一個目錄深，其中大部分其他部分都是多個目錄。

我似乎已經掌握了什麼是導致問題的原因，但不是爲什麼或如何解決問題。

任何想法？

我已經嘗試使用file_get_contents（）和cURL，並且都給出了相同的結果。

有趣的是，在所有不起作用的頁面上，不完整的頁面大約有16,000個字符長。這是一個線索嗎？

我創建了一個測試頁面，在這裏你可以看到其中的差別：

http://fingerfy.com/test.php?url=http://pitchfork.com/reviews/tracks/

http://fingerfy.com/test.php?url=http://pitchfork.com/reviews/tracks/1/

它輸出的strlen（）和下載網頁的內容（加上它使相對URL進入絕對的，所以CSS是正確的）。

任何提示都會很棒！

UPDATE：Mowser，這爲移動優化的頁面與這些頁面沒有問題（http://mowser.com/web/pitchfork.com/reviews/tracks/2/），所以必須有一個辦法做到這一點沒有它失敗....

Answer 1

它看起來像叉子的運行與CMS 「人類」網址。這意味着/評論/曲目會顯示一個包含多個帖子的「主頁」，但「/ reviews/tracks/1」只會顯示「評論＃1」。可能他們已經將CMS配置爲僅輸出固定長度的摘要，或者輸出過濾器配置錯誤，並儘早切斷各個帖子頁面。

我已經嘗試使用wget獲取/跟蹤/ 1到/跟蹤/ 6，它們都有不同的內容，完全終止於16,097字節，通常位於標記的中間。所以，這不太可能是你能夠解決的任何問題，因爲這是網站本身發送的不良數據。