有誰知道AppShopper.com如何抓取蘋果應用商店的數據? 我們是否需要使用像Watir這樣的自動化測試來模擬瀏覽器?這是收集數據的唯一方式(例如,下載統計數據,價格)?在應用商店抓取數據
回答
如果您右鍵單擊iTunes中的任何鏈接或圖標,它會爲您提供它用於下載顯示的下一個iTunes頁面的數據的URL。 HTML數據的格式會以非文檔方式定期更改。如果您使用wget或curl從這些網址下載數據,您可能還需要模仿iTunes用戶代理和國家商店前臺名稱,您可以通過使用諸如電話鯊魚之類的方式監控iTunes流量來獲得該名稱。
有數百個像你提到的一個服務的......但是建立自己的刮板不難..
比方說,你想看到在英國所有評論爲ID的應用程序= XXXXXXXXX(右鍵單擊應用程序鏈接上的iTunes並選擇「複製鏈接」)。你應該檢索文件:
如果你把你的瀏覽器這個URL,你將無法看到相同的信息量,你會與iTunes看到。也可能是因爲您根本看不到任何東西,您的瀏覽器會要求打開iTunes。儘管如此,上面的網址與iTunes訪問的網址一樣 - 只是iTunes要求網頁瀏覽器做的稍微不同。爲此,您可以使用cURL,這是大多數GNU/Linux發行版默認使用的命令,但您也可以在Windows上安裝。
如果您使用的是Windows,並且沒有安裝捲曲,下載(http://curl.haxx.se/download.html),將它解壓縮,並添加bin目錄到PATH變量(http://www.computerhope.com/issues/ch000549.htm);
打開終端窗口(META + R,數字CMD);
一旦你安裝了嫋嫋,都在Windows和* nix,切割和在終端粘貼:
捲曲-H '主機:itunes.apple.com' -H「的Accept-Language: en-us,en; q = 0.50'-H'X-Apple-Store-Front:143444,5' -H'X-Apple-Tz:3600'-U'iTunes/9.2.1(Macintosh; Intel Mac OS X 10.5.8)AppleWebKit/533.16''http://itunes.apple.com/WebObjects/MZStore.woa/wa/customerReviews?s=143444&id=xxxxxxxxx&displayable-kind=11'
您應該看到現在由iTunes看到的實際XML文件以及所有評論。
- 1. 使用Scrapy抓取購物商店數據
- 2. Scrapy - 如何在Microsoft SQL Server數據庫中抓取網站和商店數據?
- 3. .NET Windows應用商店的數據
- 4. NSUserDefaults保存數據到應用商店
- 5. ExtJs:獲取商店創建的商店數據
- 6. 獲取在商店
- 7. 在Windows商店應用
- 8. 如何在抓取在線商店時處理動態網址?
- 9. 在測試版本上獲取OS X應用商店收據
- 10. 在商店創建中靜態定義商店中的數據
- 11. Windows應用商店應用和SQLite用戶數據
- 12. 商店URLSessionDownloadTask核心數據
- 13. JSP商店表格數據
- 14. 使用應用商店
- 15. 如何在Windows應用商店獲取WiFi MAC地址應用
- 16. 如何在Google Play商店中存儲應用程序數據
- 17. 在設備和應用商店刷新SQLITE3(核心數據)
- 18. 在ViewController中獲取商店
- 19. Windows商店應用導航
- 20. 第三方應用商店
- 21. PC的應用商店?
- 22. Windows 8商店應用
- 23. Windows商店應用程序
- 24. 應用商店問題
- 25. Drupal 8商店節點數據替代商店
- 26. Java商店以統一編碼將頁面抓取到mysql
- 27. 使用opencart獲取多商店設置的商店ID
- 28. 應用程序商店/ Play商店評級完成狀態
- 29. Windows 8商店 - 調試應用程序從商店下載
- 30. 切換到應用商店的語義版本和玩商店
如何找到iTunes支持的其他URL? – Dmitry 2017-03-06 23:46:05