HTML Agility Pack屏幕抓取XPATH不返回數據

Question

我試圖爲Digikey編寫一個屏幕抓取工具，該工具將允許我們公司在零件停產時保持定價，零件可用性和產品更換的準確跟蹤。我在Chrome Devtools中看到的XPATH與Firefox上的Firebug以及我的C＃程序看到的差異似乎存在差異。

說我刮目前的頁面是http://search.digikey.com/scripts/DkSearch/dksus.dll?Detail&name=296-12602-1-ND

目前我正在使用的代碼是非常快速和骯髒......

//This function retrieves data from the digikey 
    private static List<string> ExtractProductInfo(HtmlDocument doc) 
    { 
     List<HtmlNode> m_unparsedProductInfoNodes = new List<HtmlNode>(); 
     List<string> m_unparsedProductInfo = new List<string>(); 

     //Base Node for part info 
     string m_baseNode = @"//html[1]/body[1]/div[2]"; 

     //Write part info to list 
     m_unparsedProductInfoNodes.Add(doc.DocumentNode.SelectSingleNode(m_baseNode + @"/table[1]/tr[1]/td[1]/table[1]/tr[1]/td[1]")); 
     //More lines of similar form will go here for more info 
     //this retrieves digikey PN 

     foreach(HtmlNode node in m_unparsedProductInfoNodes) 
     { 
      m_unparsedProductInfo.Add(node.InnerText); 
     } 

     return m_unparsedProductInfo; 
    } 

雖然我使用顯示的路徑是「正確」當我查看列表時，我一直收到NULL「m_unparsedProductInfoNodes」

任何想法這裏發生了什麼？我還會補充說，如果我在baseNode上做了一個「SelectNodes」，它只會返回一個div，唯一有意義的孩子是「cs = ####」，這似乎隨瀏覽器用戶代理而變化。如果我試圖使用它（在無法識別的瀏覽器的路徑中放置/ cs = 0），它會發出一個合適的聲音，堅持我的表達式不會評估爲一個節點集，但仍然會讓所有數據過去div [2]返回NULL。

Answer 1

嘗試使用此XPath表達式：

/html[1]/body[1]/div[2]/cs=0[1]/rf=141[1]/table[1]/tr[1]/td[1]/table[1]/tr[1]/td[1] 

在Firefox中使用谷歌Chrome開發者工具和Firebug的，好像網頁有一個「CS」和第一表之前，「RF」的標籤。喜歡的東西：

<cs="0"> 
    <rf="141"> 
    <table> 
    ... 
    </table> 
    </rf> 
</cs> 

有一些可能是知道什麼時候要解析知 HTML文件，按預期你沒有得到結果發生了什麼有用的。在這種情況下，我只是做了：

string xpath = ""; 

//In this case I'll get all cells and see what cell has the text "296-12602-1-ND" 

foreach (HtmlNode node in doc.DocumentNode.SelectNodes("//td")) 
{ 
    if (node.InnerText.Trim() == "296-12602-1-ND") 
     xpath = node.XPath; //Here it is 
} 

或者您也可以調試文件加載後您的應用程序，並經過每個子節點，直到找到你想從信息的節點。如果您只是在找到InnerText時設置斷點，則可以通過父母，然後繼續查找其他節點。我通常會在「監視」窗口中輸入手動命令並使用樹視圖進行導航以查看屬性，屬性和子視圖。