webspider站點與陰影根標籤

Question

How to adapt this web spider 
to search the pages 
on sites that contain shadow-root tag ? 

網站：

http://www.cpasparks.com/

http://www.highrockaccounting.com/

http://www.steelecpas.com/

http://www.superiorlinenlv.com/

龍捲風webspider： https://github.com/tornadoweb/tornado/blob/master/demos/webspider/webspider.py https://raw.githubusercontent.com/tornadoweb/tornado/stable/demos/webspider/webspider.py

它適用於幾乎所有的網站，除了它們。

你知道更好的解決方案嗎？

Answer 1

如果陰影的DOM是在開放模式的DOM樹可以通過shadowRoot屬性進行檢查：

console.log(anElement.shadowRoot) //display the shadow DOM 

您也可以通過在<slot>元素getInsertedNodes()訪問insterted節點。