Selenium顯式等待LinkedIn旋轉圈

Question

我使用Selenium及其Python綁定來自LinkedIn的Webscrape進行研究項目。我webscrape人的配置文件。

在LinkedIn中，當您加載個人資料時，該網站會放置旋轉圈，直到完成加載體驗和教育。 我希望Selenium等到旋轉的圈子消失，才能在HTML源代碼中獲得體驗和教育部分。

所以我的問題是：如何編寫明確的等待LinkedIn旋轉圈？

編輯：一個更精確的問題是：如何獲得旋轉圈的定位器？ 瀏覽器開發工具沒有時間做到這一點。他們消失得太快

編輯2：另一點。一個人可能有也可能沒有教育部分。因此，單擊或以其他方式檢查教育部門是否存在不是解決方案。教育部分可能不存在，因爲沒有教育部分（該人沒有在LinkedIn上提供任何信息，因此沒有在DOM中插入教育部分），或者因爲它尚未加載（有一個旋轉圈）。我想知道它是哪一個。如果這是第二個原因（有一個旋轉的圈子），我想等待。 （該部分是一個名爲education-section的div）。這同樣適用於這個問題

這是用於這個問題的項目的核心。

這些是一個類中的2個函數。 self.getBrowser()返回一個WebDriver對象。爲了清晰和簡潔起見，我已經刪除了不感興趣的部分，包括2個函數內的代碼，所以似乎在現實中沒有使用的參數是。我希望其餘的變數是自我解釋的。

def waitForPresenceCondition(self, by, value, sleep = True, check_for_404 = True): 
    try: 
     condition = EC.visibility_of_element_located((by, value)) 
     WebDriverWait(self.getBrowser(), self.wait_timeout).until(condition) 
    except TimeoutException: 
     logging.critical("Timed out waiting for page element. Fatal. Exiting") 
     raise 
    except: 
     logging.error("Unexpected exception waiting for page element. Exiting") 
     raise 
    else: 
     logging.debug("Element found in URL") 

# Scrape an organization 
def scrape(self, url): 
    self.getBrowser().get(url) 
    try: 
     self.waitForPresenceCondition(By.CLASS_NAME, "pv-profile-wrapper") 
    except Error404: 
     logging.info("waitForPresenceCondition raised 404 error. Returning False") 
     return False 
    #INSERT HERE EXPLICIT WAIT FOR THE SPINNING CIRCLES 

Answer 1

紡車有類名爲artdeco-spinner

我發現它通過插入一個斷點在Chrome DevTools

關注this引導並插入的「動畫」事件

然後斷點通過@Andersson的建議我用硒invisibility_of_element_located功能，等待locator是要麼不可見或不連接到了DOM。我不需要區分這兩種情況

def waitForInvisibility(self, by, value): 
    condition_str = "(" + str(by) + "," + value + ")" 
    url = self.getBrowserURL() 
    msg = "Waiting for in-visibility of " 
    msg += condition_str 
    msg += " in URL='" + url + "'" 
    logging.info(msg) 
    try: 
     condition = EC.invisibility_of_element_located((by, value)) 
     WebDriverWait(self.getBrowser(), self.wait_timeout).until(condition) 
    except TimeoutException: 
     logging.critical("Timed out waiting for element invisibility. Exiting") 
     raise 
    except: 
     logging.error("Unexpected exception waiting for element invisibility. Exiting") 
     raise 
    else: 
     logging.debug("Element " + condition_str + " is now invisible in URL='" + url + "'") 

Answer 2

你可以像下面代碼更新：

def waitForPresenceCondition(self, by, value, sleep=True, check_for_404=True, visible=True): 
    try: 
     if visible: 
      condition = EC.visibility_of_element_located((by, value)) 
     else: 
      condition = EC.invisibility_of_element_located((by, value)) 
     WebDriverWait(self.getBrowser(), self.wait_timeout).until(condition) 

這應該允許您使用waitForPresenceCondition()與visible=False參數等到div紡紗圈dissapear