成人在线亚洲_国产日韩视频一区二区三区_久久久国产精品_99国内精品久久久久久久

您的位置:首頁技術文章
文章詳情頁

網頁爬蟲 - Python+Selenium+PhantomJs爬蟲,如何取得新打開頁面的源碼?

瀏覽:128日期:2022-09-13 10:39:57

問題描述

我在做一個python爬蟲,使用了selenium庫和phantomjs瀏覽器。我在一個網頁中觸發了一個click事件打開了一個新的網頁,然后我用browser.page_source得到的卻是原來那個網頁非新打開網頁的源碼,請問我該如何取得新打開頁面的源碼呢?

問題解答

回答1:

如果鏈接打開了一個新標簽頁的話,你的driver還是下默認使用的還是當前窗口,

Alternatively, you can pass a “window handle” to the “switch_to_window()” method. Knowing this, it’s possible to iterate over every open window like so:

for handle in driver.window_handles: driver.switch_to_window(handle)

比如,如果你的瀏覽器有幾個標簽頁,那么window_handles就保存了對應這幾個標簽頁對應的實例對象,所以如果你當前只打開了一個網頁,那么你新打開的頁面就是 window_handles[1]轉換到那個頁面后,再獲取源碼。

回答2:

如果是在當前窗口打開,有可能因為新頁面還沒有加載完成,到時拿不到新頁面的url和數據,這里可以使用等待,并設置一些條件,確保新頁面加載完成再進行操作,代碼如下:

from selenium.webdriver.support.ui import WebDriverWait# 等待新頁面生成WebDriverWait(self.browser, 5).until( expected_conditions.presence_of_element_located((By.ID, 'username') )

標簽: Python 編程