Загрузка длинной страницы Selenium в Chrome

Я создал парсер на python 3.6, используя краулеры selenium и scrapinghub. Я пытаюсь получить эту машину и загрузить ее фотографии. https://www.cars.com/vehicledetail/detail/800885995/overview/ но страница просто продолжает загружаться в течение длительного периода времени. Я пытаюсь понять, как я могу остановить непрерывную загрузку браузера через 4 минуты.

Я пробовал как явное, так и неявное ожидание, и ни одно из них не сработало.

driver = webdriver.Chrome('/usr/bin/chromedriver', 
                            desired_capabilities=capabilities, 
                            options=chrome_options)
driver.implicitly_wait(180)
driver.get(url)

python web-scraping selenium scrapinghub
person dcarlo56ave    schedule 27.01.2020    source источник

Ответы (1)


arrow_upward
2
arrow_downward

Вам нужно установить максимальное время ожидания для загрузки с помощью driver.set_page_load_timeout(). Если время загрузки страницы превышается, браузер выдаст ошибку TimeoutException. Все, что вам нужно сделать, это позаботиться об этом

from selenium import webdriver
from selenium.common.exceptions import TimeoutException

driver = webdriver.Chrome('/usr/bin/chromedriver', 
                            desired_capabilities=capabilities, 
                            options=chrome_options)

driver.set_page_load_timeout(time_to_wait)
try:
    driver.get(url)
except TimeoutException:
    # Do what you need here
person KobiM1    schedule 27.01.2020