Мне нужно использовать безголовый Selenium в Node.js для очистки. Я попробовал Webdriver.io, он работал с безголовым Selenium. Но когда я запускаю безголовый Selenium, он вообще не работает. Вот код (такой же, как на примере webdriver.io)
webdriverio
.remote(options)
.init()
.url('http://www.google.com')
.getTitle().then(function(title) {
console.log('Title was: ' + title);
})
.end();
Как заставить его работать с безголовым Selenium? Или есть какая-то альтернатива?
Вы должны настроить селен в безголовой среде. Попробуйте xvfb — это безголовый графический интерфейс для Firefox.
$ apt-get install fvfb -y
$ DISPLAY=:1 xvfb-run java -Dwebdriver.gecko.driver=./geckodriver -jar selenium-server-standalone-3.0.1.jar
В прошлом я делал много парсинга с различными библиотеками, и если вам не нужно выполнять вход или манипулировать страницей, я рекомендую вам использовать request и cheerio для обработки парсинга. Это позволяет вам очищать содержимое с помощью фильтрации в стиле jQuery. Он также позволяет выполнять очистку без какой-либо зависимости от чего-либо еще, такого как Selenium или PhantomJS.
Быстрый пример:
request('http://www.google.com', (err, response, body) => {
if(err) console.error(err);
const $ = cheerio.load(body);
const title = $('title').text();
console.log(`Title was: ${title}`);
// Or scrape whatever you want from the page
});
Если вам нужно выполнить вход в систему, обработку форм или выполнение каких-либо действий на странице перед ее очисткой, вы можете попробовать любое количество библиотек. Я использовал Zombie.js с достойными результатами и попробовал несколько других, таких как Selenium Nightmare (использует PhantomJS), PhantomJS и другие.
В конце концов, Request и Cheerio упростили быструю очистку страницы.
