Скоростной Веб-скрейпинг с Selenium

Веб-скрейпинг

Иногда в своей работе я осуществляю веб-скрейпинг с помощью selenium, но этот инструмент работает слишком медленно.
Решение, казалось бы, лежит на поверхности, но в течение последних двух лет я не видел что его кто то использует.
Как вы, возможно, знаете, основная причина, по которой selenium работает медленно, — это парсер. Поэтому первое, что приходит на ум — это изменить парсер в selenium.
Чтобы показать вам, как это работает, я буду использовать seleniumс chromedriver, beautifulsoup4 и эту страницу в Википедии, которая содержит таблицу с некоторой информацией о штатах США.

(далее…)