Selenium

Selenium - каркас для тестирования браузерного интерфейса программным образом

селениум можно программировать на разных языках, в моем случае это - python; не прописав прокси при старте своего приложения вы увидите диалог с просьбой аутентифицироваться или просто 404

чтобы этого избежать необходимо создать объект прокси для конкретного браузера (в данном случае - firefox), настроить его, и создать с его помощью драйвер

PROXY_HOST='proxy'
PROXY_PORT=3128
fp = webdriver.FirefoxProfile()
fp.set_preference('network.proxy.type', 1)
fp.set_preference('network.proxy.http', PROXY_HOST)
fp.set_preference('network.proxy.http_port', PROXY_PORT)
fp.set_preference('network.proxy.ftp', PROXY_HOST)
fp.set_preference('network.proxy.ftp_port', PROXY_PORT)
fp.set_preference('network.proxy.ssl', PROXY_HOST)
fp.set_preference('network.proxy.ssl_port', PROXY_PORT)
fp.set_preference('network.proxy.no_proxies_on', '')
driver = webdriver.Firefox(fp)

будет время допишу для всех браузеров и языков