在Python中使用代理运行Selenium Webdriver


84

我正在尝试在Python中运行Selenium Webdriver脚本来执行一些基本任务。通过Selenium IDE接口运行机器人时,我可以使机器人运行正常(即:仅使GUI重复我的操作时)。但是,当我将代码导出为Python脚本并尝试从命令行执行时,Firefox浏览器将打开,但无法访问起始URL(错误返回到命令行,程序停止)。无论我尝试访问哪个网站,都在发生这种情况。

我在此处包括了一个非常基本的代码以进行演示。我认为我没有正确包含代码的代理部分,因为返回的错误似乎是由代理生成的。

任何帮助将不胜感激。

以下代码仅用于打开www.google.ie并搜索“硒”一词。对我来说,它将打开一个空白的Firefox浏览器并停止。

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import Select
from selenium.common.exceptions import NoSuchElementException
import unittest, time, re
from selenium.webdriver.common.proxy import *

class Testrobot2(unittest.TestCase):
    def setUp(self):

        myProxy = "http://149.215.113.110:70"

        proxy = Proxy({
        'proxyType': ProxyType.MANUAL,
        'httpProxy': myProxy,
        'ftpProxy': myProxy,
        'sslProxy': myProxy,
        'noProxy':''})

        self.driver = webdriver.Firefox(proxy=proxy)
        self.driver.implicitly_wait(30)
        self.base_url = "https://www.google.ie/"
        self.verificationErrors = []
        self.accept_next_alert = True

    def test_robot2(self):
        driver = self.driver
        driver.get(self.base_url + "/#gs_rn=17&gs_ri=psy-ab&suggest=p&cp=6&gs_id=ix&xhr=t&q=selenium&es_nrs=true&pf=p&output=search&sclient=psy-ab&oq=seleni&gs_l=&pbx=1&bav=on.2,or.r_qf.&bvm=bv.47883778,d.ZGU&fp=7c0d9024de9ac6ab&biw=592&bih=665")
        driver.find_element_by_id("gbqfq").clear()
        driver.find_element_by_id("gbqfq").send_keys("selenium")

    def is_element_present(self, how, what):
        try: self.driver.find_element(by=how, value=what)
        except NoSuchElementException, e: return False
        return True

    def is_alert_present(self):
        try: self.driver.switch_to_alert()
        except NoAlertPresentException, e: return False
        return True

    def close_alert_and_get_its_text(self):
        try:
            alert = self.driver.switch_to_alert()
            alert_text = alert.text
            if self.accept_next_alert:
                alert.accept()
            else:
                alert.dismiss()
            return alert_text
        finally: self.accept_next_alert = True

    def tearDown(self):
        self.driver.quit()
        self.assertEqual([], self.verificationErrors)

if __name__ == "__main__":
    unittest.main()

Answers:


41

以这种方式为我工作(类似于@Amey和@ user4642224代码,但短一点):

from selenium import webdriver
from selenium.webdriver.common.proxy import Proxy, ProxyType

prox = Proxy()
prox.proxy_type = ProxyType.MANUAL
prox.http_proxy = "ip_addr:port"
prox.socks_proxy = "ip_addr:port"
prox.ssl_proxy = "ip_addr:port"

capabilities = webdriver.DesiredCapabilities.CHROME
prox.add_to_capabilities(capabilities)

driver = webdriver.Chrome(desired_capabilities=capabilities)

2
这行得通,谢谢。文档说您需要使用远程驱动程序,这很奇怪。

driver = webdriver.Firefox(desired_capabilities = capabilities)TypeError:__init __()得到了意外的关键字参数'desired_capabilities'为什么?
莫(Rimo)

33

这样的事情怎么样

PROXY = "149.215.113.110:70"

webdriver.DesiredCapabilities.FIREFOX['proxy'] = {
    "httpProxy":PROXY,
    "ftpProxy":PROXY,
    "sslProxy":PROXY,
    "noProxy":None,
    "proxyType":"MANUAL",
    "class":"org.openqa.selenium.Proxy",
    "autodetect":False
}

# you have to use remote, otherwise you'll have to code it yourself in python to 
driver = webdriver.Remote("http://localhost:4444/wd/hub", webdriver.DesiredCapabilities.FIREFOX)

您可以在此处了解更多信息。


这个答案对我来说很好。万一其他人尝试使用Edge进行操作,webdriver.DesiredCapabilities.EDGE['proxy']则没有任何效果,因为Microsoft Edge当前没有配置来配置代理服务器(要将Edge与代理一起使用,必须在Windows网络连接设置下配置代理) 。
史蒂夫HHH,2015年

1
有关完整的详细文档,请参见:github.com/SeleniumHQ/selenium/wiki/…–
LeckieNi,

14

我的解决方案:

def my_proxy(PROXY_HOST,PROXY_PORT):
        fp = webdriver.FirefoxProfile()
        # Direct = 0, Manual = 1, PAC = 2, AUTODETECT = 4, SYSTEM = 5
        print PROXY_PORT
        print PROXY_HOST
        fp.set_preference("network.proxy.type", 1)
        fp.set_preference("network.proxy.http",PROXY_HOST)
        fp.set_preference("network.proxy.http_port",int(PROXY_PORT))
        fp.set_preference("general.useragent.override","whater_useragent")
        fp.update_preferences()
        return webdriver.Firefox(firefox_profile=fp)

然后调用您的代码:

my_proxy(PROXY_HOST,PROXY_PORT)

我在此代码中遇到了问题,因为我将字符串作为端口号传递:

 PROXY_PORT="31280"

这个很重要:

int("31280")

您必须传递一个整数而不是一个字符串,否则您的Firefox配置文件将不会被设置为正确的端口,并且通过代理的连接将不起作用。


1
端口需要转换为int吗?这将使官方页面上的Firefox代理示例错误:seleniumhq.org/docs/04_webdriver_advanced.jsp在他们的示例中,PROXYHOST:PROXYPORT作为字符串传递。
皮德曼2015年

@Pyderman,您将Proxy()类与FirefoxProfile()类混淆。使用配置文件首选项,您必须分别传递ip和port,并强制转换portint()。在Proxy()课堂上,您只需要传递字符串containig“ IP:PORT”,就可以确定其余的工作。
m3nda

7

也尝试设置sock5代理。我遇到了同样的问题,可以通过使用袜子代理解决

def install_proxy(PROXY_HOST,PROXY_PORT):
        fp = webdriver.FirefoxProfile()
        print PROXY_PORT
        print PROXY_HOST
        fp.set_preference("network.proxy.type", 1)
        fp.set_preference("network.proxy.http",PROXY_HOST)
        fp.set_preference("network.proxy.http_port",int(PROXY_PORT))
        fp.set_preference("network.proxy.https",PROXY_HOST)
        fp.set_preference("network.proxy.https_port",int(PROXY_PORT))
        fp.set_preference("network.proxy.ssl",PROXY_HOST)
        fp.set_preference("network.proxy.ssl_port",int(PROXY_PORT))  
        fp.set_preference("network.proxy.ftp",PROXY_HOST)
        fp.set_preference("network.proxy.ftp_port",int(PROXY_PORT))   
        fp.set_preference("network.proxy.socks",PROXY_HOST)
        fp.set_preference("network.proxy.socks_port",int(PROXY_PORT))   
        fp.set_preference("general.useragent.override","Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_3) AppleWebKit/537.75.14 (KHTML, like Gecko) Version/7.0.3 Safari/7046A194A")
        fp.update_preferences()
        return webdriver.Firefox(firefox_profile=fp)

然后install_proxy ( ip , port ) 从您的程序中调用 。


您将如何修改它以接受代理凭据?
nomaam

6

如果有人在寻找解决方案,请按照以下步骤操作:

from selenium import webdriver
PROXY = "YOUR_PROXY_ADDRESS_HERE"
webdriver.DesiredCapabilities.FIREFOX['proxy']={
    "httpProxy":PROXY,
    "ftpProxy":PROXY,
    "sslProxy":PROXY,
    "noProxy":None,
    "proxyType":"MANUAL",
    "autodetect":False
}
driver = webdriver.Firefox()
driver.get('http://www.whatsmyip.org/')

6

带有验证的代理。这是Mykhail Martsyniuk示例脚本的参考中的全新python脚本。

# Load webdriver
from selenium import webdriver

# Load proxy option
from selenium.webdriver.common.proxy import Proxy, ProxyType

# Configure Proxy Option
prox = Proxy()
prox.proxy_type = ProxyType.MANUAL

# Proxy IP & Port
prox.http_proxy = “0.0.0.0:00000”
prox.socks_proxy = “0.0.0.0:00000”
prox.ssl_proxy = “0.0.0.0:00000# Configure capabilities 
capabilities = webdriver.DesiredCapabilities.CHROME
prox.add_to_capabilities(capabilities)

# Configure ChromeOptions
driver = webdriver.Chrome(executable_path='/usr/local/share chromedriver',desired_capabilities=capabilities)

# Verify proxy ip
driver.get("http://www.whatsmyip.org/")

4

尝试设置FirefoxProfile

from selenium import webdriver
import time


"Define Both ProxyHost and ProxyPort as String"
ProxyHost = "54.84.95.51" 
ProxyPort = "8083"



def ChangeProxy(ProxyHost ,ProxyPort):
    "Define Firefox Profile with you ProxyHost and ProxyPort"
    profile = webdriver.FirefoxProfile()
    profile.set_preference("network.proxy.type", 1)
    profile.set_preference("network.proxy.http", ProxyHost )
    profile.set_preference("network.proxy.http_port", int(ProxyPort))
    profile.update_preferences()
    return webdriver.Firefox(firefox_profile=profile)


def FixProxy():
    ""Reset Firefox Profile""
    profile = webdriver.FirefoxProfile()
    profile.set_preference("network.proxy.type", 0)
    return webdriver.Firefox(firefox_profile=profile)


driver = ChangeProxy(ProxyHost ,ProxyPort)
driver.get("http://whatismyipaddress.com")

time.sleep(5)

driver = FixProxy()
driver.get("http://whatismyipaddress.com")

该程序已在Windows 8和Mac OSX上进行了测试。如果您使用的是Mac OSX,并且没有更新硒,那么您可能会遇到selenium.common.exceptions.WebDriverException。如果是这样,请在升级硒后再试一次

pip install -U selenium

4

上述结果可能是正确的,但不适用于最新的webdriver。这是上述问题的解决方案。简单而甜美


        http_proxy  = "ip_addr:port"
        https_proxy = "ip_addr:port"

        webdriver.DesiredCapabilities.FIREFOX['proxy']={
            "httpProxy":http_proxy,
            "sslProxy":https_proxy,
            "proxyType":"MANUAL"
        }

        driver = webdriver.Firefox()

要么

    http_proxy  = "http://ip:port"
    https_proxy = "https://ip:port"

    proxyDict = {
                    "http"  : http_proxy,
                    "https" : https_proxy,
                }

    driver = webdriver.Firefox(proxy=proxyDict)

2

以上问题的答案或者对Linux上的Selenium 3.14和Firefox 68.9都不适用,或者过于复杂。我需要使用WPAD配置,有时需要在代理后面(在VPN上),有时不需要。在研究了一些代码之后,我想到了:

from selenium import webdriver
from selenium.webdriver.common.proxy import Proxy
from selenium.webdriver.firefox.firefox_profile import FirefoxProfile

proxy = Proxy({'proxyAutoconfigUrl': 'http://wpad/wpad.dat'})
profile = FirefoxProfile()
profile.set_proxy(proxy)
driver = webdriver.Firefox(firefox_profile=profile)

代理初始化将副作用设置为ProxyType.PAC(来自URL的自动配置)。

它还可以使用以下功能与Firefox的自动检测功能配合使用:

from selenium.webdriver.common.proxy import ProxyType

proxy = Proxy({'proxyType': ProxyType.AUTODETECT})

但是我不认为这与WPAD的方式同时适用于内部URL(未代理)和外部URL(代理)。类似的代理设置也应适用于手动配置。可能的代理设置可以在此处的代码中看到

请注意,直接将Proxy对象传递proxy=proxy给驱动程序是行不通的-它被接受但被忽略(应该有弃用警告,但就我而言,我认为Behave正在吞噬它)。


0

如@Dugini所述,某些配置条目已被删除。最高:

webdriver.DesiredCapabilities.FIREFOX['proxy'] = {
    "httpProxy":PROXY,
    "ftpProxy":PROXY,
    "sslProxy":PROXY,
    "noProxy":[],
    "proxyType":"MANUAL"
 }

0

这对我有用,并且允许使用无头浏览器,您只需要调用传递代理的方法即可。

def setProxy(proxy):
        options = Options()
        options.headless = True
        #options.add_argument("--window-size=1920,1200")
        options.add_argument("--disable-dev-shm-usage")
        options.add_argument("--no-sandbox")
        prox = Proxy()
        prox.proxy_type = ProxyType.MANUAL
        prox.http_proxy = proxy
        prox.ssl_proxy = proxy
        capabilities = webdriver.DesiredCapabilities.CHROME
        prox.add_to_capabilities(capabilities)
        return webdriver.Chrome(desired_capabilities=capabilities, options=options, executable_path=DRIVER_PATH)

-1

尝试运行tor服务,将以下功能添加到您的代码中。

def connect_tor(port):

socks.set_default_proxy(socks.PROXY_TYPE_SOCKS5, '127.0.0.1', port, True)
socket.socket = socks.socksocket

def main():

connect_tor()
driver = webdriver.Firefox()

这篇文章缺少信息,connect_tor()和main()函数没有正确的缩进,并且connect_tor()调用缺少示例中的强制性参数“ port”。我应该使用哪个Tor端口?在哪里可以获得Tor的端口信息?
Karl
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.