Questions tagged «urllib»

我有一个小的实用程序，可以用来按计划从网站上下载MP3文件，然后构建/更新已添加到iTunes的播客XML文件。 创建/更新XML文件的文本处理是用Python编写的。但是，我在Windows内使用wget.bat文件中下载实际的MP3文件。我希望使用Python编写整个实用程序。 我努力寻找一种方法来实际使用Python下载文件，因此为什么我诉诸于使用 wget。 那么，如何使用Python下载文件？

874 python  http  urllib 

在Python，有什么之间的差异urllib，urllib2，urllib3和requests模块？为什么有三个？他们似乎在做同样的事情...

750 python  python-requests  urllib2  urllib  python-2.x 

我尝试在提交之前对该字符串进行urlencode。 queryString = 'eventName=' + evt.fields["eventName"] + '&' + 'eventDescription=' + evt.fields["eventDescription"];

552 python  urllib  urlencode 

如果我做 url = "http://example.com?p=" + urllib.quote(query) 它不编码/为%2F（破坏OAuth规范化） 它不处理Unicode（引发异常） 有没有更好的图书馆？

299 python  url  encoding  urllib  urlencode 

我收到以下错误： Exception in thread Thread-3: Traceback (most recent call last): File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/threading.py", line 810, in __bootstrap_inner self.run() File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/threading.py", line 763, in run self.__target(*self.__args, **self.__kwargs) File "/Users/Matthew/Desktop/Skypebot 2.0/bot.py", line 271, in process info = urllib2.urlopen(req).read() File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/urllib2.py", line 154, in urlopen return opener.open(url, data, timeout) File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/urllib2.py", line 431, in …

279 python  python-2.7  ssl  ssl-certificate  urllib 

我在网上找到了这个脚本： import httplib, urllib params = urllib.urlencode({'number': 12524, 'type': 'issue', 'action': 'show'}) headers = {"Content-type": "application/x-www-form-urlencoded", "Accept": "text/plain"} conn = httplib.HTTPConnection("bugs.python.org") conn.request("POST", "", params, headers) response = conn.getresponse() print response.status, response.reason 302 Found data = response.read() data 'Redirecting to <a href="http://bugs.python.org/issue12524">http://bugs.python.org/issue12524</a>' conn.close() 但是我不明白如何在PHP中使用它，或者params变量中的所有内容是什么，或者如何使用它。在尝试使它正常工作时，请给我一点帮助吗？

260 python  urllib  httplib 

我正在尝试抓取一个网站，但这给我一个错误。 我正在使用以下代码： import urllib.request from bs4 import BeautifulSoup get = urllib.request.urlopen("https://www.website.com/") html = get.read() soup = BeautifulSoup(html) print(soup) 我收到以下错误： File "C:\Python34\lib\encodings\cp1252.py", line 19, in encode return codecs.charmap_encode(input,self.errors,encoding_table)[0] UnicodeEncodeError: 'charmap' codec can't encode characters in position 70924-70950: character maps to <undefined> 我该怎么做才能解决此问题？

205 python  beautifulsoup  urllib 

因此，我试图制作一个Python脚本来下载网络漫画，并将其放入桌面上的文件夹中。我在这里发现了一些类似的程序，它们执行相似的操作，但是并没有完全满足我的需要。我发现最相似的代码就在这里（http://bytes.com/topic/python/answers/850927-problem-using-urllib-download-images）。我尝试使用此代码： >>> import urllib >>> image = urllib.URLopener() >>> image.retrieve("http://www.gunnerkrigg.com//comics/00000001.jpg","00000001.jpg") ('00000001.jpg', <httplib.HTTPMessage instance at 0x1457a80>) 然后，我在计算机上搜索了文件“ 00000001.jpg”，但我发现的只是它的缓存图片。我什至不确定它是否已将文件保存到我的计算机中。一旦我了解了如何下载文件，我想我就会处理其余的事情。本质上，只需要使用for循环并在'00000000'。'jpg'处拆分字符串，然后将'00000000'递增至最大数，我必须以某种方式确定。关于最佳方法或正确下载文件的任何建议？ 谢谢！ 编辑6/15/10 这是完成的脚本，它将文件保存到您选择的任何目录中。由于某种奇怪的原因，文件没有下载，而只是下载了。任何有关如何清理它的建议将不胜感激。我目前正在研究如何查找网站上存在的漫画，因此我可以获取最新的漫画，而不是在引发一定数量的异常后退出程序。 import urllib import os comicCounter=len(os.listdir('/file'))+1 # reads the number of files in the folder to start downloading at the next comic errorCount=0 def download_comic(url,comicName): """ download a comic in the …

182 python  urllib2  urllib 

我正在尝试使用Python下载网站的HTML源代码，但收到此错误。 Traceback (most recent call last): File "C:\Users\Sergio.Tapia\Documents\NetBeansProjects\DICParser\src\WebDownload.py", line 3, in <module> file = urllib.urlopen("http://www.python.org") AttributeError: 'module' object has no attribute 'urlopen' 我在这里遵循指南：http : //www.boddie.org.uk/python/HTML.html import urllib file = urllib.urlopen("http://www.python.org") s = file.read() f.close() #I'm guessing this would output the html source code? print(s) 我正在使用Python 3。

146 python  python-3.x  urllib 

如何通过urllib获取标头的代码？

120 python  urllib  http-status-codes 

使用后cgi.parse_qs()，如何将结果（字典）转换回查询字符串？寻找类似的东西 urllib.urlencode()。

112 python  urllib2  urllib 

我想用urllib.quote()。但是python（python3）找不到模块。假设我有以下代码行： print(urllib.quote("châteu", safe='')) 如何导入urllib.quote？ import urllib或 import urllib.quote两者都给 AttributeError: 'module' object has no attribute 'quote' 令我困惑的urllib.request是可以通过以下方式访问import urllib.request

109 python  python-3.x  import  urllib 

当我尝试遵循与URL编码相关的Python Wiki的示例时： >>> import urllib >>> params = urllib.urlencode({'spam': 1, 'eggs': 2, 'bacon': 0}) >>> f = urllib.urlopen("http://www.musi-cal.com/cgi-bin/query", params) >>> print f.read() 在第二行引发错误： Traceback (most recent call last): File "<stdin>", line 1, in <module> AttributeError: 'module' object has no attribute 'urlencode' 我想念什么？

108 python  python-3.x  urllib 

我正在使用BeautifulSoup抓取网址，并且我有以下代码 import urllib import urllib2 from BeautifulSoup import BeautifulSoup url = "http://www.example.com/servlet/av/ResultTemplate=AVResult.html" req = urllib2.Request(url) response = urllib2.urlopen(req) the_page = response.read() soup = BeautifulSoup(the_page) soup.findAll('td',attrs={'class':'empformbody'}) 现在在上面的代码中，我们可以findAll用来获取标签和与其相关的信息，但是我想使用xpath。是否可以将xpath与BeautifulSoup一起使用？如果可能的话，任何人都可以给我提供示例代码，以便提供更多帮助吗？

105 python  xpath  beautifulsoup  urllib 

我正在尝试使用python自动下载历史股票数据。我尝试打开的URL用CSV文件响应，但是我无法使用urllib2打开。我曾尝试按照前面几个问题中的说明更改用户代理，甚至尝试接受响应cookie，但没有运气。你能帮忙吗？ 注意：相同的方法适用于yahoo Finance。 码： import urllib2,cookielib site= "http://www.nseindia.com/live_market/dynaContent/live_watch/get_quote/getHistoricalData.jsp?symbol=JPASSOCIAT&fromDate=1-JAN-2012&toDate=1-AUG-2012&datePeriod=unselected&hiddDwnld=true" hdr = {'User-Agent':'Mozilla/5.0'} req = urllib2.Request(site,headers=hdr) page = urllib2.urlopen(req) 错误 http_error_default中的文件“ C：\ Python27 \ lib \ urllib2.py”，第527行，引发HTTPError（req.get_full_url（），代码，msg，hdrs，fp）urllib2.HTTPError：HTTP错误403：禁止 谢谢你的协助

102 python  http  urllib