Questions tagged «urlopen»

使用Python 3，我需要从URL请求json文档。 response = urllib.request.urlopen(request) 该response对象是带有read和readline方法的类似文件的对象。通常，可以使用在文本模式下打开的文件来创建JSON对象。 obj = json.load(fp) 我想做的是： obj = json.load(response) 但是，此方法不起作用，因为urlopen以二进制模式返回文件对象。 解决方法当然是： str_response = response.read().decode('utf-8') obj = json.loads(str_response) 但这感觉不好... 有没有更好的方法可以将字节文件对象转换为字符串文件对象？还是我缺少任何一个参数urlopen或json.load给出编码？

177 python  json  python-3.x  encoding  urlopen 

我正在尝试开发一个简单的网页抓取工具。我想提取没有HTML代码的文本。实际上，我实现了这个目标，但是我发现在某些加载了JavaScript的页面中，我没有获得良好的结果。 例如，如果一些JavaScript代码添加了一些文本，则看不到它，因为当我调用 response = urllib2.urlopen(request) 我得到的原始文本没有添加文本（因为在客户端执行了JavaScript）。 因此，我正在寻找一些解决此问题的想法。

175 python  web-scraping  python-2.x  urlopen