我正在使用BeautifulSoup抓取网址，并且我有以下代码
import urllib
import urllib2
from BeautifulSoup import BeautifulSoup
url = "http://www.example.com/servlet/av/ResultTemplate=AVResult.html"
req = urllib2.Request(url)
response = urllib2.urlopen(req)
the_page = response.read()
soup = BeautifulSoup(the_page)
soup.findAll('td',attrs={'class':'empformbody'})现在在上面的代码中，我们可以findAll用来获取标签和与其相关的信息，但是我想使用xpath。是否可以将xpath与BeautifulSoup一起使用？如果可能的话，任何人都可以给我提供示例代码，以便提供更多帮助吗？
Answers:
不，BeautifulSoup本身不支持XPath表达式。
另一种库，LXML，不支持的XPath 1.0。它具有BeautifulSoup兼容模式，它将尝试以Soup的方式解析损坏的HTML。但是，默认的lxml HTML解析器可以很好地完成解析损坏的HTML的工作，而且我相信它的速度更快。
将文档解析为lxml树后，就可以使用该.xpath()方法搜索元素。
try:
# Python 2
from urllib2 import urlopen
except ImportError:
from urllib.request import urlopen
from lxml import etree
url = "http://www.example.com/servlet/av/ResultTemplate=AVResult.html"
response = urlopen(url)
htmlparser = etree.HTMLParser()
tree = etree.parse(response, htmlparser)
tree.xpath(xpathselector)还有一个带有附加功能的专用lxml.html()模块。
请注意，在上面的示例中，我将response对象直接传递给lxml，因为直接从流中读取解析器比将响应首先读取到大字符串中更为有效。要对requests库执行相同的操作，您需要在启用透明传输解压缩后设置stream=True并传递response.raw对象：
import lxml.html
import requests
url = "http://www.example.com/servlet/av/ResultTemplate=AVResult.html"
response = requests.get(url, stream=True)
response.raw.decode_content = True
tree = lxml.html.parse(response.raw)您可能会感兴趣的是CSS选择器支持；在CSSSelector类转换CSS语句转换为XPath表达式，使您的搜索td.empformbody更加容易：
from lxml.cssselect import CSSSelector
td_empformbody = CSSSelector('td.empformbody')
for elem in td_empformbody(tree):
# Do something with these table cells.即将来临：BeautifulSoup本身确实具有非常完整的CSS选择器支持：
for cell in soup.select('table#foobar td.empformbody'):
# Do something with these table cells.我可以确认Beautiful Soup中没有XPath支持。
正如其他人所说，BeautifulSoup没有xpath支持。可能有很多方法可以从xpath中获取某些东西，包括使用Selenium。但是，以下是可在Python 2或3中使用的解决方案：
from lxml import html
import requests
page = requests.get('http://econpy.pythonanywhere.com/ex/001.html')
tree = html.fromstring(page.content)
#This will create a list of buyers:
buyers = tree.xpath('//div[@title="buyer-name"]/text()')
#This will create a list of prices
prices = tree.xpath('//span[@class="item-price"]/text()')
print('Buyers: ', buyers)
print('Prices: ', prices)我以此为参考。
urllib2库使用翻译为Python 3 urllib.request？
当您使用lxml时，一切都很简单：
tree = lxml.html.fromstring(html)
i_need_element = tree.xpath('//a[@class="shared-components"]/@href')但是使用BeautifulSoup BS4时也很简单：
试试这个魔术：
soup = BeautifulSoup(html, "lxml")
i_need_element = soup.select ('a[class*="shared-components"]')如您所见，这不支持子标签，因此我删除了“ / @ href”部分
select()是针对CSS选择器的，根本不是XPath。如您所见，它不支持子标签。虽然我不确定当时是否正确，但现在肯定不是。
也许您可以在没有XPath的情况下尝试以下操作
from simplified_scrapy.simplified_doc import SimplifiedDoc
html = '''
<html>
<body>
<div>
<h1>Example Domain</h1>
<p>This domain is for use in illustrative examples in documents. You may use this
domain in literature without prior coordination or asking for permission.</p>
<p><a href="https://www.iana.org/domains/example">More information...</a></p>
</div>
</body>
</html>
'''
# What XPath can do, so can it
doc = SimplifiedDoc(html)
# The result is the same as doc.getElementByTag('body').getElementByTag('div').getElementByTag('h1').text
print (doc.body.div.h1.text)
print (doc.div.h1.text)
print (doc.h1.text) # Shorter paths will be faster
print (doc.div.getChildren())
print (doc.div.getChildren('p'))这是一个很旧的线程，但是现在有一个解决方法，当时在BeautifulSoup中可能还没有。
这是我所做的一个例子。我使用“请求”模块读取RSS提要，并在名为“ rss_text”的变量中获取其文本内容。这样，我就可以通过BeautifulSoup运行它，搜索xpath / rss / channel / title，并检索其内容。它并不是XPath的全部功能（通配符，多个路径等），但是，如果您只有要定位的基本路径，则可以使用。
from bs4 import BeautifulSoup
rss_obj = BeautifulSoup(rss_text, 'xml')
cls.title = rss_obj.rss.channel.title.get_text()