如果(URL在两页之间没有变化),则应在scrapy.Request()中添加dont_filter = True,否则scrapy在处理完第一页后会发现此URL是重复的。
如果您需要使用javascript渲染页面,则应使用scrapy-splash,您也可以检查此scrapy中间件,该中间件可以使用硒处理javascript页面,也可以通过启动任何无头浏览器来做到这一点
但是,更有效,更快速的解决方案是检查您的浏览器,并查看在提交表单或触发特定事件期间发出了哪些请求。尝试模拟与浏览器发送的请求相同的请求。如果您可以正确复制请求,则将获得所需的数据。
这是一个例子:
class ScrollScraper(Spider):
name = "scrollingscraper"
quote_url = "http://quotes.toscrape.com/api/quotes?page="
start_urls = [quote_url + "1"]
def parse(self, response):
quote_item = QuoteItem()
print response.body
data = json.loads(response.body)
for item in data.get('quotes', []):
quote_item["author"] = item.get('author', {}).get('name')
quote_item['quote'] = item.get('text')
quote_item['tags'] = item.get('tags')
yield quote_item
if data['has_next']:
next_page = data['page'] + 1
yield Request(self.quote_url + str(next_page))
如果每个页面的分页网址都相同并且使用POST请求,则可以使用scrapy.FormRequest()而不是scrapy.Request(),两者都相同,但是FormRequest向构造函数添加了新的参数(formdata =)。
这是这篇文章的另一个蜘蛛示例:
class SpiderClass(scrapy.Spider):
name = 'ajax'
page_incr = 1
start_urls = ['http://www.pcguia.pt/category/reviews/#paginated=1']
pagination_url = 'http://www.pcguia.pt/wp-content/themes/flavor/functions/ajax.php'
def parse(self, response):
sel = Selector(response)
if self.page_incr > 1:
json_data = json.loads(response.body)
sel = Selector(text=json_data.get('content', ''))
if sel.xpath('//div[@class="panel-wrapper"]'):
self.page_incr += 1
formdata = {
'sorter': 'recent',
'location': 'main loop',
'loop': 'main loop',
'action': 'sort',
'view': 'grid',
'columns': '3',
'paginated': str(self.page_incr),
'currentquery[category_name]': 'reviews'
}
yield FormRequest(url=self.pagination_url, formdata=formdata, callback=self.parse)
else:
return