如何使用Python拍摄网站的屏幕截图/图片?


68

我要实现的是从python中的任何网站获取网站截图。

环境:Linux


4
快速搜索该站点会发现很多与此相似的副本。这里有一个良好的开端:stackoverflow.com/questions/713938/...
Shog9

Shog9:谢谢!您的链接有一些...将对其进行检查。
Esteban Feldman,2009年

Shog9:为什么不将其添加为答案?这样可以给你积分。
Esteban Feldman,2009年

1
@Esteban:这不是我的工作-别人花时间去研究它并找到资源;我只是发布链接。:-)
Shog9年9

我现在建议对phantomjs扶着按照这里的解释,因为它提供了一个非常干净和可靠的解决方案:stackoverflow.com/questions/9390493/...
ylluminate

Answers:


16

在Mac上,有webkit2png,在Linux + KDE上,可以使用khtml2png。我已经尝试了前者,并且效果很好,并且听说后者已投入使用。

我最近遇到了QtWebKit,它声称是跨平台的(我猜Qt将WebKit卷入了他们的库中)。但是我从未尝试过,所以我无法告诉您更多信息。

QtWebKit链接显示了如何从Python访问。您至少应该能够使用子流程来与其他人进行相同的操作。


2
根据网站,khtml2png已过时,他们建议使用python-webkit2png
sebix

47

这是使用webkit的简单解决方案:http : //webscraping.com/blog/Webpage-screenshots-with-webkit/

import sys
import time
from PyQt4.QtCore import *
from PyQt4.QtGui import *
from PyQt4.QtWebKit import *

class Screenshot(QWebView):
    def __init__(self):
        self.app = QApplication(sys.argv)
        QWebView.__init__(self)
        self._loaded = False
        self.loadFinished.connect(self._loadFinished)

    def capture(self, url, output_file):
        self.load(QUrl(url))
        self.wait_load()
        # set to webpage size
        frame = self.page().mainFrame()
        self.page().setViewportSize(frame.contentsSize())
        # render image
        image = QImage(self.page().viewportSize(), QImage.Format_ARGB32)
        painter = QPainter(image)
        frame.render(painter)
        painter.end()
        print 'saving', output_file
        image.save(output_file)

    def wait_load(self, delay=0):
        # process app events until page loaded
        while not self._loaded:
            self.app.processEvents()
            time.sleep(delay)
        self._loaded = False

    def _loadFinished(self, result):
        self._loaded = True

s = Screenshot()
s.capture('http://webscraping.com', 'website.png')
s.capture('http://webscraping.com/blog', 'blog.png')

效果很好,谢谢。但是,仅当从命令行运行时,它才能可靠地工作。在django项目中,将使用subprocess.Popen()
Steve K

1
在python网络框架中可以正常工作。但是,需要付出一些努力才能使Webkit正常运行。
hoju 2012年

2
有人使用@hoju的方法遇到问题吗?并非在每个网页上都有效...
www.pieronigro.de 2014年

1
我正在循环运行此代码,但是第一次运行良好,并且代码程序的结尾已终止...并收到消息分段错误(核心已转储),请您帮我在循环中运行此代码
Manish Patel

1
我只是尝试在Earth :: Global weather map上使用此方法,并且它仅给出黑色图像,因此它不适用于所有网页。我猜这与在该网站上运行的动画有关吗?
DrBwts '16

37

这是我从各种渠道获得帮助的解决方案。它需要完整的网页屏幕截图,并进行裁剪(可选),并从裁剪的图像生成缩略图。以下是要求:

要求:

  1. 安装NodeJS
  2. 使用Node的包管理器安装phantomjs: npm -g install phantomjs
  3. 安装硒(如果正在使用,请在您的virtualenv中)
  4. 安装imageMagick
  5. 将phantomjs添加到系统路径(在Windows上)

import os
from subprocess import Popen, PIPE
from selenium import webdriver

abspath = lambda *p: os.path.abspath(os.path.join(*p))
ROOT = abspath(os.path.dirname(__file__))


def execute_command(command):
    result = Popen(command, shell=True, stdout=PIPE).stdout.read()
    if len(result) > 0 and not result.isspace():
        raise Exception(result)


def do_screen_capturing(url, screen_path, width, height):
    print "Capturing screen.."
    driver = webdriver.PhantomJS()
    # it save service log file in same directory
    # if you want to have log file stored else where
    # initialize the webdriver.PhantomJS() as
    # driver = webdriver.PhantomJS(service_log_path='/var/log/phantomjs/ghostdriver.log')
    driver.set_script_timeout(30)
    if width and height:
        driver.set_window_size(width, height)
    driver.get(url)
    driver.save_screenshot(screen_path)


def do_crop(params):
    print "Croping captured image.."
    command = [
        'convert',
        params['screen_path'],
        '-crop', '%sx%s+0+0' % (params['width'], params['height']),
        params['crop_path']
    ]
    execute_command(' '.join(command))


def do_thumbnail(params):
    print "Generating thumbnail from croped captured image.."
    command = [
        'convert',
        params['crop_path'],
        '-filter', 'Lanczos',
        '-thumbnail', '%sx%s' % (params['width'], params['height']),
        params['thumbnail_path']
    ]
    execute_command(' '.join(command))


def get_screen_shot(**kwargs):
    url = kwargs['url']
    width = int(kwargs.get('width', 1024)) # screen width to capture
    height = int(kwargs.get('height', 768)) # screen height to capture
    filename = kwargs.get('filename', 'screen.png') # file name e.g. screen.png
    path = kwargs.get('path', ROOT) # directory path to store screen

    crop = kwargs.get('crop', False) # crop the captured screen
    crop_width = int(kwargs.get('crop_width', width)) # the width of crop screen
    crop_height = int(kwargs.get('crop_height', height)) # the height of crop screen
    crop_replace = kwargs.get('crop_replace', False) # does crop image replace original screen capture?

    thumbnail = kwargs.get('thumbnail', False) # generate thumbnail from screen, requires crop=True
    thumbnail_width = int(kwargs.get('thumbnail_width', width)) # the width of thumbnail
    thumbnail_height = int(kwargs.get('thumbnail_height', height)) # the height of thumbnail
    thumbnail_replace = kwargs.get('thumbnail_replace', False) # does thumbnail image replace crop image?

    screen_path = abspath(path, filename)
    crop_path = thumbnail_path = screen_path

    if thumbnail and not crop:
        raise Exception, 'Thumnail generation requires crop image, set crop=True'

    do_screen_capturing(url, screen_path, width, height)

    if crop:
        if not crop_replace:
            crop_path = abspath(path, 'crop_'+filename)
        params = {
            'width': crop_width, 'height': crop_height,
            'crop_path': crop_path, 'screen_path': screen_path}
        do_crop(params)

        if thumbnail:
            if not thumbnail_replace:
                thumbnail_path = abspath(path, 'thumbnail_'+filename)
            params = {
                'width': thumbnail_width, 'height': thumbnail_height,
                'thumbnail_path': thumbnail_path, 'crop_path': crop_path}
            do_thumbnail(params)
    return screen_path, crop_path, thumbnail_path


if __name__ == '__main__':
    '''
        Requirements:
        Install NodeJS
        Using Node's package manager install phantomjs: npm -g install phantomjs
        install selenium (in your virtualenv, if you are using that)
        install imageMagick
        add phantomjs to system path (on windows)
    '''

    url = 'http://stackoverflow.com/questions/1197172/how-can-i-take-a-screenshot-image-of-a-website-using-python'
    screen_path, crop_path, thumbnail_path = get_screen_shot(
        url=url, filename='sof.png',
        crop=True, crop_replace=False,
        thumbnail=True, thumbnail_replace=False,
        thumbnail_width=200, thumbnail_height=150,
    )

这些是生成的图像:


在我的Django视图中完美运行。无需设置默认用户代理,只需设置屏幕分辨率即可。
serfer2

如果网页需要访问证书怎么办?
Amir Qayyum Khan 2015年

3
问题是针对Python,而不是NodeJS。
Zoran Pavlovic

答案是针对Python的,而不是针对NodeJS的,这就是许多公司如何使用Python运行的东西来进行虚拟测试用户的工作(他可以在没有Node的情况下安装PhantomJS,但是使用npm会容易得多,尤其是如果将其部署到远程系统)
贡萨洛·维埃拉

这是一个很好的答案,但是PhantomJS已停产。您可以替换“ webdriver.PhantomJS()”
GregD

20

可以使用硒

from selenium import webdriver

DRIVER = 'chromedriver'
driver = webdriver.Chrome(DRIVER)
driver.get('https://www.spotify.com')
screenshot = driver.save_screenshot('my_screenshot.png')
driver.quit()

https://sites.google.com/a/chromium.org/chromedriver/getting-started


这很好,又快。有没有办法获得整页?当前,仅页面的顶部将被保存。例如,如果页面可以滚动到底部,则上面的内容只会一直滚动到顶部。
Quetzalcoatl

1
@Quetzalcoatl您可以使用滚动网页driver.execute_script("window.scrollTo(0, Y)")。其中“ Y”是屏幕高度。您可以screenshot = driver.save_screenshot('my_screenshot.png')循环设置上述代码,直到覆盖整个网页为止。我对此不太确定,但从逻辑上讲,这对我来说很好。
Shashank Gupta

@Quetzalcoatl您也可以 driver.execute_script('document.body.style.zoom = "50%"')
GregD'4

1
我们需要安装Chrome吗?
cikatomo'5

@cikatomo是的,您确实需要安装chrome。
Newskooler

6

我无法评论ars的答案,但实际上我得到了Roland Tapken的代码使用QtWebkit运行,并且效果很好。

只是想确认Roland在他的博客上发布的内容在Ubuntu上能很好地工作。我们的生产版本最终没有使用他写的任何东西,但是我们使用PyQt / QtWebKit绑定取得了很大的成功。

注意:URL以前是:http : //www.blogs.uni-osnabrueck.de/rotapken/2008/12/03/create-screenshots-of-a-web-page-using-python-and-qtwebkit/我已经用工作副本对其进行了更新。


凉。我认为这就是我下次需要这样的库时要尝试的库。
ars

我们最终将RabbitMQ服务器置于其之上,并构建了一些代码来控制Xvfb服务器及其中运行的进程,以对正在构建的屏幕截图进行伪线程处理。它以可接受的内存使用量运行得很快。
aezell

4

使用Rendertron是一种选择。在后台,这是一个无头的Chrome,它暴露了以下端点:

  • /render/:url:例如,requests.get如果您对DOM感兴趣,请访问此路由。
  • /screenshot/:url:如果您对屏幕截图感兴趣,请访问此路线。

您将使用npm安装rendertron,rendertron在一个终端中运行,访问http://localhost:3000/screenshot/:url并保存文件,但是可在render-tron.appspot.com上获得一个演示,从而无需安装npm软件包就可以在本地运行此Python3代码段:

import requests

BASE = 'https://render-tron.appspot.com/screenshot/'
url = 'https://google.com'
path = 'target.jpg'
response = requests.get(BASE + url, stream=True)
# save file, see https://stackoverflow.com/a/13137873/7665691
if response.status_code == 200:
    with open(path, 'wb') as file:
        for chunk in response:
            file.write(chunk)

由于它的潜力,我非常喜欢这个答案,但是rendertron上的文档非常差,因此很难仅在这里的示例中就想出如何使用它。实际的工作示例是什么样的?说一个刚安装了rendertron并想在此处截屏的人吗?
NL23codes

像上面提到的那样,在安装rendertron之后,您将rendertron在终端上调用,然后它应该在端口3000上进行监听。然后,该页面的屏幕快照应位于localhost:3000 / screenshot / https:// stackoverflow。 com / questions /…。您可以通过使用自己喜欢的浏览器进行浏览来进行检查,而我的答案中的代码段基本上只是将该映像存储到驱动器中。当然,您必须替换BASE = 'http://localhost:3000/screenshot/'url = '/programming/1197172'
Michael H.

3

11年后...
使用Python3.6和拍摄网站截图Google PageSpeedApi Insights v5

import base64
import requests
import traceback
import urllib.parse as ul

# It's possible to make requests without the api key, but the number of requests is very limited  

url = "https://duckgo.com"
urle = ul.quote_plus(url)
image_path = "duckgo.jpg"

key = "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxx"
strategy = "desktop" # "mobile"
u = f"https://www.googleapis.com/pagespeedonline/v5/runPagespeed?key={key}&strategy={strategy}&url={urle}"

try:
    j = requests.get(u).json()
    ss_encoded = j['lighthouseResult']['audits']['final-screenshot']['details']['data'].replace("data:image/jpeg;base64,", "")
    ss_decoded = base64.b64decode(ss_encoded)
    with open(image_path, 'wb+') as f:
        f.write(ss_decoded) 
except :
    print(traceback.format_exc())
    exit(1)

笔记:


2

您可以使用Google Page Speed API轻松完成任务。在我当前的项目中,我使用了用Python编写的Google Page Speed API的查询来捕获所提供的任何Web URL的屏幕快照并将其保存到某个位置。看一看。

import urllib2
import json
import base64
import sys
import requests
import os
import errno

#   The website's URL as an Input
site = sys.argv[1]
imagePath = sys.argv[2]

#   The Google API.  Remove "&strategy=mobile" for a desktop screenshot
api = "https://www.googleapis.com/pagespeedonline/v1/runPagespeed?screenshot=true&strategy=mobile&url=" + urllib2.quote(site)

#   Get the results from Google
try:
    site_data = json.load(urllib2.urlopen(api))
except urllib2.URLError:
    print "Unable to retreive data"
    sys.exit()

try:
    screenshot_encoded =  site_data['screenshot']['data']
except ValueError:
    print "Invalid JSON encountered."
    sys.exit()

#   Google has a weird way of encoding the Base64 data
screenshot_encoded = screenshot_encoded.replace("_", "/")
screenshot_encoded = screenshot_encoded.replace("-", "+")

#   Decode the Base64 data
screenshot_decoded = base64.b64decode(screenshot_encoded)

if not os.path.exists(os.path.dirname(impagepath)):
    try:
        os.makedirs(os.path.dirname(impagepath))
        except  OSError as exc:
            if exc.errno  != errno.EEXIST:
                raise

#   Save the file
with open(imagePath, 'w') as file_:
    file_.write(screenshot_decoded)

不幸的是,以下是缺点。如果这些无关紧要,则可以继续使用Google Page Speed API。它运作良好。

  • 最大宽度为320像素
  • 根据Google API配额,每天最多有25,000个请求

2

使用Web服务s-shot.ru(不是那么快),但是通过链接配置轻松设置所需的内容。而且您可以轻松捕获整个页面的屏幕截图

import requests
import urllib.parse

BASE = 'https://mini.s-shot.ru/1024x0/JPEG/1024/Z100/?' # you can modify size, format, zoom
url = 'https://stackoverflow.com/'#or whatever link you need
url = urllib.parse.quote_plus(url) #service needs link to be joined in encoded format
print(url)

path = 'target1.jpg'
response = requests.get(BASE + url, stream=True)

if response.status_code == 200:
    with open(path, 'wb') as file:
        for chunk in response:
            file.write(chunk)

2

这是一个古老的问题,大多数答案都过时了。目前,我将做2件事情之一。

1.创建一个可以截取屏幕截图的程序

我将使用Pyppeteer截取网站的屏幕截图。它在Puppeteer软件包上运行。Puppeteer旋转了无头的chrome浏览器,因此屏幕截图看起来就像在普通浏览器中一样。

这取自pyppeteer文档:

import asyncio
from pyppeteer import launch

async def main():
    browser = await launch()
    page = await browser.newPage()
    await page.goto('https://example.com')
    await page.screenshot({'path': 'example.png'})
    await browser.close()

asyncio.get_event_loop().run_until_complete(main())

2.使用屏幕截图API

您还可以使用屏幕截图API,例如API。令人高兴的是,您不必自己进行所有设置,而只需调用API端点即可。

这取自截图API的文档:

import urllib.parse
import urllib.request
import ssl

ssl._create_default_https_context = ssl._create_unverified_context

# The parameters.
token = "YOUR_API_TOKEN"
url = urllib.parse.quote_plus("https://example.com")
width = 1920
height = 1080
output = "image"

# Create the query URL.
query = "https://screenshotapi.net/api/v1/screenshot"
query += "?token=%s&url=%s&width=%d&height=%d&output=%s" % (token, url, width, height, output)

# Call the API.
urllib.request.urlretrieve(query, "./example.png")

1

您无需提及正在运行的环境,这会带来很大的不同,因为没有一种能够呈现HTML的纯Python网络浏览器。

但是,如果您使用的是Mac,那么我成功使用了webkit2png。如果没有,正如其他人指出的那样,有很多选择。


1

我创建了一个名为pywebcapture的库,该库可以包装硒:

pip install pywebcapture

使用pip安装后,您可以执行以下操作轻松获得完整尺寸的屏幕截图:

# import modules
from pywebcapture import loader, driver

# load csv with urls
csv_file = loader.CSVLoader("csv_file_with_urls.csv", has_header_bool, url_column, optional_filename_column)
uri_dict = csv_file.get_uri_dict()

# create instance of the driver and run
d = driver.Driver("path/to/webdriver/", output_filepath, delay, uri_dict)
d.run()

请享用!

https://pypi.org/project/pywebcapture/


0
import subprocess

def screenshots(url, name):
    subprocess.run('webkit2png -F -o {} {} -D ./screens'.format(name, url), 
      shell=True)

4
欢迎使用Stack Overflow!为了使您的答案脱颖而出,最好对您的方法进行一些解释(例如,?中所有这些参数是webkit2png什么)和文档链接。
dspencer

webkit2png默认情况下未安装
沃尔夫

-1

尝试这个..

#!/usr/bin/env python

import gtk.gdk

import time

import random

while 1 :
    # generate a random time between 120 and 300 sec
    random_time = random.randrange(120,300)

    # wait between 120 and 300 seconds (or between 2 and 5 minutes)
    print "Next picture in: %.2f minutes" % (float(random_time) / 60)

    time.sleep(random_time)

    w = gtk.gdk.get_default_root_window()
    sz = w.get_size()

    print "The size of the window is %d x %d" % sz

    pb = gtk.gdk.Pixbuf(gtk.gdk.COLORSPACE_RGB,False,8,sz[0],sz[1])
    pb = pb.get_from_drawable(w,w.get_colormap(),0,0,0,0,sz[0],sz[1])

    ts = time.time()
    filename = "screenshot"
    filename += str(ts)
    filename += ".png"

    if (pb != None):
        pb.save(filename,"png")
        print "Screenshot saved to "+filename
    else:
        print "Unable to get the screenshot."
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.