我正在运行Keras模型,提交截止日期为36小时,如果我在cpu上训练我的模型大约需要50个小时,是否可以在gpu上运行Keras?
我正在使用Tensorflow后端,并在未安装anaconda的Jupyter笔记本上运行它。
我正在运行Keras模型,提交截止日期为36小时,如果我在cpu上训练我的模型大约需要50个小时,是否可以在gpu上运行Keras?
我正在使用Tensorflow后端,并在未安装anaconda的Jupyter笔记本上运行它。
Answers:
是的,您可以在GPU上运行keras模型。几件事您将必须首先检查。
sess = tf.Session(config=tf.ConfigProto(log_device_placement=True))
要么
from tensorflow.python.client import device_lib
print(device_lib.list_local_devices())
输出将是这样的:
[
name: "/cpu:0"device_type: "CPU",
name: "/gpu:0"device_type: "GPU"
]
完成所有这些操作后,您的模型将在GPU上运行:
要检查keras(> = 2.1.1)是否使用GPU:
from keras import backend as K
K.tensorflow_backend._get_available_gpus()
祝一切顺利。
Could not find any downloads that satisfy the requirement tensorflow in /usr/local/lib/python2.7/dist-packages Downloading/unpacking tensorflow Cleaning up... No distributions at all found for tensorflow in /usr/local/lib/python2.7/dist-packages Storing debug log for failure in /home/hyperworks/.pip/pip.log
K.tensorflow_backend._get_available_gpus()
在TensorFlow 2.0中不起作用。
当然。我想您已经安装了TensorFlow for GPU。
导入keras后,需要添加以下块。我正在使用具有56核心cpu和gpu的计算机。
import keras
import tensorflow as tf
config = tf.ConfigProto( device_count = {'GPU': 1 , 'CPU': 56} )
sess = tf.Session(config=config)
keras.backend.set_session(sess)
当然,这种用法会强制执行我的计算机的最大限制。您可以减少cpu和gpu消耗值。
module 'tensorflow' has no attribute 'ConfigProto'
2.0兼容答案:虽然上面提到的答案详细说明了如何在Keras Model上使用GPU,但我想说明如何实现Tensorflow Version 2.0
。
要知道有多少个GPU可用,我们可以使用以下代码:
print("Num GPUs Available: ", len(tf.config.experimental.list_physical_devices('GPU')))
要找出您的操作和张量分配给哪些设备,请将其tf.debugging.set_log_device_placement(True)
作为程序的第一条语句。
启用设备放置日志记录将导致打印任何Tensor分配或操作。例如,运行以下代码:
tf.debugging.set_log_device_placement(True)
# Create some tensors
a = tf.constant([[1.0, 2.0, 3.0], [4.0, 5.0, 6.0]])
b = tf.constant([[1.0, 2.0], [3.0, 4.0], [5.0, 6.0]])
c = tf.matmul(a, b)
print(c)
给出如下所示的输出:
在设备/ job:localhost / replica:0 / task:0 / device:GPU:0 tf.Tensor([[22. 28.] [49. 64.]],shape =(2,2)中执行op MatMul dtype = float32)
有关更多信息,请参考此链接
当然。如果您在Tensorflow或CNTk后端上运行,则代码将默认在GPU设备上运行。但是,如果Theano后端,则可以使用以下代码
Theano标志:
“ THEANO_FLAGS = device = gpu,floatX = float32 python my_keras_script.py”