我想从Jupyter笔记本中执行长时间运行的Python脚本,以便可以对运行中期生成的数据结构进行修改。
该脚本具有许多依赖性和命令行参数,并使用特定的virtualenv执行。是否可以从指定的virtualenv(与Jupyter安装的环境不同)在笔记本中交互运行Python脚本?
谢谢!
我想从Jupyter笔记本中执行长时间运行的Python脚本,以便可以对运行中期生成的数据结构进行修改。
该脚本具有许多依赖性和命令行参数,并使用特定的virtualenv执行。是否可以从指定的virtualenv(与Jupyter安装的环境不同)在笔记本中交互运行Python脚本?
谢谢!
Answers:
以下是对我有用的内容(非conda
python):(MacOS,即刻的python版本。如果您使用的是系统python,则可能(需要sudo
)在每个命令前加上)
首先激活virtualenv
如果重新开始,那么,例如,您可以使用virtualenvwrapper
$pip install virtualenvwrapper
$mkvirtualenv -p python2 py2env
$workon py2env
# This will activate virtualenv
(py2env)$
# Then install jupyter within the active virtualenv
(py2env)$ pip install jupyter
# jupyter comes with ipykernel, but somehow you manage to get an error due to ipykernel, then for reference ipykernel package can be installed using:
(py2env)$ pip install ipykernel
接下来,设置内核
(py2env)$ python -m ipykernel install --user --name py2env --display-name "Python2 (py2env)"
然后启动jupyter笔记本(此步骤无需激活venv)
(py2env)$ jupyter notebook
# or
#$ jupyter notebook
在jupyter笔记本下拉菜单中:Kernel >> Change Kernel >> <list of kernels>
您应该看到 Python2 (py2env)
内核
这也使识别内核的python版本变得容易,并且可以并行维护任一版本。
这是详细文档的链接 http://ipython.readthedocs.io/en/stable/install/kernel_install.html
使笔记本内核在其他笔记本中可用的更简单的解决方案。
我正在使用Linux + virtualenv + virtualenvwrapper。如果您使用不同的设置,请将一些命令更改为适当的命令,但是您应该了解一下。
mkvirtualenv jupyter2
workon jupyter2
(jupyter2) pip install jupyter
(jupyter2) ipython kernel install --name "jupyter2_Python_2" --user
最后一个命令创建~/.local/share/jupyter/kernels/jupyter2\ python\ 2/
目录
3个相同的东西
mkvirtualenv -p /usr/bin/python3 jupyter3
// this uses python3 as default python in virtualenv
workon jupyter3
(jupyter3) pip install jupyter
(jupyter3) ipython kernel install --name "jupyter3_Python_3" --user
完成后,无论您使用什么环境启动jupyter,都应该看到两个内核。您可以直接在中删除指向内核的链接~/.local/share/jupyter/kernels/
。要指定位置,如果只想从一个笔记本上运行多个内核,请提供选项ipython kernel install (--help)
或仅从中复制目录。~/.local/share/jupyter/kernels/
~/envs/jupyter3/share/jupyter
我发现此链接非常有用:
https://ocefpaf.github.io/python4oceanographers/blog/2014/09/01/ipython_kernel/
确保将jupyter安装到您的virtualenv中。万一链接消失了,这里是要点:
您需要创建一个新内核。您可以使用JSON文件指定内核。您的内核通常位于~/.ipython/kernels
。创建一个名为virtualenv的目录,并在其中创建您的kernel.json文件。例如,我的一条路径看起来像~./ipython/kernels/datamanip/kernel.json
这是我的kernel.json文件的样子:
{
"display_name": "Data Manipulation (Python2)",
"language": "python",
"codemirror_mode": {
"version": 3,
"name":"ipython"
},
"argv": [
"/Users/ed/.virtualenvs/datamanip/bin/python",
"-c",
"from IPython.kernel.zmq.kernelapp import main; main()",
"-f",
"{connection_file}"
]
}
我不确定codemirror_mode对象在做什么,但似乎没有任何害处。
根据文档,这确实很简单
您可以为IPython Notebook使用virtualenv。遵循以下步骤,实际上不需要第一步,只需确保通过以下方式激活了virtualenvsource ~/path-to-your-virtualenv/
将ipython内核模块安装到您的virtualenv中
workon my-virtualenv-name#激活您的virtualenv(如果尚未pip安装ipykernel)
(最重要的步骤)现在运行内核“自我安装”脚本:
python -m ipykernel install --user --name = my-virtualenv-name适当地替换--name参数。
现在,您应该可以在IPython笔记本菜单中看到您的内核:Kernel -> Change kernel
并可以切换到它(您可能需要刷新页面才能在列表中显示它)。从那时起,IPython就会记住该笔记本要使用哪个内核。
@singer的解决方案对我不起作用。这是起作用的:
. /path/to/virtualenv/.venv/bin/activate
python -m ipykernel install --user --name .venv --display-name .venv
参考:适用于不同环境的内核(官方文档)
ipython.readthedocs
ipython.readthedocs.io/en/stable/install/kernel_install.html ..上获取最新参考信息