实验室Linux系统服务器 Pytorch环境搭建

  记录实验室Linux系统服务器上Pytorch环境搭建的过程,作为个人笔记。(2021-10-15)

  conda简介

  Conda 是一个开源的软件包管理系统和环境管理系统,用于安装多个版本的软件包及其依赖关系,并在它们之间轻松切换。 Conda 是为 Python 程序创建的,适用于 Linux,OS X 和Windows,也可以打包和分发其他软件。

  anaconda和miniconda的区别

  conda分为anaconda和miniconda。anaconda是包含一些常用包的版本(这里的常用不代表你常用 微笑.jpg),miniconda则是精简版,需要啥装啥。

  pip install和conda install有什么区别

  知乎高赞回答

  Pytorch 环境搭建

  1.安装Anaconda

  进入Anaconda官网或者历史版本页面找到想要下载的anaconda-linux安装包,复制下载地址,在服务器上直接用wget命令下载,比如:

  安装包下载后,用bash 文件名命令安装

  注意,以前的教程都是教一路yes下来的,但是会有隐患,特别是当你的服务器之前有安装过软件的话,conda会污染你原来的环境,把你原来设置好的东西进行更改。具体的惨痛教训请参见:

  Anaconda is a snake

  所以在询问是否将conda加入环境变量的时候选择no。

  安装结束后,如果你的外壳时Bash或Bourne变体,请用以下命令为当前用户启动conda$ echo ". /home/<user>/anaconda3/etc/profile.d/conda.sh" >> ~/.bashrc

  比如:echo ". /home/zhangzehong/anaconda3/etc/profile.d/conda.sh" >> ~/.bashrc

  使用以下命令source ~/.bashrc, 让上述命令立刻生效。

  输入 conda --version看看有没有对应的版本输出,有的话证明安装完成。

  2.建立虚拟环境

  conda create -n env_name package_name (创建名为env_name的虚拟环境,并在该环境下安装名为package_name 的包,可以指定新环境的版本号)比如:

  3.安装Pytorch及其他常用库

  用命令nvidia-smi查看自己服务器显卡的CUDA版本和驱动版本确定对应的Pytorch版本,进入Pytorch官网 ,找到对应版本下载对应的命令行,根据自己本身情况改动。

  由于Pytorch官网的服务器在国外,下载非常慢,有以下解决方法:大学生必备技能 梯子(懂得都懂)不从官网下载,更改为清华源(推荐,简单速度快)

  解决方法:

  配置清华源(如果安装pytorch的时候出现网络错误可以将https改成http)

  切换到之前创建的名为pytorch的虚拟环境

  这个时候你有可能遇到以下报错

  CommandNotFoundError: Your shell has not been properly configured to use 'conda deactivate'.

  这是一个比较玄学的问题,你可以试一下下面的命令行(基本都能解决问题)

  安装pytorch

  安装完成后,查看GPU是否可用

  conda常用指令

  conda list #查看安装了哪些包conda env list 或 conda info -e #查看当前存在哪些虚拟环境conda update conda #更新至最新版本,也会更新其他相关包conda update --all #更新所有包conda update package_name #更新指定的包conda create -n env_name package_name #创建名为env_name的新环境,并在该环境下安装名为package_name 的包,可以指定新环境的版本号,例如:conda create -n python2 python=python2.7 numpy pandas,创建了python2环境,python版本为2.7,同时还安装了numpy pandas包conda --version #查询conda版本conda activate env_name #切换至env_name环境conda deactivate #退出环境conda create --name new_env_name --clone old_env_name #复制old_env_name为new_env_nameconda remove --name env_name --all #删除环境conda env remove -n env_name #删除环境conda install --name env_name package_name #在指定的环境中安装包conda remove --name env_name package_name #在指定的环境中删除包conda remove package #删除当前环境中的包 conda -h 查询conda的命令使用

  设置channel镜像常用指令

  conda config --show channels #显示所有channels信息conda config --show #显示conda的所有config信息conda config --add channels channels_link #添加channelsconda config --remove channels channels_link #删除channelsconda config --set show_channel_urls yes #从channel中安装包时显示channel的url,这样就可以知道包的安装来源conda config --set always_yes false #在安装包时,确认[Y/N]不默认yes,由自己决定