想跑个 AI 模型或者做点深度学习实验，但手头电脑没显卡，或者显卡太弱跑不动。GPU 云服务器就是解决这个问题的。你不需要买一张几万块的卡，按小时租就行，用完就关，花几块钱就能跑一次实验。下面把从选平台到跑起第一个任务的完整流程捋一遍。
先搞清楚你要租什么样的卡 GPU 云服务器就是机房里有显卡的机器，你通过网络连上去用。跟自己在电脑上装显卡的区别在于，你不用一次性掏钱买硬件，也不用操心驱动和散热，按使用时长付费就行。
选卡的时候看三个东西。显存是最关键的，跑深度学习模型，显存不够直接跑不起来。轻量级的模型比如小的 CNN 或者做一些图像处理，8GB 到 12GB 够用。要跑 Stable Diffusion 这类生成模型，建议 16GB 起步。如果是 BERT、GPT 这种大模型，32GB 以上比较稳妥。显卡型号上，RTX 3090 和 4090 是个人开发者用得最多的，性价比高，24GB 显存能覆盖大部分场景。A100 和 V100 属于专业级，显存更大、算力更强，但价格也贵不少，除非你确实需要，否则新手没必要一上来就租这种。
去哪儿租，国内和国外不一样 国内用得比较多的平台是 AutoDL、恒源云、智星云这几家。AutoDL 的特点是镜像丰富，PyTorch 和 TensorFlow 的官方镜像都有，选好直接开机就能用，省去装环境的麻烦。价格上，RTX 4090 的时租在 1.6 到 2.5 元之间，RTX 3090 更便宜一些，大概一块钱左右一小时。恒源云的价格跟 AutoDL 接近，适合预算紧张的短期任务。这些平台都支持按秒或按小时计费，跑十几分钟的小实验也不会浪费钱。
国外的话，Vast.ai 和 RunPod 是两个常被提到的平台，价格比 AWS、GCP 这些大厂便宜不少。Vast.ai 上面有各种个人和小机房提供的 GPU，RTX 3090 的时租大概 0.2 到 0.4 美元，比国内平台略贵一点，但有时候能找到很便宜的 A100。RunPod 的体验更规整一些，适合需要稳定环境的人。缺点是这些平台的服务器大多在欧美，国内连过去网络延迟高，如果是交互式开发会觉得卡。
新手建议先从 AutoDL 这种国内平台开始，注册简单，界面是中文的，按量计费门槛低，试错成本小。
创建实例的过程 注册登录之后，在控制台里找到“创建实例”或者“租用实例”的入口。第一步选显卡型号和数量，一般选一张就行，多卡适合需要并行训练的大模型。第二步选操作系统和镜像，Ubuntu 20.04 或者 22.04 是兼容性最好的选择。镜像这块有讲究，如果你用的是 AutoDL，它会提供预装了 PyTorch、CUDA 和 cuDNN 的镜像，选一个跟你项目匹配的版本，开机就能直接用。如果选的是干净的 Ubuntu 镜像，那就得自己装驱动和框架，多花不少时间。
第三步配存储。系统盘一般给 50GB 到 100GB，用来装系统和软件。数据盘单独挂一块，用来放数据集和模型文件，建议至少 100GB。存储单独计费，但价格不贵，AutoDL 大概是每 GB 每天几分钱。第四步设置安全组，开放 SSH 的 22 端口，如果你要用 Jupyter Lab，把 8888 端口也开上。
最后确认配置和价格，点创建。实例初始化一般两三分钟，耐心等一下。
连上去的两种方式
实例跑起来之后，控制台会给你一个公网 IP、一个 SSH 端口和一个登录密码。最常用的连接方式是 SSH，在你自己的电脑上打开终端（Windows 用 PowerShell 或者 Xshell，Mac 和 Linux 直接用终端），输入 ssh -p 端口号 root@公网IP，回车，再输密码就进去了。
如果你不习惯命令行，很多平台提供 Jupyter Lab 的网页入口。在控制台里点一下“Jupyter”或者类似的按钮，浏览器会打开一个类似 Notebook 的界面，你可以在上面直接写 Python 代码，跟本地用 Jupyter 没太大区别。这种方式适合调试和跑小脚本，但传大文件还是得走 SSH 或者平台自带的上传功能。
连上之后第一件事，敲一下 nvidia-smi。这个命令会显示当前 GPU 的型号、显存使用情况、驱动版本和 CUDA 版本。如果能看到显卡信息，说明环境没问题。如果提示 command not found，那可能是驱动没装好，得先去装 NVIDIA 驱动。
环境验证和跑第一个任务
nvidia-smi 能正常输出之后，再确认一下 PyTorch 能不能调用 GPU。进 Python，敲两行：
import torch
print(torch.cuda.is_available())
返回 True 就说明 PyTorch 已经能识别到 GPU 了。如果返回 False，检查一下你装的 PyTorch 版本对应的 CUDA 版本跟驱动版本是不是匹配的，这是新手最容易踩的坑之一。镜像里预装的通常都是匹配好的，自己手动装的话要留意版本对应关系。
确认没问题之后，把你的代码和数据传上去。数据不大的话用 scp 命令从本地上传，或者用平台自带的文件上传功能。数据集特别大的话，用对象存储挂载，或者从网盘直接拉。代码传上去之后，在终端里跑起来就行。如果训练时间比较长，记得用 tmux 或者 screen 开一个会话，这样 SSH 断开的时候任务不会跟着停。
怎么控制成本，别花冤枉钱 GPU 云服务器最大的坑就是忘了关机。按量计费的实例，你人走了它还在跑，钱一直在扣。养成习惯：任务跑完就关机，或者设置自动关机策略。很多平台支持“闲置 N 分钟后自动释放”，设个 30 分钟，忘了也不至于损失太大。
如果任务对中断不敏感，比如批量处理数据或者调参实验，可以用竞价实例。竞价实例的价格通常只有按量付费的三到五折，但资源紧张的时候会被系统回收，适合能容忍中断的任务。跑之前把检查点保存策略设好，被回收了也能从断点恢复。
包年包月比按量付费便宜不少，长期跑的话月单价能降四到六成。但如果你只是做实验，按量计费更灵活，用多少付多少，不用被合约绑住。
还有一个容易忽略的隐性成本是存储和流量。实例关机之后，数据盘还在，存储费照收。不用的数据及时清理，快照也别留太多。AutoDL 的存储超出基础额度会按每 GB 几毛钱扣，连续用几天下来也是一笔钱。
常见的新手坑 最容易犯的错是显存选小了。看着价格便宜选了个 8GB 的卡，结果模型跑不起来，又得换实例重来。宁可多花一点选大显存的，也别在这一步省。另一个是忘了开安全组端口，SSH 连不上，折腾半天才发现是防火墙的问题。还有就是把代码和数据都放在系统盘，系统盘满了实例会出各种奇怪的问题，数据盘单独挂一块专门放数据，省心很多。