服务器使用 服务器使用什么总线接口网卡科普

平时很少有人留意服务器网卡插在主板哪个插槽,等到准备升级万兆网卡,或是排查网络性能瓶颈的时候,总线接口不了解就很容易出错。总线本质就是网卡和CPU、内存之间传输数据的通道。通道带宽不够,网卡本身性能再好也发挥不出来。服务器先后使用过多种总线接口,顺着时间线梳理更容易看懂。

最早在服务器上普及的是ISA总线,16位位宽,工作频率4.77MHz,带宽仅9MB/s。那个年代网卡大多是10Mbps,ISA勉强可以支撑。之后出现PCI总线,32位宽度,33MHz频率,带宽提升至133MB/s,网卡升级到100M甚至千兆都可以承载。PCI在服务器使用周期很长,但有明显缺陷:所有设备共用同一条总线,一台设备传输数据时其他设备只能等待,服务器插多块卡之后总线很容易拥堵。

服务器使用 服务器使用什么总线接口网卡科普

为解决共享总线带来的瓶颈,PCI-X被推出。名称里X代表eXtended,可以理解为PCI的增强版本。PCI-X位宽提升到64位,基础频率66MHz,最高可达133MHz,带宽上限1.06GB/s。这个规格在当年足够支撑多路千兆网卡、光纤通道卡、SAS RAID卡。PCI-X还有一项实用设计,使用寄存器到寄存器传输协议,发送方先把数据存入寄存器,接收端在单个时钟周期读取,接收端处理不过来时数据不会直接丢失。这项改动让PCI-X在服务器高负载场景下稳定性优于PCI。

PCI-X 2.0继续把频率提升到266MHz和533MHz,带宽分别达到2.1GB/s和4.3GB/s。到这一代,PCI-X已经可以满足多路万兆网卡和高速存储阵列的需求。但PCI-X底层依旧沿用PCI并行总线逻辑,共享带宽的根本问题没有消除。一台服务器插上四块网卡,PCI-X 533的4.3GB/s总带宽由全部设备瓜分,单块网卡实际分到的带宽可能只有1GB/s出头。接入设备越多,单设备分得带宽越低,这个结构性短板无法规避。

PCI Express就是用来解决这个固有缺陷。它放弃并行总线,改成点对点串行连接。每一块PCIe设备和主板之间拥有独立通道,不再和其他硬件争抢带宽。通道数量以lane作为单位,常见规格x1、x4、x8、x16,x1代表一条通道,x16代表十六条通道并行工作。这套架构让PCIe在延迟和扩展能力上全面超过PCI-X。

PCIe版本迭代基本就是带宽翻倍。1.0版本单通道单向250MB/s,x1总带宽250MB/s,x16达到4GB/s。2.0单通道提升至500MB/s,3.0大约1GB/s每通道,4.0为2GB/s,5.0达到4GB/s。放到网卡实例来看,双口25GbE网卡使用PCIe 3.0 x8,理论带宽8GB/s,扣除编码开销实际可用大约7GB/s。25GbE单口线速3.125GB/s,两个端口合计6.25GB/s,PCIe 3.0 x8刚好可以跑满。双口40GbE网卡两个端口合计需要约10GB/s带宽,PCIe 3.0 x8就不够,需要x16或者PCIe4.0 x8。

PCIe5.0单通道速率提升至32GT/s,x16规格可以支撑400GbE网卡。Broadcom和Intel都推出PCIe5.0 x16规格的400GbE网卡,面向AI训练集群和超大规模数据中心。这类网卡普通服务器无法安装,主板和CPU都必须支持PCIe5.0。兼容性方面PCIe向下兼容,5.0网卡插到4.0插槽可以运行,只是带宽降级为4.0水平;4.0网卡插在5.0插槽也能正常工作,但无法发挥5.0全部带宽。

服务器还有一种网卡直接集成在主板上,不占用PCIe插槽,叫做LOM,Lan on Motherboard。LOM网卡不用额外采购,不占用槽位,但带宽和功能一般比较基础,大多只支持千兆或者万兆,想要升级25G、100G高速网络,依旧需要加装独立PCIe网卡。

挑选网卡判断总线接口有一套简单逻辑。万兆以内网卡,PCIe3.0 x4或者x8基本够用,PCIe2.0 x8可以跑万兆,但多个万兆端口同时跑满就会遇到瓶颈。25G、40G网卡建议最低PCIe3.0 x8,双口40G优先选择x16。100G网卡需要PCIe4.0 x16或者PCIe3.0 x16;200G、400G网卡必须PCIe5.0 x16。如果把双口100G网卡插到PCIe3.0 x8插槽,两个端口满载时,PCIe总线形成瓶颈,实际吞吐量只能达到理论值一半多一点。

物理接口和总线接口不是同一概念,很多人容易混淆。总线接口是网卡插进主板的金手指部分,物理接口是网卡外接网线或者光模块的端口。服务器网卡常见物理接口有RJ45电口,使用普通网线,万兆RJ45需要Cat6a及以上线缆。SFP+光口用来接光模块或者DAC直连铜缆,万兆、25G场景使用居多。QSFP28和QSFP112对应40G、100G、200G高速链路。选购网卡两个端口规格都要确认,总线端规格不匹配无法插入主板,物理接口不对就接不上交换机线缆。

免责声明:本文提供的方法与建议仅供技术参考,实际部署效果受机房环境、运营商线路、系统配置等多重因素影响。请在专业人员指导下操作,因自行操作导致的业务损失本站不承担责任。

相关推荐

服务器有什么作用 服务器功能与用途详解

服务器平时看不见,但大量业务离不开它。它和家用电脑本质差别不在硬件配置高低,而是放置在机房,持续连接网络,常年保持开机,等待外部访问请求。打开网站,背后有服务器响应;发送消息,消息先上传服

动态IP服务器是什么 动态IP工作模式详解

动态IP服务器,简单来说就是服务器公网IP不会永久固定。每次联网、重启设备,或是等待一段时间,获取的公网IP就会改变。静态IP与之相反,地址长期不变,适合对外提供稳定服务。动态IP由网络DHCP服