从ServerSwitch到SONiC机箱

2019-07-09 |作者: 白薇

编者注: Microsoft交换机操作系统开源项目SONiC（云中用于开放网络的软件）已在Microsoft Azure数据中心中部署，但是如何在高级机箱交换机上部署SONiC是仍然是一个挑战. 为此，Microsoft亚洲研究部与Azure网络产品部合作成功构建了第一个SONiC机箱原型系统，这是研究人员经过十年的不懈探索的背后.

随着云计算时代的到来，各大公司不断在全球范围内建立数据中心，以支持快速增长的云计算业务. 2011年switch芯片工作原理，Facebook等公司发起了一个非营利组织Open Compute Project（OCP），旨在重建数据中心的下一代硬件，并通过开源方法为下一代数据中心开发服务器. . ，存储，网络，基础架构和其他创新硬件. OCP当前是计算基本硬件领域中最广泛和最具影响力的组织之一. 成员包括Facebook，微软，谷歌，英特尔，AMD，阿里巴巴，腾讯，百度和华为.

在数据中心中，数以万计的服务器通过无数的交换机连接在一起，从而形成了高带宽，低延迟的网络. 众所周知，云计算服务对可靠性有很高的要求. 这要求网络运维人员对交换机具有高度可控性和可管理性，能够始终了解网络上正在发生的事情，并且在发生故障时必须快速定位和排除故障. 此外，新的云计算业务还不断提出对交换机的新功能要求，这要求网络开发人员实现新的交换机功能并在短时间内部署它们. 面对这些新的挑战和要求，传统开关制造商的设备变得越来越不足. 因此，主要的云计算供应商已经开始了他们自己的交换机研究之旅.

作为OCP合作项目的一部分，Microsoft在2016年OCP峰会上发布了交换机操作系统开源项目SONiC（云中用于开放网络的软件）. 该项目使用交换抽象接口（SAI）为不同的交换芯片提供统一的管理和操作接口，并将交换软件分解为多个容器模块以加速软件的迭发，如图1所示. 许多云计算，交换机和芯片制造商. 当前的开源社区成员包括Microsoft，阿里巴巴和腾讯等云计算供应商，以及Mellanox，Cisco和Arista等交换和芯片供应商.

图1: SONiC系统架构

目前，SONiC已部署在Microsoft Azure数据中心中（如图2所示）. 但是，目前SONiC的部署仅限于交换机T0和T1（交换机）的两层，如何在上层（T2 / T3）机箱交换机上部署SONiC仍然是一个巨大的挑战. 因此，Microsoft Azure网络产品部和Microsoft亚洲研究院的系统与网络小组于2018年9月启动了SONiC机箱的合作研究项目，以设计支持SONiC的机箱交换机.

图2: Microsoft数据中心中的SONiC部署

传统的机箱交换机架构实际上是由多个交换机芯片组成的（例如，参见图3）. 前端芯片和后端芯片通过基于Cell（交换芯片内部的固定长度数据单元）交换（Cell Switching）的特殊无损网络连接. 当前，机箱交换机内部没有针对Cell网络的公共拓扑和路由标准. 不同芯片制造商的机箱交换机的内部Cell网络的实现方式不同switch芯片工作原理，在此不再赘述. 可以说这是一个毫不妥协的黑匣子. 在这种不透明的情况下，网络管理员很难使用SONiC来管理机箱交换机，也无法发现和诊断机箱内部发生的网络问题.

图3: 传统机箱交换机的内部架构

要使SONiC在机箱交换机上运行，​​我们必须首先将机箱交换机变成网络管理员熟悉的白盒. 像传统的机箱交换机一样，SONiC机箱仍然由多个交换芯片组成. 但是不同之处在于我们使用标准（第2层）Clos以太网（以太网）连接这些芯片（如图4所示）. Clos以太网是当今数据中心的标准架构. 这样，网络管理员可以轻松地将大量成熟的技术（例如控制平面协议，流控制机制和故障诊断技术）以及数据中心网络的运维管理经验移植到机箱的内部网络中.

图4: SONiC机箱的内部网络拓扑

确定拓扑之后，下一个挑战是机箱内的控制平面. SONiC机箱的每个芯片都运行SONiC的一个实例（实例），并使用BGP-EVPN作为控制平面协议. 前端芯片上的SONiC直接通过BGP-EVPN彼此交换外部路由信息，而无需后端芯片上的SONiC. 这样，我们只需要在前端使用更昂贵的大型路由表芯片，就可以在后端芯片的选择上有更多选择. 例如，后端可以选择具有高端口密度（High Port Density）小路由表的芯片，以增加整个SONIC机箱交换机的端口密度. 为了与BGP-EVPN合作，SONiC机箱使用标准的网络虚拟化技术-VXLAN（虚拟可扩展局域网）. 每个前端芯片都是一个VXLAN隧道端点（VTEP）. 进出机箱的数据包将由前端芯片添加/删除到VXLAN标头中. 后端芯片无需了解外部路由信息，仅需要根据数据包的VXLAN头信息将数据包转发到正确的前端芯片即可，如图5所示. 5.

图5: SONiC机箱的控制平面. 在此示例中，VTEP1上的SONiC直接将路由信息10.0.1.0/24发送到VTEP6上的SONiC.

经过近半年的密切合作，微软亚洲研究院与Azure网络产品部于今年2月共同构建了第一个SONiC机箱原型系统，并在3月的OCP全球峰会上进行了展示. 它引起了业界的广泛关注.

目前，我们正在继续解决SONiC机箱中的一些关键技术问题（例如机箱内的拥塞控制以及故障监视和诊断机制），并努力将SONiC机箱尽快部署到Microsoft的数据中心.

图6: SONiC机箱的原型系统，于2019年3月的OCP全球峰会上展出

“在SONiC机箱项目的背后，实际上是我们十年来在数据中心交换技术中的曲折. ”熊永强，高级研究员，已在Microsoft Research Asia工作了16年. “早在十年前，我们希望为以服务器为中心的数据中心架构（例如BCube和DCell）实现高性能转发引擎，因此我们启动了ServerSwitch项目. ”

图7: ServerSwitch架构

ServerSwitch通过高带宽PCI-E接口连接商用交换芯片和服务器，充分利用交换芯片和CPU的可编程性，并实现了高性能的可编程平台. 2011年，ServerSwitch论文在计算机系统和网络顶级会议USENIX网络系统设计与实现（NSDI）研讨会上发表，并获得最佳论文奖.

但是，在学术界如此受欢迎的了微软的许多曲折. “尽管我们已经基于ServerSwitch提出了一些新颖的应用程序，例如使用主机的大内存来缓存交换芯片无法吸收的数据包，但与生产环境的需求之间还有一段很小的距离. ”熊永强感慨地说. “在2012年和2013年，我们希望在ServerSwitch平台上卸载Azure网络的通用流表（GFT），并为设计和实施40G ServerSwitch系统付出了很多努力. 但是，由于交换机的流表，芯片资源受限和功耗问题，产品部门最终选择了FPGA. ”

这一转变发生在2013年，ServerSwitch的核心开发人员卢国汉（现为微软SONiC项目的首席开发经理）加入了Azure网络产品部门. 因此，Microsoft亚洲研究部和Azure网络产品启动了Azure云交换机（ACS）合作项目，该项目旨在设计跨平台的模块化交换机操作系统. 这也可能是Microsoft最早对自行开发的交换机操作系统进行的尝试.

图8: ServerSwitch

每个人都开心的时候，命运开了个大玩笑. ACS最初是基于Microsoft的Windows平台开发的. 在ACS Windows原型系统即将完成之时，微软开始积极拥抱Linux和开源系统，而Windows并不是开源网络系统中的主流操作系统. 因此，Azure网络产品部负责人Albert Greenberg立即停止了ACS Windows开发，转而使用Linux，这是今天的SONiC项目. “那时，每个人都在ACS Windows上投入了大量的精力，突然他们知道该项目已停止，他们感到非常无奈和沮丧. ”熊永强回忆. “但是我不得不说，加入Linux确实是一个非常明智的决定. Linux的开源生态系统对于SONiC非常重要. ”

目前，SONiC的合作伙伴生态系统涵盖了行业内的主流软件和硬件制造商. 它的开放性为用户提供了多种选择，合作伙伴可以根据网络需求自由选择硬件和软件. 合作伙伴的加入进一步促进了SONiC生态学的改善.

回顾过去十年的探索过程，微软亚洲研究院的网络研究人员在顶级会议上感受到了赢得最佳论文的兴奋，技术的挫败感挫败了，项目的挫败感停在最后一刻，直到今天上演的喜悦的结果. 他们的探索之旅仍在继续.

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/shumachanpin/article-265105-1.html