基于AI、大数据的互联网应用推动了互联网数据中心产品、手艺的快速升级。

首先，接入带宽从古板的10Gbps升级到25Gbps/100Gbps，需要基础网络提供高转发能力包管营业的高可用。

其次，基于RDMA（Remote Direct Memory Access，远程直接内存会见）无损以太网手艺的普遍应用，实现了盘算节点到存储节点的微秒级延时，大大优化端到端的营业转发性能，而这也意味着对网络运维提出了更高的挑战——怎样在大规模、重大的HPC(High Performance Computing)网络中实现越发细腻的流量可视、可控
？怎样面向营业实现端到端的秒级故障定位，并为网络的一连优化提供精准的数据支持
？

本文将通过先容基于交流机硬件芯片的Network Telemetry手艺计划（INT+gRPC），实现整网的流量可视化，为实现真正的可视化运维提供新的思绪。

网络运维新挑战

为了确保营业的高可靠，基于Scale out方法实现的漫衍式盘算和存储应用（Hadoop/ Map reduce/HDFS）获得了大规模使用，不但挣脱了单效劳器的盘算、存储性能的限制，同时可提供更无邪的扩展性，能够快速响应营业需求转变，提高系统的可靠性、可用性和存取效率。

然而营业自己在网络中漫衍是不可控的，因此在现实网络流量模子中不可阻止会泛起多对一的通讯模式，即 Incast模子。下图即典范的Incast通讯模子：

▲ TCP Incast通讯模子示意图

例如，当一台Master节点向一组Slave节点提倡一个盘算使命请求时，所有Slave节点险些会同时返回盘算效果数据，关于Master节点来说就爆发了一个“微突发流”。关于合理的“微突发流”，可以依赖接入交流机装备内部的报文缓存机制解决微突发丢包问题。

现在，主流交流芯片的片上缓存较量小，一样平常以Mbyte为单位。下图是对应1G、10G和25G交流机常用芯片的缓存容量。

▲ 带宽提升与缓存提升比照说明

从表中不难看出，网络接口速率从1Gbps生长到25Gbps，效劳器的吞吐能力增添25倍，而交流机芯片的缓存容量同比仅增添8倍，同时可用缓存时间反而下降65%（凭证交流机全端口公正使用缓存为例）。

因此，25G网络架构的TCP Incast征象比10G网络越发显着，瞬时的多打一导致出接口报文拥塞，出接口缓存用完后会基于尾部扬弃机制举行丢包，应用监测到丢包后提倡TCP重传，造成数据端到端延时的进一步恶化，严重影响营业体验。

针对网络丢包引起的营业故障，需要网络监控系统快速定位网络中哪台交流机的哪个端口因缓存缺乏导致了丢包。同时，主要营业端到端时延凌驾预期时，也需要定位流量转发路径上每个节点的转发时延。

总结起来，需要网络监控系统实现如下能力：

●快速定位哪台交流机的哪个端口爆发丢包；

●实时监控每台交流机的Buffer使用情形；

●端到端时延可以定位到详细装备和链路。

运维可视化手艺实现

依附古板的网络监控手段无法解决“看不见”的问题，如时延、转发路径、缓存和丢包。例如，由外部应用提倡的请求获取网络状态信息的SNMP协议，就无法实时反应网络的状态。

为相识决此类难题，业界普遍引入Network Telemetry（网络遥测）这一理念，相比于SNMP，Telemetry实现了网络装备自动推送状态信息的能力，具有更强的时效性。

事实上，Telemetry并不是新发明，NetFlow和sFlow早已实现了网络流量的采样和推送，但NetFlow、sFlow推送的是原始的数据采样信息，数据以IP报文名堂泛起给剖析工具，而非用户期望的规范化数据模子，再优异的剖析工具其扩展性能也难以肩负整个数据中心网络的监控剖析，只能在某一剖析使命中施展作用。

另一方面，数据流量并非网络状态的所有，网络装备的 CPU、内存、网络拥塞信息、网络事务的日志信息等也无法通过NetFlow或者sFlow实时转达出来。

gRPC（Google Remote Procedure Calls ，谷歌远程历程挪用）是Google公司开源的一个高性能、跨语言的RPC框架，使用HTTP/2协议并使用Proto Buffer作为序列化和反序列化的工具。通过在交流机中集成gRPC应用，界说无邪的数据名堂以及数据推送的阈值来实现交流机自身状态的自动推送能力，可以实现周期性推送交流机Buffer Usage、CPU、Memory等信息给监控效劳器。当爆发Buffer缺乏导致丢包，也会实时通知给监控效劳器，实现网络运行数据的可视化。

▲ gRPC交互机制

上图展示了其中一种gRPC的交互机制：

●在交流机开启gRPC功效后充当gRPC 客户端角色，监控效劳器充当gRPC效劳器角色；

●交流机自动向监控效劳器提倡gRPC通道建连；

●交流机自动上报Buffer Usage、CPU、内存等信息给监控效劳器，当Buffer爆发丢包，交流时机也会实时上报丢包事务给监控效劳器。

gRPC的泛起很好的解决了实时数据无法有用传给监控效劳器的问题。

INT（In-band Network Telemetry）也是一种新型Telemetry协议，由Barefoot、Arista、Dell、Intel和VMware配合提出。INT的泛起解决了转发路径和转发时延不可见的问题。

INT的整体处置惩罚流程如下图所示：

▲  可视化网络

●报文抵达首节点，通过在交流机上设置的采样方法匹配并镜像出该报文，并在四层头部后插入INT头，将报文入端口Port ID、出端口 Port ID、入端口时间、出端口时间、以及装备的DEVICE ID封装成MetaData，将MD插入到INT头部之后；

●报文转发到中心节点，装备匹配到INT头部后，在INT头部后再插入一层MD；

●报文转发到最后一跳，装备匹配INT头部后，再插入一层MD，并在报文外部封装一个IP头（ERSPAN），外层IP为监控效劳器地点，这样INT报文便转发到监控效劳器。

总结：针扑面向HPC营业的下一代数据中心网络，基于INT和gRPC的Network Telemetry手艺可以实现营业端到端的网络流量可视化，突破“网络黑盒”，为细腻化网络运维提供整体的解决计划和须要的手艺支持。

55世纪网络新一代25G/100G网络交流机产品均已实现Network Telemetry能力（gRPC和INT），若是您对网络遥测感兴趣，接待留言交流。

本文作者：陈冬林

55世纪网络互联网系统部行业咨询

往期精彩回首

•【第一期】浅谈物联网手艺之通讯协议的纷争

相关推荐：

• 相识gRPC手艺，这一篇就够了