企业官网建设流程全解析

h5页面制作网站官网,深圳市年检在哪个网站做,微信小程序怎么做会员系统,做淘宝优惠劵网站服务器配置文章目录为什么需要广域数据消冗金融广域数据消冗的总体架构数据压缩协议数据压缩算法金融广域数据消冗的工作过程什么是字典压缩金融广域数据消冗的典型应用随着智慧金融的蓬勃发展#xff0c;金融机构之间的广域网流量激增#xff0c;线路租用费是网络设备投资的2~3倍…文章目录为什么需要广域数据消冗金融广域数据消冗的总体架构数据压缩协议数据压缩算法金融广域数据消冗的工作过程什么是字典压缩金融广域数据消冗的典型应用随着智慧金融的蓬勃发展金融机构之间的广域网流量激增线路租用费是网络设备投资的2~3倍带来很大的成本压力。使用金融广域数据消冗在数据发送端进行压缩在接收端进行解压缩可以减少金融机构之间广域网流量的线路带宽消耗节省线路成本加速分布式数据中心部署。为什么需要广域数据消冗如下图所示随着金融行业分布式多数据中心的建设数据中心之间的流量激增而数据中心之间往往通过租用广域链路来实现互通线路租用成本与带宽强相关。据统计金融行业广域线路的租用费是网络设备投资的2~3倍以上这给金融机构带来极大的成本压力。金融分布式多数据中心通过广域互联广域数据消冗是指数据中心之间在进行数据转发前发送端先将数据进行压缩再通过广域链路转发。在接收端进行数据解压缩还原出原始数据的过程。这样做可以减少对广域线路带宽的消耗节省广域线路成本加速分布式数据中心部署。金融广域数据消冗的总体架构金融广域数据消冗的总体架构如下图所示执行数据压缩/解压缩的设备是DC-PE以及一级分行级别的上联设备如下图中红色设备所示。压缩前后数据包源/目的IP、端口号保留支持将压缩后的报文入SRv6隧道实现压缩数据流量按需选路。金融广域数据消冗的总体架构在使用广域数据消冗功能时需要在执行数据压缩/解压缩的NE路由器上插入支持数据消冗的业务板并在NE路由器和NCE控制器上激活“数据消冗”相关的License。这样无需额外增加数据消冗设备无需改变原有组网拓扑可一站式完成数据引流、压缩/解压缩、转发全过程。如果上图红色所示设备无法升级支持数据消冗想要在CE上部署数据消冗且CE是交换机不支持插入数据消冗业务板则此时可以采用CE旁挂路由器的方式来支持数据消冗。该场景的数据消冗架构如下图所示。金融广域数据消冗的总体架构CE旁挂路由器方式实现数据消冗数据压缩协议IPPCPIP Payload Compression ProtocolIP有效载荷压缩协议也称为IPComp是面向IP数据报文的一个底层压缩协议。不同于普通IP报文中的有效载荷Payload该协议中IP报文的有效载荷是被压缩过的。IPPCP通过插入自身协议头部和改变IPv4和IPv6报文的个别字段来实现对IP报文的压缩。IPPCP的报文头部如下图所示包含三个字段各个字段的解释如下表所示。IPPCP报文头部表1-1 IPPCP报文头部各字段的解释下面分别介绍使用IPPCP压缩后的IPv4和IPv6报文格式。压缩后的IPv4报文格式如下图所示除了插入IPPCP报文头部外压缩后的IPv4报文在以下三个橙色字段的取值上发生了变化Total Length整个被封装的IP数据报文长度包括IP头、IPPCP头和已压缩的有效载荷。Protocol设置为108标识协议类型为IPPCP。Header Checksum用来检验IP报文头部在传输到接收端后是否发生了变化。压缩后的IPv4报文格式压缩后的IPv6报文格式如下图所示除了插入IPPCP头部外压缩后的IPv6报文在以下两个橙色字段的取值上发生了变化Payload Length表示压缩后的有效载荷的长度。Next Header设置为108标识协议类型为IPPCP。压缩后的IPv6报文格式作为一种IP层的压缩协议IPPCP的压缩是无损的报文在经过压缩和解压缩之后与原报文一样。同时IPPCP的压缩是无状态的每个报文的压缩和解压缩不依赖其它报文不关注报文失序或者丢失每个报文压缩后单独封装。数据压缩算法目前NE路由器支持ZstdZstandard算法这是一种高性能的无损压缩算法。该算法将基于字典的压缩算法和基于统计模型的压缩算法相结合提供了较高的压缩比和较快的压缩速度。Zstd算法还支持多种压缩级别允许用户根据需要调整压缩级别在压缩速度和压缩比之间进行平衡。Zstd算法主要由三个部分构成LZ77、哈夫曼编码和FSEFinite State Entropy有限状态熵。LZ77是经典的基于字典的压缩算法哈夫曼编码和FSE是基于统计模型的压缩算法。Zstd算法的压缩流程如下图所示。Zstd算法在压缩时将原数据初始化为多个数据块依次对初始化后的数据块进行压缩。首先Zstd算法对每个数据块进行LZ77压缩将压缩后的数据块再次进行“哈夫曼压缩FSE压缩”和FSE压缩根据压缩结果比对最优压缩效果构造压缩后的数据块解压缩的过程即为压缩的逆过程。Zstd算法的压缩流程图通过采用三种压缩算法混合压缩的方法Zstd算法在实现高压缩比、高压缩精度的同时也实现了较快的压缩速度与其他压缩算法Deflate算法、LZ4算法、Zlib算法等相比具有较高的压缩性能。金融广域数据消冗的工作过程下面以如下图所示的组网来介绍金融广域数据消冗的工作过程过程中涉及到iMaster NCE控制器和网络设备NE路由器的相关配置的简要介绍。广域数据消冗工作过程设备预配置。解压缩端预配置解压缩实例解压缩实例里关联用于压缩/解压缩的业务板CPU和压缩算法Zstd。压缩端和解压缩端设备间建立BGP Flow Specification对等体。压缩端预配置压缩实例压缩实例里关联用于压缩/解压缩的业务板CPU和压缩算法Zstd。iMaster NCE控制器下发配置。iMaster NCE控制器下发感兴趣业务流的SIPDIP协议号源端口目的端口SIP和DIP必须有一个其他可以任意选择组合到解压缩端同时下发压缩算法。解压缩端根据iMaster NCE控制器下发业务的压缩算法找到设备上预配置的解压缩实例。解压缩端业务板正常时业务五元组转换为BGP Flow Specification路由本地生成BGP Flow Specification的动态ACL包含五元组信息IPPCP压缩协议号108并通过BGP Flow Specification路由传递业务五元组信息压缩算法给压缩端。压缩端收到BGP Flow Specification路由生成动态ACL并根据BGP Flow Specification携带的压缩算法找到压缩实例。压缩端通过BGP Flow Specification生成的动态ACL匹配业务流量进行压缩引流压缩端接口板收到报文命中压缩策略后转发到压缩业务单板。在压缩业务单板上执行压缩然后查找FIB迭代封装SRv6隧道。报文转发到出接口板然后转发出去。解压缩端根据本地生成的解压缩实例和策略进行解压缩接口板收到压缩报文剥掉SRv6报文头。命中解压缩策略并转发到解压缩业务单板。在解压缩业务单板上执行解压缩然后查找FIB发至出接口板。当解压缩端业务板故障时解压缩端发布BGP Flow Specification撤销压缩引流消息到压缩端以达到撤销引流的目的。什么是字典压缩上文介绍的数据消冗没有使用字典。如果想进一步提升压缩率可选择字典压缩方式。字典压缩原理是从样本数据中捕捉、学习相关性将相关性较强的数据制作成字典字典是高频出现的字符串的一个集合。使用字典可以对报文里重复字符串进行替换以达到压缩效果如下图所示。字典生成示意在本方式中要求解压缩端和压缩端使用相同的字典如下图所示。解压端和压缩端使用相同的字典字典文件可以通过在线训练的方式获得这个过程中需要iMaster NCE与设备协作。在线字典训练、字典合并、字典下发的流程如下图所示。在线字典生成流程一个应用代表一个训练任务流程如下配置训练任务iMaster NCE、设备。设备进行字典迭代训练设备。iMaster NCE检测到一个训练周期结束向设备查询字典iMaster NCE、设备。iMaster NCE进行合并字典iMaster NCE。iMaster NCE将合并的字典下发到设备iMaster NCE、设备。然后人工在设备上进行字典加载和引流配置设备。金融广域数据消冗的典型应用并非所有的业务报文都适合压缩适合压缩的报文长包冗余大的报文、文本格式、数据库结构化报文类不适合压缩的报文图片、视频、票据影像已经压缩过的办公业务报文对于金融业务适合压缩的典型业务报文为数据库异地复制、磁盘异地复制、文本类占比较高的批量文件传输、报表传输。典型应用场景一异地数据中心之间金融机构异地数据中心之间通常会采用多条10G专线链路进行互联承载的业务数据流量主要有异地存储阵列跨城长距容灾备份、数据库异地备份、数据文件异地复制等。在数据中心的DC-PE设备上部署广域数据消冗可以有效降低数据中心间专线链路的带宽消耗降低线路费用。典型应用场景二数据中心和一级分行之间金融机构数据中心和一级分行通常会采用多条100M~1G专线链路进行互联承载的业务数据流量主要有补丁推送、病毒库推送、应用下载、邮件收发等。在数据中心的DC-PE设备以及一级分行的上联设备上部署广域数据消冗可以有效降低数据中心和一级分行之间专线链路的带宽消耗降低线路费用。