流量采集的挑战

1.采集需求多样化。同城双活数据中心引入网络架构构建了大二层网络平台，为承载的业务提供高冗余网络架构。二层多路径等技术也对流量采集提出了挑战，不同路径均有流量分布。因此，在双活数据中心流量经过的所有链路上都需要部署流量采集点。

另外，数据中心网络安全域边界部署了防火墙、安全域内部署负载均衡及其他安全设备，为了精准定位业务流量，实现端对端的监控，需要对区域内和区域间的流量进行按需采集。此外，随着私有云业务上线推广，对云平台中的网络性能及安全监控也是需要进行有效的采集，才能做到监控没有盲区。

2.处理需求复杂化。不同分析工具对流量采集处理需求各不相同。例如：对于网络性能监控，需要分析业务路径的各个区域间及区域内的流量。通过交换机镜像方式采集的流量将产生重复流量数据，因此需要对流量进行去重处理。同时，为了识别原始流量的网络区域位置，还需要对流量进行标签化管理。此外，网络性能监控不需要数据包的内容，还可以对数据包进行截短，进而为网络性能分析工具优化采集的流量。

对于应用性能监控，则需要能够实时分析网络上承载的业务质量指标，采集业务相关的数据会话，分析交易类型、交易渠道、业务质量关键指标，要求采集完成的交易会话，不允许出现丢包、重复数据包的现象。

3.流量探针限制。基于流量分析的探针，每个设备都需要交换机镜像口的流量，而交换机仅支持2个session，这必然造成有些探针无法取得所需流量，镜像口资源不足。另一方面，流量探针单端口的部署成本较高，交换机和流量探针的组合无法提供高性价比的解决方案。因此，需要在流量采集和分析之间部署流量采集层，将流量采集、处理后转发给相应的分析工具，可以有效降低分析工具的部署成本，节约开支。

4.数据安全及合规。随着数据中心安全防护体系的不断深入，流量采集和分析的应用场景需求不断增加。例如全网流量可视化与动态分析、互联网应用安全防护、云安全等。另一方面，网络承载着客户业务的重要数据，如何能对数据进行安全合规使用，避免信息泄露，也是在进行采集网络规划建设时需重点考虑的问题。例如对于部分重要的生产网络流量数据，需要进行脱敏处理，隐藏客户敏感信息，避免信息泄露。

采集网络架构

综合考虑采集层的稳定性、智能化、可扩展性、可管理性等要求，结合实际监测需求，流量采集网采用结构化分层设计。

采集网络自身的架构对于流量采集至关重要，目前主流的技术主要有级联和集群，级联部署模式中流量需要分段配置过滤规则，即从A设备到B设备流量要在每个设备上去配置与管理；而集群模式是将所有设备作为一个逻辑管理单元，从A设备到B设备的流量是由统一的规则实现，不需要分段配置，既便于流量的管理维护，也能够对流量故障诊断时快速定位流量分配。采用了集群部署模式，将同城的双活数据中心流量打通，通过核心层设备实现双中心的流量按需调用至任何需要流量的工具，实现了全网的流量在集群范围内统一管理。

流量汇聚层：数据中心采用模块化机房结构，流量汇聚层设备部署于各个模块机房，负责采集本模块机房的流量，并实现流量的标签化管理和基本过滤。

流量核心层：负责采集各个汇聚层汇聚过来的流量，实现流量的统一管理和精细化过滤。

通过实施分布式网络流量采集系统，实现对双活数据中心内的各个业务区域流量分布采集，集中梳理。同时，也能够提供面向不同业务的数据采集、去重、切片、脱敏、分发、筛选、复制和负载均衡，并按需进行网络数据包重构，有助于进行网络规划、网络优化、网络监测、业务流量趋势分析、网络故障定位等工作，保障网络的正常、稳定、可靠运行，实现全网流量可视化和流量精细化管理。分布式流量平台覆盖双活数据中心各个业务功能区域，并且充分考虑系统的可扩容性，为系统的扩展和升级，预留容量。

以上是小编对网络流量采集的挑战的总结，有什么问题请联系小编