ITOA数据管道流程？

Q：ITOA数据管道流程？  

A：

（1）  数据源采集：来源有网路设备、安全设备、业务系统、数据库和中间件等，得到syslog、MIB信息、流信息（netstream、netflow）、业务日志、认证数据、网管数据、人员信息和地理位置等信息。

（2）  数据采集：分为被动接收和主动采集

a)   被动接收：Rsyslog、logstash、jar

b)   主动采集：Beat、JBDC、Restful

（3）  缓存、传输：kafka作为消息的中间件完成

（4）  解析、处理：logstash进行日志等信息解析，jar用java代码编写的解析程序

（5）  数据存储：数据仓库（HDFS存放最原始的，聚合到Hbase，处理后再聚合到pg）、全文索引库Elasticsearch

（6）  最后应用到业务：全文检索、网络异常分析、用户行为应用态势分析、人员轨迹、区域热度、沉迷网络分析、关联引擎