华青融天日志数据的智能解析实战分享

2018年12月12日，由百易传媒（DOIT）主办的「2018中国存储与数据峰会」在北京举办，华青融天由于在智慧运营、机器学习等领域所做出的成绩和贡献，收到组委会特别邀请并出席人工智能创新论坛。

华青融天产品与解决方案总监包彤在AI论坛进行——《日志数据的智能解析与应用》的主题分享，结合华青融天在AI领域的应用和实践案例，与来自行业的专家学者、供应商及意见领袖围绕研发、实践、落地实践等话题展开探讨。

本次峰会以“智数据·创未来”为主题，作为国内数据和存储专业领域的行业盛会之一，大会汇集14类不同行业领域大咖，分设人工智能、云计算、大数据、区块链等10多个分论坛，每年吸引大量国内外用户关注专业的知识分享。

华青融天演讲内容围绕日志数据在IT智慧运营领域的实际应用场景，以及如何在海量、多样的日志数据中提取有价值的信息，更好地为企业服务进行尝试和探索。

1

日志数据是企业重要的数据资产

随着企业数字化转型，越来越多信息系统和数字化手段支撑着企业业务的发展，并连接着企业与客户、企业与员工、企业与合作伙伴。

日志数据，是企业内部、特别是企业数据中心拥有的一类重要数据。它是由IT系统自动产生的数据，也被称作机器数据，包括服务器日志、存储设备日志、网络设备日志和应用系统日志等。大型企业每天会产生几十亿条到几百亿条日志数据，从几个TB到几十个TB。

这些海量、多种来源、不同格式的日志数据记录了必要的、有用的信息，可以应用于很多场景，包括IT运维、安全运营和业务洞察。

如何从这些复杂和不断变化的数据格式中提取有用的信息字段，是很多企业所面临的问题。企业大多受限于数据的采集和解析，对日志的利用远没有达到应有的价值，传统的数据采集和解析方式成为日志分析的一道门槛。

2

现有日志处理方式限制了日志数据的应用和价值

基于规则的分析方法只能提取少量字段，随着设备增加和软件升级会不断出现新的日志类型，而传统的方法无法识别新的日志格式。

所以，基于规则和预定义解析器的方式，不仅效率低，而且需要手工编写正则表达式，工作量和复杂度都十分庞杂。那有没有一种更好的方式可以自动识别日志格式，提高工作效率呢？

3

机器数据+机器学习的技术

实现日志数据智能解析

“日志数据的解析和正规化是做日志分析的基础和必要条件，而对于如何实现日志数据的自动、全量解析，从中提取有价值的信息，我们希望通过日志智能解析达到这样的目标。”包总这样介绍到。

华青融天利用人工智能在日志分析中，通过日志数据的词义和语义自动分析，实现日志数据的正规化和结构化。根据具体场景，对跨应用系统的日志内容做关联分析和异常行为检测，将分析结果转化为知识库和规则，从而将上百万条的日志事件大幅减少到几十条甚至几条，帮助客户实现故障定位，事件调查和响应。

同时，利用智能解析技术可以有效地监控和维护日志解析过程，提高单台服务器的日志能力，降低日志预处理的硬件配置负担和投入，实现日志解析的平台化、高可用，并具备可扩展能力。

华青融天针对日志解析的需求，对不同类型的日志格式进行全量分词，分解为有意义的日志元素，并提供开箱即用的Pattern库，自动识别日志的pattern和特征词义提取，按照Key-value对日志内容全量解析。

将日志数据与其他IT系统的运维数据集成，为用户提供在IT运维、安全运营和业务洞察等领域更有价值的分析结果。

4

华青融天日志智能解析的应用场景

Devops应用开发AIpos智能运维安全运营业务精准洞察

目前，围绕整个IT运维和IT运营的发现服务流程和自动化执行环节，包总在演讲最后分享华青融天已将日志智能解析应用到众多场景：

Ø  通过大数据+人工智能对日志进行统一存储，为Devops的应用开发一体化提供有效信息；

Ø  基于日志和网络流量数据实现AIpos智能运维；

Ø  用人工智能的方式替代传统规则的事件告警，查看安全事件影响的覆盖面，形成安全运营闭环，打造下一代安全运营中心NGSOC；

Ø  从日志中获取业务系统状态、用户行为特征，实现对业务运营的精准洞察。

在日志智能分析领域，华青融天希望通过AI技术实现日志数据的词义分析和语义解析，提取有价值的信息，在日志数据里获取更多面向IT和业务的洞察力，为企业提供高效便捷、符合需求的数据服务，发现数据背后“看不见的价值”。