“没有合格的食材,再好的厨师也做不出绝世佳肴。没有合格的数据,再好的工程师也挖掘不出大数据的价值。”李欣(化名)比喻道。
李欣是奇安信诺亚大数据操作平台(以下简称“诺亚”)的负责人。诺亚大数据操作平台是奇安信集团旗下一款专注于简化大数据应用开发中的数据接入、数据处理、数据存储、资源调度等领域的大数据业务系统支撑平台。
今天,我们已经进入了大数据时代,然后大家对于大数据的认知依然各不相同。作为在大数据领域摸爬滚打多年的李欣,对于大数据也有着自己独到的理解。在他看来,今天,我们虽然已经进入了大数据时代。但是大数据是否就是海量的数据呢?
李欣表示,可能大多人会都这样认为,大数据是海量的数据,这是没错的。但是大数据时代数据的“大”,除了海量,其实还有数据来源广泛性,多样性,实时性,不确定性等多种特征,这些特性也就决定了如果不对大数据进行“处理”,就很难发挥处大数据的威力与价值。
“当前,很多公司都会大量采集数据,进行集中存储和使用。”李欣表示,“而我们所作的事情更偏后端一些。诺亚是一款基于大数据平台的应用套件,自身并不提供大数据的各种能力,但是却能够将大数据的各种能力提供出来。”
李欣以诺亚在网络安全领域的应用为例:如果把公司比作一个中心厨房,诺亚就是专门负责处理食材的厨师,诺亚会先到各个业务(SOC、态势感知、UBA、威胁情报、云监测等)处摘取各类食材(获得数据,如日志、结构化数据、半结构化数据、流量日志等大数据收集),然后对食材进行集中的洗、削、切等基础处理(数据格式化、数据转换、数据清洗等);最后将处理好的食材分装好(大数据存储),提供给各位主厨各自尽展厨艺,烹饪出不同佳肴。
李欣进一步解释道:相比较于市面上一些直接让数据和产品对话的产品,奇安信诺亚的工作更加幕后,但也是不可或缺的。“诺亚”专注于简化大数据应用开发中的数据接入、数据处理、数据存储、资源调度等领域,可以实现大数据技术与业务解耦、业务无感知的底层技术迭代,提供配置式大数据业务开发环境,高效利用大数据资源的抽象方法。向公司级各产品线输出稳定、可靠、易用、强大的大数据支撑SDK及服务。
具体包括:提供基于大数据技术,提供高可靠、高性能的通用数据采集、解析、存储平台,支持从单机到集群多种部署方案;提供多种日志采集方式:Syslog\WMI\FTP\SNMP\DB;预制多种解析插件,通过配置完成解析工作,易于扩展;提供配置和监控界面;提供传输加密、大数据组件认证等安全措施。
据了解,目前奇安信诺亚主要专注在网络安全领域进行大数据业务系统支撑,未来也将在做着更为广泛的兼容事情,不仅支持奇安信公司的大数据平台,很快还有更多的大数据平台能够进行支撑。
诺亚大数据操作平台:我们是数据食材处理专家 帮助厨师做出美味佳肴——中国青年网 触屏版