Teradata首席技术官:探索下一代分析生态系统
来源: 作者: 日期:2016/5/19
当前,数据分析市场发展迅速。Gartner在描述全球数据仓库和分析市场的发展状态时指出,企业需要分析型数据管理解决方案,以管理和处理不同类型和格式的内部和外部数据,甚至包括来自物联网传感器等的交互和观测数据,以及传统的内部数据源的数据。随着客户寻求能够对现有企业数据仓库策略实现显著强化的特性和功能,这些需求带来了软件市场的新需求。

作为大数据分析的领导者,Teradata天睿公司敏锐地感受到市场变化,其首席技术官宝立明 (Stephen Brobst) 在“2016 Teradata大数据峰会”上指出:“下一代数据分析解决方案将是商业和开源技术,甚至不断增加的云部署技术等多元化技术的综合。Teradata着眼数千名企业客户需求,正在帮助他们探索从传统分析解决到下一代分析生态系统的快速演进。”
据了解,Teradata不仅在业内首家开发和部署了高端数据分析一体机,针对大数据应用收购了Aster Data公司,设计和推出了业内首个统一数据架构,又于近期推出更多创新成果,包括兼具本地部署高性能以及云端部署灵活性的混合云解决方案、Teradata Database on AWS,以及能够利用新兴物联网(IoT)数据的Teradata Listener等。此外,在专业服务领域,Teradata推出包括咨询和实施(策略、设计、开发和部署),以及大数据整合和生态系统策略、数据准备、数据探索和发现、分析信息、IT运营管理和管理服务等业务。
万物皆可分析意味着企业业务价值转型
为满足大数据在深度(更敏捷的数据)、宽度(融合内外部资源)、跨度(跨行业的脱敏数据使用)三个维度不断发展而衍生的新的需求,Teradata将今年大数据峰会的主题定为“数据仓库,开源融合,极致演绎”。宝立明表示,当前大数据分析已经进入到第四维度的“数据发现”,即一切数据皆可分析。
面对日益多元化的大数据分析,如何构建和发展合适的技术架构,将大数据转化为真正有业务价值的洞察力?
在宝立明看来,大数据对企业来说仅仅存储起来是没有意义的,当前企业大数据分析的主题就是价值转型。他介绍说,在硅谷有一个说法,这家公司要不现在就是数据驱动型公司,或者即将成为数据驱动型公司,或者马上就濒临破产了。由此可见,数据已经被企业视为竞争资源,这意味着将带来数据模型的转型、商业模式的转型、客户关系的转型。
宝立明以Teradata的客户飞利浦电子公司为例进行说明:“飞利浦电子生产各种各样的家电,如电动牙刷的生命周期是几年,而牙刷头需要半年到一年更换一次。以前飞利浦电动牙刷通过店铺卖出去和最终用户就没有直接关系了。现在,通过在牙刷里植入记录设备,可以记存诸如用户多长时间刷一次牙、每次刷牙的时间等信息,这些数据累积到一定数量的时候,可以为用户提供牙齿健康的建议等增值服务,加深与客户的联系。”
没有治理的数据湖将变成数据沼泽
对于近年来出现的数据湖(Data Lake)概念,宝立明认为,数据湖的价值在于它获取数据的方式非常敏捷,而且成本低。这样,数据分析就可以在数据湖中进行,提取选择性数据,在数据产品中显示其价值。在过去,为了获取数据,通常需要经过一些流程,如对数据产品进行建模或清洗,而数据湖是一种更加轻量级的为数据科学家提供数据的方式。
在企业探索数据湖功能的过程中,一些严重的问题也令其IT团队备受困惑,包括:缺乏最佳实践、缺少数据科学家,甚至存在数据湖定义的混乱等。宝立明指出,缺乏有效的数据治理,将面临将数据湖变成数据沼泽的危险。
为此,今年4月Teradata推出一种全新的数据湖部署“设计模式”,基于Apache™ Hadoop®、Apache Spark™和 NoSQL等开源技术,提供数种数据湖设计模式服务:针对刚开始数据湖项目或者寻求最佳实践咨询的团队的数据湖基础(Data Lake Foundation);针对寻求数据湖最佳实践和技术选择的企业数据湖架构(Data Lake Architecture);以及针对分析周期执行中数据准备的数据湖分析(Data Lake Analytics)等。
此外,Teradata还提供多种产品和技术,强化数据湖环境中的应用。包括:通过智能、自助服务软件解决方案简化数据湖中流数据(Streaming Data)的Teradata Listener;低成本的数据存储选项Teradata Appliance for Hadoop;提供流行的SQL-on-Hadoop架构的Presto;以及被称为管道控制器(Pipeline Controller)和缓冲服务器(Buffer Server)等知识产权的数据湖加速器,能够将数据高效地从本地服务器移动到Hadoop上。
|