随着“大数据中心”被列为国家新基建核心项目之一,数据和数据分析变得尤为的重要。对于企业来说,不仅越来越多的业务向以云为中心的基础架构转移,而且对于数据洞察敏捷度的要求也越来越高。这就促使数据分析者和领导者必须采用恰当的工具和流程来应对需求,可利用多个数据源、使用不同的数据技术,快速构建灵活友好的数据架构,解决多元化分析场景的数据需求成为新的趋势。
数据湖正是在这样的背景下应运而生,而云是数据湖最佳的实践场所。国内各大云厂商也聚焦数据湖,将云计算技术与数据湖技术结合,进一步发挥云自有的弹性扩张、灵活部署优势,让企业快速搭建并运用数据湖技术架构。
其中腾讯云,已经构建了完善的数据湖技术与产品矩阵,围绕数据湖存储、数据湖分析、数据湖 AI,数据湖算力调度覆盖数据业务全场景,形成综合性云端数据湖解决方案,帮助企业高效构建云端数据湖架构。5月13日下午,腾讯云将在北京举办“云原生智能数据湖”媒体发布会。
会上,腾讯云将首次对外展示完整数据湖产品矩阵以及发布数据湖系列新品,助力企业数据资源的高效共享。目前,腾讯云数据湖体系已服务众多内外部客户,算力弹性资源池达500万核,存储数据超过100PB,日采集数据量超500TB,每日分析任务数达1500万,每日实时计算次数超过万亿,能支持上亿维度的数据训练。
例如,在腾讯新闻业务中,文章是最核心的资源,数字化的管理一篇文章的生命周期,无论是对文章作者的互动反馈、还是对于团队运营分析、乃至后台算法的持续优化迭等都是至关重要。腾讯新闻拥有千亿级的文章数量,每篇文章各环节数据维度达到几百个,多维度的数据主题导致各个业务环节的数据量线性膨胀,这给数据分析带了极大的挑战。基于腾讯云原生数据湖技术架构,在数据采集、数据存储、数据分析的全数据链条上提供了高可靠高可用的弹性数据能力。目前已接入全量文章的索引数据,文章索引达日均30-50亿/100G+,支持准实时写入更新,业务数据链路延迟提升至分钟级别,使得算力资源节约超过50%,综合运行成本降低了30%,大数据运维工程师的工作量减少了100%。
如今,数据生产要素化国家战略开启数智经济新时代,为数字经济提档加速换上新引擎。伴随国内数据湖应用的成熟以及规模落地,将为数据分析者和领导者带来更有力的分析工具,应对多元化数据分析场景,迎接数据智能新趋势。
