世界微资讯！Flink：企业向实时化、智能化大数据计算转型的利器

来源：CSDN博客　2022-07-07 05:44:17

出品 | CSDN云原生

随着互联网、数字化转型等突飞猛进的发展，涌现出了越来越多的需要对海量流式数据进行实时处理的业务场景，而传统的数据批处理方式和早期的流式处理框架在这方面的表现日渐乏力。

时势造英雄。在Spark、Storm等之后，一种流式数据处理框架——Apache软件基金会旗下的开源流处理框架Flink，成为新的团宠，正在得到广泛重视和应用。

(资料图片)

CSDN云原生系列在线峰会第12期“Flink峰会”，由阿里云计算平台高级产品专家，实时计算Flink产品负责人黄鹏程（马格）担任出品人，携手Flink高级研发工程师徐榜江（雪尽）、Flink产品经理李佳林（风元）、真有趣游戏大数据平台开发工程师陈政羽，全景解读Flink的最新进展，以及在阿里巴巴、真有趣游戏等的落地应用实践。

阿里云Flink产品负责人黄鹏程（马格）在开场分享中提到，Apache Flink作为当前流行的开源流处理框架，用来构建分布式、高性能的流处理应用程序。Flink不仅能提供同时支持高吞吐和exactly-once语义的有状态实时流计算，还能提供批量数据处理、Java/Python编程接口和SQL接口。

阿里云实时计算Flink版是一套基于Apache Flink构建的⼀站式实时大数据分析平台，提供端到端毫秒级实时数据分析能力，并通过标准SQL降低业务开发门槛，助力企业向实时化、智能化大数据计算升级转型。

下面先简单回顾本期峰会的内容。关于本场峰会的演讲视频、完整文章将在CSDN云原生公众号陆续发布，敬请关注。

基于Flink CDC高效实现海量数据实时入湖入仓

Flink高级研发工程师、Flink CDC Maintainer、Apache Flink Committer徐榜江（雪尽）介绍，CDC（Change Data Capture）技术是一种用于捕获数据库中数据变更的技术，多用于数据同步、数据分发、数据采集等场景。

相对于传统数据入仓架构存在延迟过高、链路割裂、可维护性差等痛点，Flink CDC入仓架构具备多项优势：

不影响业务稳定性

分钟级别产出

全量+增量一体化

并发读取，高吞吐

链路短，组件少

基于Flink构建大规模实时风控系统在阿里巴巴的落地

风控业务场景对机器决策的实时风控诉求越来越强烈，从集中式、大规模转向分布式、稀疏化攻击，识别难度增大，亟需基于高维异常检查的新系统能力，最终形成异常主动感知、人工洞察分析、自动处置过滤、客观评价高效循环一体的风控系统。

而针对事先、事中、事后三种风控业务，Flink产品经理李佳林（风元）认为Flink凭借事件驱动、毫秒级延迟、流批一体是风控的最佳选择。

真有趣游戏Flink K8s Operator解析与实践

真有趣游戏大数据平台开发工程师、Flink K8s Operator Contributor陈政羽在分享中提到，游戏行业存在诸多实时业务需求，包括实时数据大屏、反外挂业务、数据清洗业务、数据同步业务、AI预测等。围绕这些业务需求，真有趣游戏基于Flink搭建了一套业务架构。

为了使业务方更加便捷的使用好Flink，真有趣游戏还研发了自己的云原生应用Flink K8s Opertaor，承担管理、检测、监控Flink作业部署状况。通过Flink K8s Opertaor和实时作业Studio，简化了使用方对Flink流程、启动集群、部署作业、升级等繁琐的操作。Flink K8s Opertaor主要目标是使得这些流程自动化，用户无需关心内部细节即可完成Flink作业的部署。

彩蛋来啦

扫码加入交流群，获取本场峰会PPT

推荐DIY文章