广告

低代码交互式数据分析:开启高效、灵活、智能的数据洞察之旅

时间:2023-12-01 作者:中移智家 阅读:
本文提出一种基于低代码的交互式数据分析协作工具,通过图形界面和可视化建模技术,为移动高清业务分析提供模块化、规范化、自动化的统一数据访问和交付入口,从而可以快速响应业务需求,降低开发成本,提高灵活性。

数据分析是业务发展的关键驱动力,通过洞察市场趋势、优化运营策略、提高决策效率,可以有效帮助企业在激烈的竞争中取得发展优势。然而随着移动高清业务的逐渐成熟,不定时、不定周期、不定频率的相同数据分析工作逐渐增加,如:用户留存分析、用户活跃分析、用户画像分析……,一级大屏运营支撑平台现有的数据处理方式存在开发周期长、人力成本高、缺乏灵活性等问题,研发人员需配合产品及运营人员处理大量的数据查询、计数、去重、聚合等数据检索需求,重复性工作多且时效性低,无法满足业务高量发展的需求。为解决以上问题,本文提出一种基于低代码的交互式数据分析协作工具,通过图形界面和可视化建模技术,移动高清业务分析提供模块化、规范化、自动化的统一数据访问和交付入口,从而可以快速响应业务需求,降低开发成本,提高灵活性

本工具基于Apache Zeppelin进行二次开发,工具结构分为数据层、核心功能层和可视化层,具有数据分析任务调度、分布式计算、跨引擎关联、在线协作、行为监控、数据可视化等功能。

1:低代码交互式数据分析工具架构设计

数据层:适配Hive、MongoDB、HBase、ClickHouse、MySQL等RDBMS与非RDBMS数据库,提供统一数据访问入口。

核心功能层:包含跨引擎关联查询解释器、行为监控、多人协作、各数据库专用解释器、系统日志权限控制等多个模块。一方面采用Dolphin Scheduler进行取数任务调度管理,并依托Spark实现分布式计算,通过跨引擎关联解释器提供跨数据库关联查询能力,有效提高数据资产利用率;另一方面基于在线协作文档技术,实现代码和图表的多用户视角同步更新,提高在线联调效率,大大缩短研发周期。此外,通过数据访问行为监控模块结合数据权限管理,可以有效保护数据资产安全。

可视化层:接收解释器处理后的规范化数据,依托低代码技术实现以图表为单位的web模块,以表格、饼图、柱状图、折线图、散点图等形式进行展示,并提供数据导出功能,可满足大部分数据可视化需求。

以下是低代码交互式数据分析工具的核心实现逻辑,通过开发多种数据库的Catalog可以完成各类DDL和DML接口实现,基于Multiple Catalog特性,自动汇聚Zeppelin各专用解释器配置信息并注入到Spark,通过Catalog name区分各个数据库,充分利用Spark分布式计算能力,使跨引擎查询成为Spark SQL的内置能力,从而与Zeppelin深度结合进一步降低跨引擎查询门槛。

图2:低代码交互式数据分析工具核心实现逻辑

在应用成效方面,目前该工具已完成19个数据库的适配,并应用于中国移动智慧家庭运营中心一级大屏运营支撑工具项目,纳管2亿+移动高清大屏数据,累计节省开发及产运人力3人年。以新/老用户次日/近三日/近七日留存率统计为例,传统查询方式需耗费20-30分钟,通过本工具在线协作查询,可缩短至5分钟以内,并直接呈现为图表。

在可推广性方面,由于工具内所有组件都在JVM内运行,借助于JVM良好的跨工具兼容性,可以通过BASH脚本轻松实现一键部署,无需考虑组件依赖兼容性问题。同时,借助于跨引擎关联解释器,可接入Hive、Mysql、MongoDB等主流数据库进行跨库、跨引擎数据关联查询,在具备Spark组件的集群中可以实现一键部署上线,轻松接入。

未来,随着数字化转型的加速推进和市场需求的不断增长,低代码交互式数据分析工具依靠其更高的灵活性和可扩展性,将更好地满足业务高质量发展的需求,提供更加高效、灵活、智能的数据洞察力和决策支持,推动中国移动智慧家庭领域的数字化转型和业务发展。

本文为EET电子工程专辑 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
您可能感兴趣的文章
  • 全新DSP数字格式能让AI芯片性能超越GPU? 新创公司Lemurian Labs发明了一种专为AI加速设计的对数(logarithmic)数字新格式,并打造了一款利用该格式优势、锁定数据中心AI工作负载应用的芯片。
  • 反转:Gemini AI 性能或作假,演示有剪辑成份 电子工程专辑刚刚介绍了《谷歌发布多模态大模型Gemini》,这是谷歌自称强于OpenAI技术的目前最强大的AI,然而据彭博社报道称,Google在关于"双子座"的性能视频演示中作假了。
  • 美光推出采用232层NAND结构NVMe SSD 在上个月长江存储出货232有源层的3DQLCNAND内存芯片之后,12月6日,美光科技宣布推出Micron 3500 NVMe消费级固态硬盘,此固态硬盘利用其232层NAND为商业应用、科学计算、尖端游戏和内容创作等要求苛刻的工作负载提供支持。美光3500固态硬盘采用M.2外形尺寸,容量最高2 TB,SPECwpcsm性能提升达71%,官方称它能够提供优于竞争对手的用户体验。
  • Gartner发布2023年四大技术主题,25项新兴技术 新兴技术具有内在颠覆性,要抓住它们带来的机会,关键在于了解它们的潜在应用和进入主流采用的路径。
  • 品英Pickering集团亮相进博会,盘点三大新品及软硬件系列产品 品英在测试和测量方面有着悠久的历史,在自动开关和仿真解决方案方面具有着深厚的核心竞争力,其用户基础十分广泛,涉及航空航天,国防,自动化,半导体以及其它通用应用的客户,业务比例和行业分布比较均匀。其55年以上的继电器设计经验和35年以上的自动测试设备产品和解决方案经验为业界提供最广泛的开关和传感器仿真,并且是唯一拥有内部舌簧继电器和电缆生产的开关制造商。
  • 持续推动封装技术创新英特尔看好玻璃衬底 在开发先进封装的探索中,英特尔(Intel)将目光投向一种芯片基板新材料:玻璃。玻璃的刚性,以及较低的热膨胀系数使其优于有机基板,因为膨胀与翘曲的程度较小…
相关推荐
    广告
    近期热点
    广告
    广告
    可能感兴趣的话题
    广告
    广告
    向右滑动:上一篇 向左滑动:下一篇 我知道了