在数据分析场景应用大模型,企业用户遇到的难点及解决方案

原创 爱分析ifenxi 2023-12-05 19:44






随着大模型带来能力突破,让AI与数据分析相互结合,使分析结果更好支撑业务,促进企业内部数据价值释放,成为了当下企业用户尤为关注的话题。

本次分享主要围绕大模型+数据分析在企业内当前应用的难点和解决方案展开。

分享嘉宾|李喆 爱分析合伙人兼首席分析师

内容已做精简,如需获取专家完整版视频实录和课件,请扫码领取。


01

数据分析是2024年大模型重要落地场景

数据分析是我们认为的大模型在2024年的一个重要落地场景,这背后的一大原因是,数据分析正在朝着逐渐降低入门门,增强企业业务部门自主性,从而实现自助式分析能力的方向发展。
从最初业务部门提出需求,IT部门进行满足;到业务部门提出需求,数据分析部门进行满足;再到如今的敏捷分析(对话式BI),都是在希望让业务部门本身能掌握数据分析的能力。当前,我们看到数据分析成为未来重要场景以及被人们广泛关注的原因,是因为从几个方面出发,其实各部门都有相关的痛点。
第一,从管理层和业务部门的角度来看,我们能明显感受到,从今年开始各公司对于数据分析的需求实际上是大幅度地提高。过去我们可能认为,对于企业的CEO来说,他们可能只是在屏幕上看一下数据指标,但现在许多公司在召开内部管理会议或经营会议时,他们会使用数据看板来查询指标的变化和分析指标背后的原因。与此同时,业务部门也会大量地与IT部门交流,询问为什么数据结果出现问题和偏差,以及指标异常情况的原因。因此,对于管理层和业务部门而言,数据分析的需求比以前增长了很多,需求方对数据分析本身的关注度在不断提高。
第二,从响应需求的部门来看,无论是IT部门还是数据部门,都会发现原来的开发方式响应速度上是不够快的,可能有些指标的开发周期需要一至两周的时间才能向老板汇报该数据,但目前的市场周期无法承受这样的时间。而且,当业务部门使用更多的数据时,他们的场景通常都是探索性的,可能关注的是一大类指标,但每次都会持续出现一些差异,因此需要重新完成大量的数据开发工作。此时,从IT部门和数据部门的角度来看,他们都希望利用大模型能力来提高数据开发的效率,以便更好地满足需求。
因此,无论我们是站在业务部门和管理层的需求侧,还是站在数据开发环节的IT和数据部门本身,对于大模型结合数据分析均存在强烈的需求,在项目立项进行价值诠释时也可以讲得非常清晰。

02

大模型+数据分析当前难点

2.1 三大难点
基于前面所提到的各类的数据分析需求,我们大概可以将数据分析应用分为三类:运营性分析,策略性分析和探索性分析。结合这三类应用我们可以把大模型+数据分析在需求端当前最大的难点归纳为以下三方面:首先是准确性,如何精确地理解需求并提取出所需的数据指标;其次为灵活性,如何应对需求的多变性;最后是洞察力,即我们不仅关注固定的数据结果,更关注变量以及变量背后的原因,也就是要进行更深入的下钻和归因分析。
以准确性来举个例子。许多企业用户会有一个疑问,准确度需要达到何种程度才能被真正采纳?实际上,从实际的业务部和管理层角度出发,实现85%、90%甚至95%的准确性并无太大差别,原因在于许多管理层只需看一次或两次结论便可得知数据是否错误。只要有一次或者两次错误,即使后续的正确率很高,对他们而言依然无法接受。因为他们无法判断这一次的判断是否正确,每次如果需要再次花费人力去验证,那么这数据分析的价值其实就变得很低了。因此,如果从终端用户直接面对的场景来看,无论是面向管理层的还是业务部门,对于数据分析准确性要求是几乎要做到100%的程度。
2.2 解决思路
针对这三个方面的问题,我们认为可从三个角度出发去解决。
第一,模型性能。总的来说,模型性能的优劣将直接影响意图识别能力的强弱,从而提高决策的准确性。然而,大模型本身基于生成式架构无法达到100%的准确性,必然会存在一定的泛化能力问题,在数据分析场景中这个问题会越发凸显。因此,我们认为第一个策略就是提升模型性能。
第二,产品设计。从产品设计的角度充分利用现有数据分析工具与大模型的优势,通过优秀的产品设计和实施方案来避免潜在问题,这也是现阶段大多数落地数据分析业务的相关企业所追求的一种解决方案。此外,通过恰当的运营机制来保证最终效果,如若在第一阶段无法直接触及管理层或业务部门,那么可以考虑服务于数据开发团队或IT团队,使开发效率和响应速度大幅提高。最终,仍然需要以产品加服务的形式呈现,通过提升服务效率来确保最终成果。
第三,运营机制。通过产品和配套服务,来保证最终的使用结果。
由于运营机制中涉及到不同企业原有数据开发流程以及运营开发运维机制,每家企业的情况都有所不同,因此我们在这方面就不进行过多的具体讨论,把重点放在前两部分,也就是模型性能和产品设计上。
首先是模型性能。按照惯例我们将现有数据分析拆分成三个层面,从底层的数据平台、数据仓库、数据宽表的处理,再到中层的数据模型建立、当下兴起的指标平台建设,最后到上层的分析工具、业务看板、大屏幕,这三个层面的思路正式从业务源头的接入,到大模型通过自我演算帮助业务理解,最终输出结果的全过程。
接下来我们来探讨一下每个环节中,大模型所能提供的价值。
第一点,分析工具的应用,其中最重要的一点是意图的理解,这是基于大模型自身强大的理解能力来实现的,比起传统的小模型能力上要更胜一筹。第二点,自动化生成分析报告或报表的能力,这也是企业实践中的常见应用。第三点,进行多轮分析,这其实是基于多轮对话来理解上下文后的不断优化。
上图中标注为蓝色的内容,是在GPT4中可以得到比较完整的能力体现,但在国产大模型或GPT3.5中能力表现则稍显不足。在进行多轮分析时,国产模型的准确度还未达到预期,大概只有30-50%的准确度,与GPT4相比明显存在差距。
再来看第二层的模型建构,其中包括了指标的生产、数据模型的精确匹配,以及任务的分解和指标的分解。分别来看的话,任务分解目前主要还是依托于GPT4相对完整的能力。平台层的SQL生成这一方面,如果是完整生成而并非基于语义层匹配后的生成的话,目前来看依然是GPT4的准确度最高;如果是在单表内去生成,目前各家模型的表现都相当不错。不过综合来看模型层面现在最大的难点还是在跨数据表和宽表之间的join操作上,国内的厂商基本都还很难完成。所以我们可以看到,未来大模型在多轮对话、任务分拣和代码生成这几个方面的准确度还有提升的空间。
不过,即便是使用GPT4其精确度也依然无法达到完全可用的水平。基于模型本身,大模型的能力在理解和生成方面无疑具有极高的价值,但独立存在时,并不能很好地满足企业内真实需求。

03

基于各个难点的解决方案
关于模型本身当前已有多种不同的产品设计方案。
3.1 LLM+宽表/语义层
第一种方案是将大模型与宽表或语义层相结合,运用宽表和数据源来构建语义层,继而在该语义层上进行相应的匹配和查询。这是当前一些BI厂商所采用的策略,通常采用训练专有大模型和直接使用通用大模型的方式。这类模式的具体操作方式是,先去精准地匹配到语义层,如果未能实现精准匹配,一般会通过一个亿级别的小模型先去精准地匹配到宽表,然后基于宽表再用大模型去做理解,最后做查询。但目前据估计,其准确度大约处于80%-90%之间,甚至达到90%的情况都较为少见。
3.2 LLM+指标平台
第二种方案是基于指标平台,这一点与前面提到的语义层颇为相似,是把常见的指标先基于宽表进行计算,如果再运用自然语言查询指标,其精确度会相对较高且基本上具备可控性。这种方式能够在一定程度上降低幻觉现象。但是,这种方式也存在问题,即如何确保所设定的指标能够最大限度地覆盖应用场景。换句话说,如果关注焦点不在指标体系与平台之上,那么这种方式就难以有效解决问题。
3.3 LLM+图模型
第三种方式是基于图模型。以一个宽表作为数据源,大数据源也会有一个宽表。在此基础上进行图转换,将其转化为图模型,然后再运用自然语言处理解决问题。这种方法的优点在于进行归因分析或关联分析时可靠性更强,因为其图结构本身便适应了关联挖掘和分析的需求。当然,这种方法也存在一些问题,例如,如果原本的指标计算较为复杂,那么转化为图模型的过程可能会存在一定困难。许多制造业企业的指标往往较为复杂,这可能导致它们难以将这些指标转化为图模型。
3.4 LLM+数据虚拟化
第四种方式则是目前市面上大家都热衷于尝试的数据虚拟化引擎,该方法的本质是在中间层构建一个逻辑数仓,并在构建后通过虚拟化引擎将每次输入的数据映射到逻辑数仓或整个宽表中,增加其覆盖范围。同时,由于采用逻辑数仓,它不会占用过多的额外内存和存储空间。不过目前我们所见到的主要案例仍然仅限于金融行业,整体来说这项技术尚未达到完全成熟的阶段。
3.5 企业应合理控制预期
上述几种是当前我们所见的几种主要的产品层面实现方式,我们可以发现,产品层面上看,大家的设计理念基本相同,也就是说,当需要处理范围非常广泛的数据时,使用大模型进行相关查询时必然会出现精确度较低的问题,但通过缩小其范围,无论是基于数据源形成一个宽表,或者是收敛到指标平台、图模型,实际上都是在极大程度上减小了范围,从而提高了查询和反馈结果的准确率。
另外,IT部门需要尽可能地来管理和控制整个业务部门的期望值,因为数据分析能很好地帮助那些资深的业务部门人员,但对于相对初级的业务人员来说,大模型+数据分析更多是能够帮助他们去通过自然交互获取一些指标结果。所以,只要能够将期望控制在适度的范围内,认为大模型+数据分析并不是一定要满足所有业务部门的问题,那么当前的大模型产品无论是在数据分析还是在其他方面,都有足够的能力去满足企业用户和业务部门的真实需求。
事实上,即使是GPT4级别的模型,单纯依靠模型能力仍无法完全满足业务部门和管理层的需求。如今国内的通用模型的能力总体仅能达到GPT3.5的水平,距离达到GPT4至少还需一至两年的时间。但是,我们不可能真正等到模型能力达到GPT4级别才去寻找解决方案,因此我们认为,未来更多的关注焦点应放在如何提升产品设计和运营机制,以更好地体现大模型加数据分析的应用价值上面来。
对于洞察力层面,许多实际问题未必需要基于大模型来解决,而是可以通过以下几种途径:
第一,在原有BI工具中加入归因分析和环比计算等功能,大模型虽然能够更精准地查询结果,但在计算过程中的很多算法却不能完全依赖于模型训练,而需要依赖我们原有的BI工具和报表分析能力。
第二,在计算过程中也可以考虑外挂知识库,因为在进行归因分析时需要大量的业务端知识,此时外挂知识库能够更好地解决这方面问题。
以上就是本次大模型+数据分析当前的难点和对应解决方案的分享,如需获取专家完整版视频实录和课件可扫码领取

长按二维码,领取完整版视频实录和课件

毕业于清华大学,曾任职于亿利集团等上市公司金融事业部,近10年金融与私募股权投资领域分析咨询经验,专注于科技研究,对于云计算、大数据、人工智能等众多领域有着深入的研究与思考。

注:点击左下角“阅读原文”,领取专家完整版视频实录和分享课件


爱分析ifenxi 爱分析是一家中国领先的数字化市场研究与咨询机构。
评论 (0)
  • 2 月 29 日,全球智能城市出行品牌小牛电动发布“新世代性能旗舰”电摩NX、电自NXT,以及“全场景智驾越野电摩”X3三款新品。同时,与知名体育电竞俱乐部——JDG京东电子竞技俱乐部携手,打造“英雄的联盟”超级形象,引领Z世代潮流。在“高配置、高续航及年轻化”定位下,电摩NX和电自NXT,以及“全场景智驾越野电摩”X3均实现了续航、安全、智能方面的技术再突破,覆盖日常通勤、短途出行、野外探险等多个出行场景,为消费者提供更好的续航、安全和智能体验。可以说,本次新品发布会是小牛电动全场景高端化布局
    刘旷 2024-03-01 14:04 98浏览
  • 在电子设备领域,“驱动”一词占据着至关重要的地位,充当推动信号、控制和电源的力量。这个复杂世界中的一个重要组件是隔离式栅极驱动器,这项技术在确保各种电子系统高效、安全运行方面发挥着关键作用。什么是栅极驱动器?从本质上讲,栅极驱动器是一种负责控制电子电路中功率晶体管开关的设备。它充当中介,将信号传输到这些晶体管的栅极,促进电路的打开和关闭,从而允许或阻止电流的流动。该过程的效率和可靠性对于电子设备的最佳性能至关重要。隔离:安全性和可靠性的关键隔离式栅极驱动器中的术语“隔离”蕴藏着其重要性的秘密。与
    腾恩科技-彭工 2024-03-01 16:23 96浏览
  • 今天是开学前的一周,也是和一家公司签订了订单培养的协议,这个学期10名已经挑选好的学生去公司带薪实习。学生的选取条件是专业基础好,性格外向,就业意向强,也能很快的适应企业的工作环境。企业是和学校一直有合作的企业。合同已经签订,学生利用周末的时间准备好自己的行李及必备用品去单位提供的宿舍。学生去企业实习的优势是多方面的,以下是一些主要的优势:通过实习,学生可以亲身参与到具体的工作中,了解企业运营的实际情况,加深对所学专业的理解。在实习过程中,学生可以接触到不同的工作任务和挑战,从而提升自己的专业能
    curton 2024-03-01 23:42 89浏览
  • 这几天上头给出一个参考电路,并对比项目中电路进行了几轮来回讨论。数字工程师介入模拟电路的讨论、设计,而且投入实际应用,可能遇到很多挫折、打击,回头看看,对技术的理解,对系统架构的认识逐渐清晰。这是个什么电路呢,如下图所示:也不知上头是从那篇文章中找来的电路,扔给我们的意思是让我们对照当前项目中电路看看是否什么可以借鉴汲取的地方!经过讨论,提出上图主要有2点值得我们注意:1)、最近一直在讨论使用的极零相消2)、放大器+AC耦合思想上述电路两个放大器输出均跟有AC耦合电容,领导说为何他印象中看到的几
    coyoo 2024-03-01 12:00 134浏览
  • 在不断创新的电子世界中,一个关键组件在确保电子设备无缝运行方面默默地发挥着至关重要的作用:光耦合器。光耦合器经常被普通消费者忽视,它是电路板上的无名英雄,在维护电子系统的完整性和安全性方面发挥着关键作用。什么是光耦合器?光耦合器也称为光隔离器,是一种利用光波将电路的两个部分电隔离的装置。这个巧妙的组件由发光二极管(LED)和光电探测器(通常是光电晶体管或光电达林顿管)组成。光耦合器提供的输入和输出侧之间的隔离具有许多优点,使其成为现代电子设计不可或缺的一部分。在电路设计中,光耦可以用于多种应用场
    腾恩科技-彭工 2024-03-01 16:21 80浏览
  • 两轮自平衡PID小车是一种利用PID(比例-积分-微分)控制算法来实现自动平衡和移动的机器人。这种小车通常包含电机驱动、传感器、电源、微控制器等部分。其中,微控制器是小车的核心,负责处理传感器数据、执行PID算法,以及控制小车的电机。在这个场景中,32-bit Arm® Cortex®-M4F内核的微控制器是一个理想的选择,因为它具有高性能、低功耗和丰富的外设接口。Cortex-M4F还支持浮点运算和DSP指令,这对于执行PID算法是非常有利的。对于两轮自平衡PID小车,I2C接口通常用于连接一
    丙丁先生 2024-03-01 11:46 74浏览
  •      数字医疗将物联网、大数据和人工智能等前沿技术集成应用于医疗卫生的领域,可以实现健康医疗服务的数据化、标准化和智能化。它涵盖了医院信息服务、健康管理、医患沟通、医药电商和药物研发等方面。    中国的大数据与医疗结合的需求重点在辅助诊断、患者虚拟助手、医学影像分析等方面。在中国,AI技术在影像识别和辅助诊断领域的应用较为广泛,在其他场景中的应用也快速发展,展现出多元发展态势。     日前,参加某数字集团的座
    广州铁金刚 2024-03-01 17:21 100浏览
  • WSL2(Windows Subsystem for Linux 2)是Windows系统下的一个功能,允许你在Windows环境下运行Linux子系统。下面是在Windows系统下搭建和使用WSL2的步骤:1. 系统要求必须运行Windows 10版本2004及更高版本(内部版本19041及更高版本)或Windows 11。2. 启用WSL2打开PowerShell以管理员身份运行,执行以下命令以启用适用于Linux的Windows子系统和虚拟机平台。bash复制代码dism.exe /onl
    丙丁先生 2024-03-01 11:48 93浏览
  • Rufus是一个可以帮助格式化和创建可引导USB闪存盘的工具,如USB随身碟、记忆棒等。使用Rufus制作可启动的U盘,可以参考以下步骤:下载并安装Rufus软件。打开浏览器,搜索Rufus官方网站,下载最新版本的Rufus软件,然后双击下载的安装包,按照提示完成软件的安装。准备U盘和系统镜像文件。插入一个空白的U盘到电脑的USB接口,下载想要制作成启动盘的操作系统镜像文件,并将其保存到电脑的硬盘上。使用Rufus制作U盘启动盘。打开Rufus软件,在软件界面的“设备”选项中,选择插入的U盘。在
    丙丁先生 2024-03-01 11:51 84浏览
  •  配图来自Canva可画在风风火火搞了一年大模型之后,外界对于AI大模型对百度到底有多大的拉动作用,始终抱有期待,外部投资人也在期待百度AI的现实回报。2月28日,百度发布了2023年第四季度及全年业绩。财报显示,2023年百度总营收达1345.98亿元,归属百度的净利润为(non-GAAP)287亿元,同比增长39%;四季度营收为349.51亿元,归属百度的净利润(non-GAAP)为77.55亿元,同比增长44%。2023年,百度全年营收和利润均超市场预期。不过,面对超预期的财报,
    刘旷 2024-03-01 11:34 56浏览
我要评论
0
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦