智能问数测试调研一、 文档概述测试背景与目的随着大语言模型在企业数据分析场景中的应用逐渐成熟“智能问数Text-to-SQL”类工具开始被广泛关注。这类工具试图通过自然语言交互的方式降低业务人员访问和分析数据的门槛并在一定程度上提升数据分析效率。本次测试以开源项目SQLBot为研究对象通过实际部署和功能验证评估其在真实数据场景下的可用性、稳定性以及能力边界。测试重点并非验证模型理论性能而是从“是否好用、是否可落地”的角度出发分析其在实际业务环境中的应用价值与局限性为后续选型或二次开发提供参考依据。被测试工具简介SQLBot 是一个开源的“智能问数”系统其核心能力是将用户的自然语言问题自动转换为可执行的 SQL 语句并对数据库进行查询最终以表格或图表的形式返回结果。从产品定位上看SQLBot 属于典型的 Chat-BI对话式商业智能工具面向不熟悉 SQL 的业务用户也可作为 BI 系统或企业内部平台中的智能查询组件。在技术实现上SQLBot 并非完全依赖大模型端到端生成 SQL而是结合了检索增强生成RAG机制对数据表结构、字段描述、业务术语以及 SQL 示例进行检索再将相关上下文提供给大模型从而提升 SQL 生成的准确性与可控性。测试范围与不包含内容本次测试主要围绕 SQLBot 的核心问数能力和工程可用性展开测试范围包括工具的安装与部署体验不同类型数据源与数据集的接入情况自然语言转 SQL 的基本能力与稳定性常见查询场景下的图表展示效果多表查询、数据量限制及 token 消耗相关表现产品在复杂分析场景下的能力边界需要说明的是本次测试不包含以下内容对底层大语言模型本身性能的系统性评测大规模并发或生产级性能压测深度定制化开发或源码级改造分析测试结论仅基于当前版本 SQLBot 在默认或轻度配置条件下的实际表现。适用读者本文档主要面向以下读者群体业务人员 / 数据使用方希望通过自然语言直接获取数据对 SQL 不熟悉但关注工具是否“好用、直观”。技术人员 / 数据工程师关注系统部署成本、数据接入方式、多表查询能力以及潜在的工程限制。产品经理 / 技术决策者关注 SQLBot 的整体定位、能力边界及其在企业数据分析体系中的适用场景。二、工具与测试环境说明测试部署环境本次测试采用WSLWindows Subsystem for Linux Docker的方式部署 SQLBot并通过Windows 本地浏览器进行访问和使用。这种部署方式在保证 Linux 运行环境一致性的同时也兼顾了 Windows 桌面环境下的使用便利性较符合实际开发与测试场景。具体环境说明如下操作系统Windows10本地桌面环境Linux 子系统WSL2Linux 发行版Ubuntu 20.04容器环境Docker Desktop启用 WSL 集成需要说明的是官方文档中建议使用 Ubuntu 22.04 及以上版本但在本次测试中Ubuntu 20.04 环境下 SQLBot 仍可正常部署和运行未出现因系统版本导致的兼容性问题。部署方式说明SQLBot 通过官方 GitHub 提供的命令行方式进行部署。测试过程中未对源码进行修改也未引入额外的自定义组件整体部署流程遵循官方推荐路径。部署流程可概括为在 Windows 系统中安装 Docker Desktop并在安装过程中启用 WSL 相关选项进入 WSL2 环境Ubuntu按照官方文档通过命令行方式一键启动 SQLBot 服务整体安装和启动过程较为顺畅未出现报错或需要额外排查的问题部署成本相对较低。访问方式与使用形态SQLBot 服务启动后通过Windows 本地浏览器进行访问和操作。测试中直接在浏览器地址栏输入http://localhost:8000即可访问 SQLBot 提供的 Web 界面。这种“后端运行在 WSL前端通过 Windows 浏览器访问”的使用方式对用户而言几乎无感知额外成本既保留了 Linux 环境的稳定性也符合 Windows 用户的日常操作习惯。大模型与外部依赖说明在实际使用 SQLBot 进行智能问数时需要配置大语言模型的 API 接口。本次测试中使用的是第三方大模型服务如 DeepSeek该部分属于外部依赖需单独配置并涉及一定的使用成本。需要强调的是SQLBot 本身并不内置大模型而是作为上层应用框架通过调用外部大模型能力完成自然语言理解和 SQL 生成。三、 SQLBot介绍官方文档https://sqlbot.org/docs/v1/GitHub链接https://github.com/dataease/SQLBot官网https://sqlbot.org/教学视频https://www.bilibili.com/video/BV1SBtizgED4/SQLBot 是什么SQLBot 是一个“智能问数”自然语言 → SQL系统 —— 即用户可以使用自然语言对数据库提出问题系统通过大语言模型 检索增强生成 (RAG) 技术将自然语言问题转换为 SQL 查询并执行。它本质上为“Chat-BI”对话式商业智能 / 数据分析工具使得即便不熟悉 SQL 语法也能通过普通语言快速获取数据、生成表格或图表。核心能力与特性SQLBot 的关键功能和优势可归纳为以下几点开箱即用只需简单配置 —— 指定大语言模型 (LLM) 与所连接的数据源 (数据库或文件) —— 即可启动使用无需复杂开发或编码。Text-to-SQL RAG结合自然语言理解与 RAG 技术将自然语言问题转化为结构化 SQL 查询使查询更准确、可执行。数据源支持多样兼容多种类型数据源 —— 包括主流关系型数据库 (如 MySQL, PostgreSQL, Oracle, SQL Server 等)也支持 OLAP/数据仓库、数据湖、文件 (Excel / CSV) 等。易于集成 / 嵌入除了作为独立系统使用也支持嵌入到第三方业务系统或其它平台 (例如 AI 平台、BI 工具等)支持 Web 嵌入、弹窗嵌入、MCP 调用等多种方式。安全与权限控制设计有“工作空间 (workspace)”级资源隔离机制支持细粒度的数据权限配置从而保障数据访问的安全性与合规性。持续优化 (“越问越准”)支持自定义提示词 (prompt) 和术语库 (terminology) 配置也可以通过维护 SQL 示例 (示例查询) 来校准系统在特定业务 / 语义上的问数质量随着使用和反馈积累系统表现可持续优化。适用场景SQLBot 的定位和使用场合包括但不限于对业务人员非专业数据分析人员开放数据库查询 —— 用户无需了解 SQL即可“问出”所需数据。集成到 BI 平台 / 企业内部系统中作为智能问数 / 数据分析组件。数据可视化与报告生成 —— 将结果直接转为表格 / 图表 /仪表板 (dashboard)便于汇报或决策支持。教育与培训用途 —— 帮助学习数据库 / 数据分析 / SQL 查询的人用自然语言理解与 SQL 之间的对应关系。技术架构根据公开资料SQLBot 的架构与实现具有以下特征后端基于现代 Web API (例如 Python FastAPI) 构建。前端可能使用现代前端框架 (如 Vue TypeScript) 实现。系统模块化设计 —— 后端包含多个子模块 (数据源管理、聊天 / 问答模块、模板 / 术语管理、权限系统等)便于扩展和维护。支持通过 RAG 向量检索 (vector-based retrieval) 来增强自然语言到 SQL 的映射准确性 (特别适合大 schema /复杂数据库) 。该开源工具整体安装过程较为顺畅未出现报错情况。本次测试通过 GitHub 提供的命令行方式进行一键安装部署成本较低。实际部署环境为 WSL2。只需在 Windows 系统中提前安装 Docker Desktop并在安装过程中启用与 WSL 相关的配置选项随后进入 WSL 环境执行官方提供的启动命令即可完成部署。虽然官方文档中建议使用 Ubuntu 22.04 及以上版本但本次测试使用的是 Ubuntu 20.04实际部署和运行过程均未受到影响系统能够正常启动。部署完成后返回 Windows 系统通过浏览器访问http://localhost:8000即可进入 SQLBot 的 Web 界面。四、 测试数据和数据源说明测试数据集概述Building Data Genome Project 2本次测试选用Building Data Genome Project 2BDG2作为主要测试数据集。BDG2 是一个在建筑能耗分析和时间序列研究领域被广泛使用的开源数据集最早发布于Scientific DataNature 子刊并曾作为 ASHRAE Great Energy Predictor IIIGEPIII竞赛的核心数据基础。该数据集覆盖1,636 栋非住宅建筑、3,053 个能耗与水务计量表数据时间跨度为2016–2017 两个完整年度时间粒度为小时级hourly总体数据规模约5,000 万条以上时间序列记录。从数据复杂度、规模和结构多样性来看BDG2 非常适合作为智能问数Text-to-SQL系统的综合测试样本。kaggle官网https://www.kaggle.com/datasets/claytonmiller/buildingdatagenomeproject2/data数据内容与结构复杂性说明BDG2 数据集并非单一表结构而是由多类高度异构的数据表共同组成主要包括建筑元数据表Metadata包含建筑唯一标识、所属站点、建筑用途类型、建筑面积、时区、行业类别等信息。该表是连接各类时间序列数据的核心维表。能耗与水务计量数据Meter Data按计量类型拆分为多张表例如electricity电力chilledwater冷冻水hotwater热水steam蒸汽gas燃气water / irrigation水与灌溉solar太阳能每类计量数据均为建筑 × 时间的小时级时间序列不同建筑所拥有的计量类型并不完全一致。气象数据表Weather Data与建筑站点关联的小时级气象信息包括气温、湿度、风速、气压等用于描述外部环境对能耗的影响。从数据库视角来看该数据集呈现出以下显著特征表数量较多且存在明显的多表关联关系主键、外键语义依赖于业务理解而非显式数据库约束字段命名偏学术 / 工程风格不直接对应自然语言表达时间序列表数据量大且查询通常涉及聚合、过滤和分组操作这些特性使 BDG2 成为检验 SQLBot 在复杂真实数据场景下表现的合适选择。数据库落库方式MySQL为便于 SQLBot 进行统一管理和查询本次测试中将 BDG2 原始数据整理后导入至 MySQL 数据库中并以关系型数据库的方式进行管理。具体做法包括将原始 CSV 文件拆分并导入为多张 MySQL 表明确建筑元数据表作为核心维表各类计量数据表通过建筑标识与元数据表进行逻辑关联保留时间字段为标准时间戳格式支持时间范围查询与聚合该方式能够较真实地模拟企业内部常见的数据仓库或业务数据库结构同时也更符合 SQLBot 当前对关系型数据库的支持方式。SQLBot 数据源连接方式在数据完成 MySQL 落库后通过 SQLBot 提供的数据源管理功能将该 MySQL 数据库作为统一数据源接入系统。SQLBot 能够自动识别数据库中的表结构和字段信息并在后续问数过程中基于这些结构生成 SQL 查询。由于 BDG2 数据表数量较多为了控制上下文规模和 token 消耗在测试过程中对部分与当前测试目标无关的数据表进行了隐藏或未启用配置。这一操作在实际测试中对提升问数稳定性具有明显帮助也更贴近真实生产环境中的使用方式。数据复杂性对测试的影响说明需要强调的是BDG2 数据集的复杂性并非测试噪声而是本次测试的重要组成部分多表结构用于验证 SQLBot 在复杂 schema 下的理解能力异构计量数据用于测试字段歧义和语义映射问题大规模时间序列用于检验聚合查询和性能边界因此后续测试结果包括成功案例与失败场景均应结合该数据集本身的复杂度进行理解而不应简单等同于在单表或简化数据集上的问数效果。五、 SQLBot核心功能测试隐藏无关表节省tokenSQLBot 支持对数据源中的表进行隐藏配置在问数过程中仅向大模型提供与当前问题相关的数据表信息。通过隐藏无关表可以有效减少上下文中的 schema 规模从而降低 token 消耗并在实际测试中对响应速度和稳定性均有一定提升。在多表、复杂数据集场景下该机制有助于控制模型输入规模是提升系统可用性的重要工程手段。术语别名与语义配置能力在实际业务场景中数据库中的表名和字段名通常偏技术化而业务用户更倾向于使用口语化、业务语义明确的表达方式进行提问。SQLBot 支持为字段配置别名和描述信息用于将技术字段映射为更贴近业务语境的表达。在测试中该配置方式有助于缩小自然语言与数据库结构之间的语义差距对提升问数成功率和理解一致性具有积极作用。业务场景中数据库的表名或者变量名太过于技术化客户更偏向于用口语化的语言。折线图展示与 SQL 可解释性测试中使用折线图展示Peacock_lodging_Terrie随时间的变化趋势时SQLBot 能生成对应查询语句并完成可视化展示。但观察到其返回的 SQL 更像“展示用的伪 SQL”格式或语法不完全符合数据库可直接执行的标准写法。推测系统内部存在二次解析/解释器机制将该伪 SQL 转换为真实可执行 SQL 后再完成查询与绘图。SELECT “timestamp” AS “time”,“Peacock_lodging_Terrie” AS “peacock_lodging_terrie_value”FROM “public”.“sheet1_bd3a0fd2df”ORDER BY “timestamp”LIMIT 1000数据分析功能SQLBot 提供了基础的数据分析能力主要以执行 SQL 查询并对结果进行简单处理和可视化为主。在实际测试中系统能够完成常见的统计汇总和趋势分析但对于相关系数计算、复杂统计分析等超出 SQL 原生表达范围的分析任务当前版本无法直接支持。整体来看其数据分析能力仍以“查询型分析”为主更适合作为智能问数工具而非通用的数据分析或统计建模平台。非 SQL 统计分析能力限制在测试中尝试计算不同变量之间的皮尔逊相关性系数SQLBot 无法完成该类分析任务。系统提示其仅支持执行 SQL 语句无法直接进行相关性等统计分析计算。该结果表明当前 SQLBot 的分析能力主要受限于 SQL 表达范围对超出 SQL 原生能力的统计分析场景支持不足。折线图展示时间序列趋势在测试中使用折线图展示Eagle_education_Jewell随时间的变化趋势SQLBot 能够根据自然语言问题生成对应查询并完成可视化展示。整体趋势呈现符合预期能够反映该变量在时间维度上的变化情况。该测试表明SQLBot 在时间序列类查询和基础趋势分析场景下具备较为稳定的表现适用于常见的时序数据展示需求。饼图展示分类占比在测试中使用饼图展示不同子行业的建筑数量占比。SQLBot 能够根据自然语言问题生成分组统计查询并将结果以饼图形式进行可视化展示。该功能适用于分类统计和结构占比分析等场景在展示不同类别分布情况时具有一定实用性。SELECTsubindustryASsubindustry,COUNT(*) ASbuilding_countFROMmetadataWHEREsubindustryIS NOT NULLGROUP BYsubindustryORDER BYbuilding_countDESCLIMIT 1000六、 异常与边界测试错别字识别能力在测试过程中发现若在问题中引入少量错别字例如简单拼写错误或个别字符错误SQLBot 往往无法正确理解用户意图导致无法匹配相关字段或生成有效 SQL。在错别字较轻、语义仍然明确的情况下仍出现该问题说明系统对输入文本的容错能力较弱。考虑到底层使用大语言模型该类场景理论上应具备基本的拼写纠错能力该问题在实际业务使用中可能影响用户体验。查询不存在的数据在测试中当查询的数据在当前数据集中不存在时SQLBot 能够返回明确的“不存在”提示而未生成错误或误导性的查询结果。该表现符合预期说明系统在基础数据校验和异常场景处理方面具备一定的合理性。多表关联分析能力在测试中尝试让 SQLBot 自动分析多表之间的关联关系但系统无法直接给出有效结果需要通过手动方式配置或指定表之间的关联。这表明当前版本 SQLBot 在多表关系自动推断方面能力有限多表查询仍较依赖人工配置。多表关系配置方式SQLBot 支持用户自行选择参与问数的数据表并通过拖拉拽的方式手动建立多表之间的关联关系。在测试中该方式能够较直观地完成多表配置为后续多表查询提供基础但整体仍依赖人工操作自动化程度有限。七、 权限、安全与工程能力表级权限控制能力SQLBot 支持为不同用户配置数据表的访问权限从而控制用户可见和可操作的数据范围。在测试中该机制能够满足基本的数据隔离和权限管理需求适用于多用户使用场景下的数据安全控制。术语与同义词配置效果SQLBot 支持为业务术语配置描述信息及同义词映射用于增强自然语言问题与数据库字段之间的语义匹配。在实际测试中该术语配置在一定程度上提升了问数的准确性和稳定性尤其在业务表达与技术字段差异较大的场景下效果较为明显。八、 类似产品对比SQLBot轻量级、私有化友好的基础智能问数工具工程取向清晰但分析与产品能力有限Vanna以交互体验为核心的 Text-to-SQL 产品适合协作和快速使用SuperSonic问数 BI 的完整平台方案功能最全适合正式分析与展示场景SeekDB数据库生态内的智能问数工具SQL 能力强但通用性有限WrenAI云端 Chat-BI 工具上手快但私有化与深度定制受限Seekdbhttps://github.com/oceanbase/seekdb?tabreadme-ov-filehttps://vanna.ai/docs/quick-startVannahttps://github.com/vanna-ai/vannahttps://app.vanna.ai/app/new-chat在同类型智能问数产品中Vanna 在整体产品化程度和用户交互体验方面表现相对成熟。首先从界面层面来看Vanna 的整体 UI 设计更加简洁、美观信息层级清晰对首次使用的用户较为友好能够降低上手成本。在交互机制上Vanna 对“问数失败”场景提供了更明确的用户引导。当大模型无法给出有效结果时系统并非简单返回失败而是引导用户判断失败原因例如区分是提问方式不够清晰还是模型对业务语义理解不足。同时在每次回答完成后Vanna 提供了用户满意度反馈入口使用户可以直接对当前回答进行评价。这类反馈机制有助于系统持续优化模型效果也能在一定程度上改善用户使用体验。在协作与结果复用方面Vanna 支持将问数过程和结果以类似文档或对话的形式进行分享使用体验接近飞书或腾讯文档的共享方式便于在团队内部进行传播和讨论。该能力在实际业务场景中具有较高实用价值能够避免重复提问提高数据分析结果的复用效率。此外Vanna 提供了一定数量的现成集成工具和接口方便其与其他系统或平台进行对接整体集成成本相对较低。从整体定位来看Vanna 更偏向“以用户体验和交互为导向”的智能问数产品而非单纯强调底层 SQL 生成能力。SuperSonicSuperSonic 是一款国产的智能问数与数据分析框架整体界面设计较为简洁功能覆盖范围相对更广产品完成度较高。相比偏“问数入口”定位的工具SuperSonic 更接近于集成式的数据分析与 BI 平台。https://github.com/tencentmusic/supersonichttp://117.72.46.148:9080/chat?agentId1在功能层面SuperSonic 支持用户自定义业务指标并基于查询结果进一步创建仪表板、看板以及大屏展示能够覆盖从数据查询到结果展示的完整流程。该能力使其在数据可视化和结果汇报场景中具有明显优势。此外SuperSonic 支持创建不同用途的智能助理其中既可以配置专门用于智能问数的助理也可以新建仅用于通用大语言模型对话的助理功能边界相对清晰有助于满足不同使用场景下的需求。在交互体验方面当用户获得查询结果后系统支持通过可视化方式对查询时间范围、展示方式等参数进行二次调整而无需重新输入自然语言问题。这种交互方式在实际使用中能够显著提升分析效率。同时SuperSonic 还支持将查询结果数据导出便于进行后续分析或离线处理。WrenAIhttps://github.com/Canner/WrenAIhttps://wrenai.readme.io/reference/cloud-getting-startedhttps://cloud.getwren.ai/projects/13182/home智能问数工具选型建议表九、 总体评价与结论综合本次测试结果来看SQLBot 是一个定位清晰、工程取向明确的开源智能问数框架其核心优势在于私有化部署友好、RAG 机制有效控制 token 消耗以及在基础问数场景下具备一定稳定性。对于希望在企业内部快速落地自然语言查询能力的团队而言SQLBot 具备一定实用价值。但同时也需要看到当前版本的 SQLBot 功能整体偏基础更适合解决“能不能用自然语言查数据”的问题而非“能否进行深入数据分析或智能决策”。在图表类型、统计分析、预测能力、多表复杂场景处理等方面其能力仍存在明显边界。尤其是在涉及多表联查、字段歧义、复杂 SQL 生成时系统表现高度依赖底层大语言模型能力框架本身的兜底和校验能力有限。从产品成熟度角度看与 Vanna、SuperSonic 等同类产品相比SQLBot 在交互体验、结果复用和协作能力方面仍有差距但在私有化、权限控制和工程简洁性方面保持了一定优势。这也决定了 SQLBot 更适合被定位为轻量级、可控、面向基础问数场景的技术组件而非开箱即用的完整 BI 或数据分析平台。总体而言SQLBot 目前更像是一个“良好的起点”而不是“终态产品”。如果后续能够在鲁棒性、多表稳定性、分析能力和系统扩展性等方面持续投入其在企业级智能数据应用中的价值仍有较大的提升空间。十、建议改进和后续计划SQLBot 当前整体流程仍以“所有问题尝试转 SQL”为核心路径但在实际业务中用户问题往往同时包含SQL 问数型问题与非结构化咨询型问题。通过引入通用对话模式、失败分流机制、用户反馈与问题记忆能力并在数据源和模型侧增强扩展性如国产数据库、Dify 工作流、本地模型SQLBot 可从“问数工具”进一步演进为更完整的智能数据交互入口。基于本次对 SQLBot 的完整测试可以看出其整体架构思路清晰工程目标明确但在功能深度、交互体验以及复杂业务场景支持方面仍存在较明显的提升空间。后续改进方向可从短期可落地优化与中长期能力演进两个层面推进。在短期层面建议优先聚焦于提升系统可用性和用户体验。一方面可以在问数入口引入更明确的失败反馈机制当 SQL 生成失败或无法回答时区分是“用户提问方式不清晰”还是“模型对业务理解不足”并通过交互选项引导用户修正问题。同时在回答完成后增加用户满意度反馈入口为后续优化提供数据基础。另一方面可以引入基础的输入容错能力如错别字纠正和同义词增强以降低业务用户的使用门槛。在数据分析能力方面当前 SQLBot 主要停留在“查询型分析”阶段建议逐步引入非 SQL 原生的分析算子例如相关性分析、同比环比等常见统计能力使系统能够覆盖更多实际分析需求。同时在预测功能上可考虑开放模型扩展接口支持调用外部模型或模型库如 HuggingFace避免预测能力长期局限于简单线性模型。在多表和复杂数据场景下SQLBot 的能力仍较依赖人工配置。后续可重点增强多表关系推断与字段消歧能力例如在 join 场景下提供自动关联建议、字段冲突提示等降低复杂业务数据使用成本。同时可优化表结构同步与加载策略在数据表数量较多时减少初始化开销。在系统扩展性方面建议进一步完善数据源与模型的接入机制。一方面对非 SQLAlchemy 直接支持的数据库如达梦、GaussDB 等提供更清晰的适配规范和示例实现另一方面可考虑支持本地模型调用如通过 Ollama以及与 Dify 等工作流平台的集成使 SQLBot 能够更好地融入企业现有 AI 应用体系。从后续计划角度看SQLBot 可以逐步从“智能问数工具”演进为“统一的数据智能入口”在保证私有化、安全可控的前提下承担更多交互与分析职责。