姓名任佳莉一、实验目的①熟悉助睿 Uniplore 一站式数据科学平台整体架构掌握数据集成 ETL 模块零代码拖拽式开发流程理解半结构化日志数据处理完整流程。②掌握获取文件名、Java 代码解析、字段选择、过滤记录、分组聚合、表输出等核心 ETL 组件的配置方法与业务适用场景。③掌握半结构化浏览器行为日志的解析思路实现日志文件名拆解、文本内容拆分、结构化数据表落地。④学会多维度数据清洗、排序分组、指标聚合完成浏览器用户规模、时段活跃度等业务指标统计培养用户行为数据分析思维。⑤理解日志数据从原始半结构化文本→结构化明细表→聚合分析表的全加工链路为后续可视化与流失预测建模奠定数据基础。二、实验环境与数据源2.1 实验环境本次实验依托助睿数智Uniplore大数据实训平台开展平台集成数据接入、ETL 加工、机器学习、BI 可视化全链路能力支持零代码可视化拖拽完成复杂数据处理任务。 实训平台地址https://lab.guilian.cn/平台官网https://www.uniplore.com/操作方式浏览器端可视化拖拽建模无需编写大量代码仅通过 Java 小段脚本配合组件完成日志解析。2.2 实验数据源实验采用互联网公开用户行为挖掘竞赛数据集①数据规模覆盖 1000 名用户、连续 4 周电脑使用行为800 万 条行为记录解压约 825MB②数据构成行为日志 TXT 文件夹 用户属性 demographic.csv③日志格式每个 TXT 为单用户单次开机行为日志文件名含用户 ID、日期、开机时间文本内含进程、URL、使用时长等行为字段④核心进程包含 chrome、360 浏览器、QQ 浏览器、IE 等主流浏览器及办公软件进程记录。三、实验原理与整体设计思路3.1 实验核心原理半结构化数据解析原始 TXT 日志无标准行列通过文件名拆分提取用户与开机信息按固定分隔符、[]拆分日志正文关键字段ETL 加工思想抽取批量读取公共空间日志文件、读取数据库基础表转换Java 脚本日志解析、字段清洗、空值替换、数据排序、分组聚合、条件过滤加载将解析明细、聚合统计结果落地到团队私有数据库行为指标聚合按进程 / 浏览器、小时、用户多维度分组统计使用人数、活跃用户数、累计使用时长。3.2 整体流程设计平台登录→新建实验项目→导入公共空间日志数据→创建数据库原始表→日志结构化解析获取文件名→Java 代码解析→字段筛选→表入库→创建进程统计数据表→进程用户规模聚合统计→创建浏览器分析统计表→行为日志清洗抽取→浏览器维度 时段维度指标聚合→BI 制作可视化图表→结果校验分析。四、实验步骤4.1平台首页与功能界面进入助睿数智实训平台首页平台分为数据接入、数据准备、数据探索、数据展现四大核心流程板块同时提供数据集成、机器学习、数据治理、助睿 BI 等进阶工具入口是本次日志数据加工的整体操作环境。4.2 新建实验项目①登录平台进入数据集成模块在个人团队页面点击「 新建项目」②项目名称填写互联网用户行为日志数据加工填写完成后点击确定创建项目③创建成功后在我的项目列表中可看到新建项目支持打开、编辑、删除、导出等管理操作。4.3 创建项目文件目录①进入项目内部切换到文件库功能栏②右键根目录选择「新建目录」目录命名为互联网用户行为日志数据集用于统一存放实验日志 TXT 文件。4.4 导入公共空间日志数据①点击平台公共空间进入公共数据资源池②找到互联网用户行为日志相关数据资源选中需要的日志文件③点击文件右上角「更多」→「导出」导出路径选择刚才新建的互联网用户行为日志数据集目录④导出完成后在项目文件库中可看到已导入的全部日志 TXT 文件。4.5 配置团队私有数据库①切换到元数据模块找到关系数据库下的「团队私有数据库」②查看数据库配置信息连接类型为 MySQL、服务器地址、端口 3306、数据库名称、账号等参数③勾选使用结果流点击测试连接显示连接成功后续可用于建表和数据落地。4.6 创建原始行为日志数据表①新建转换流并命名创建原始行为日志数据表②在组件库拖拽执行一个 SQL 脚本组件到画布③双击组件数据库连接选择团队私有数据库输入behavior_events明细表建表 SQL 语句④配置完成后运行转换流日志显示脚本执行成功数据库自动创建用户行为事件明细表。4.8 Java 代码组件配置与日志解析①拖拽Java 代码组件将获取文件名与 Java 代码用主输出步骤连线②双击 Java 代码组件粘贴日志解析专用代码实现文件名拆分、日志头部跳过、按和[]分隔符解析关键字段③在输出字段面板依次添加session_id、user_id、l_start、t、p、i、u、a、b、v、w、n、c、source_file所有字段类型均设置为 String。4.9 字段选择冗余清理①拖拽字段选择组件接入 Java 代码输出流②双击组件点击「获取字段」自动加载所有系统冗余字段③选中filename、path、type、lastmodifiedtime等非业务字段批量删除仅保留日志解析核心业务字段。4.10 表输出组件配置入库①拖拽表输出组件连接字段选择输出流②数据库连接选择团队私有数据库目标表选中behavior_events③勾选裁剪表防止重复数据进入数据库字段配置页手动匹配流字段与数据库表字段一一对应④运行转换流执行日志显示数据读取、处理、入库全部完成。4.11 查看数据库表结构与数据①进入数据探查页面右键团队私有数据库选择「加载元数据」②展开数据库列表可看到behavior_events等数据表③点击数据表切换到查询页可预览解析后的结构化日志数据字段完整、数据格式规范。4.12 创建进程统计表①新建转换流创建进程统计表②拖拽「执行一个 SQL 脚本」组件输入program_stats进程统计表建表语句③选择团队私有数据库运行转换流完成进程统计数据表创建。4.13 统计进程用户规模转换流配置①新建转换流统计进程用户规模②拖拽表输入组件配置读取behavior_events明细表全部数据③添加字段选择组件仅保留user_id、process_name两个统计核心字段删除其余冗余字段。4.14 空值替换配置①拖拽替换 NULL 值组件接入字段选择数据流②配置选择字段为process_name空值统一替换为未知避免分组时空值单独统计。4.15 排序记录配置①拖拽排序记录组件按process_name字段升序排序②保证分组聚合前数据有序防止统计结果出错。4.16 分组聚合配置①拖拽分组组件分组字段选择process_name②聚合项设置名称user_count统计对象user_id统计类型为个数实现每个进程使用用户数统计。4.17 进程统计数据入库①拖拽表输出组件连接分组组件输出流②目标表选择program_stats匹配process_name、user_count字段映射③运行转换流日志执行正常统计数据成功写入数据表。4.18 助 BI 数据集与工作表制作①进入助 BI模块新建数据集命名进程用户数据统计关联program_stats数据表②修改字段中文备注process_name改为进程名称、user_count改为用户数量保存并发布数据集③新建工作表选择水平条图Y 轴拖拽进程名称、X 轴拖拽用户数量并设置降序生成可视化图表直观看到各软件、浏览器用户使用数量差异。4.19 创建浏览器维度统计表①分别新建两个转换流创建浏览器的用户数总使用时长统计表、创建每个浏览器按小时统计活跃用户数统计表②均使用「执行一个 SQL 脚本」组件分别创建browser_coverage、browser_hourly两张业务统计表③配置数据库连接并运行完成表结构创建。4.20 日志数据清洗抽取流程①新建转换流互联网用户行为日志数据清洗抽取②表输入读取behavior_events原始明细表通过字段选择保留时间、用户、进程、时长核心字段③添加过滤记录组件配置IN LIST规则筛选出 IE、360、Chrome、QQ 等主流浏览器进程非浏览器数据接入空操作组件舍弃。4.21 停留时长与时间字段处理①排序记录按session_id、event_seconds排序②通过分析查询获取同一会话下一条行为秒数③使用计算器组件前后秒数相减计算单次页面停留时长duration_sec④利用剪切字符串截取日期、计算器提取小时完成时间维度字段拆分⑤过滤掉时长≤0 的无效垃圾数据。4.22 多维度分组与表输出①第一轮按用户、日期、进程、小时分组统计基础行为指标分支 A仅按浏览器进程分组统计用户数、总使用时长输出到browser_coverage②分支 B按浏览器 小时双维度分组统计每小时活跃用户数输出到browser_hourly③运行整体转换流在数据探查中校验两张统计表数据完整、统计逻辑正确。4.23 数据清洗聚合与结果验证①新建并配置「互联网用户行为日志数据清洗抽取」转换流按流程完成表输入、字段选择、浏览器进程过滤、时长计算、时间字段拆分、多维度分组聚合运行无报错。② 查询browser_coverage表验证各浏览器用户数与总使用时长数据完整、字段匹配与前期统计趋势一致。③ 查询browser_hourly表查看各浏览器分时活跃用户数验证时间维度拆分与聚合结果符合用户行为规律数据逻辑无误。五、实验结果分析本次实验成功完成半结构化 TXT 日志→结构化数据库明细表→多维度聚合分析全流程加工顺利解析出用户会话、进程名称、访问网址、开机时间、行为时长等核心字段将杂乱无章的日志文本规整为标准数据库表结构。通过对进程数据进行分组统计并借助助 BI 制作水平条图可视化图表从图表中可直观看出Chrome、QQ 浏览器、360 系列浏览器用户覆盖量遥遥领先是用户日常使用的主流浏览器应用而其他小众浏览器、办公软件使用人数明显偏低用户使用偏好差异十分明显。实验成功加工出浏览器用户覆盖表、浏览器总使用时长表、每小时活跃用户统计表三张业务分析表数据表结构完整、字段规范聚合统计逻辑准确。所有数据表入库后无重复、无冗余过滤、排序、分组、时长计算等处理结果均符合业务实际可支撑后续浏览器用户画像刻画、时段使用偏好分析、用户流失预测等深度挖掘工作。整体数据加工流程运行稳定转换流无报错、数据读写正常日志解析与指标聚合均达到实验预期要求。六、实验中遇到的问题及解决方法①问题Java 代码解析后字段缺失、日志拆分错乱 解决核对分隔符[]和代码写法修正字段匹配 key 名称补齐所有输出字段配置。②问题分组聚合后统计数量不准 解决分组前增加排序组件同时对进程空值做 NULL 替换避免空值单独分组影响统计结果。③问题表输出时字段映射不匹配数据插入失败 解决手动对照建表语句与流字段逐一匹配浏览器名称、用户数、时长、小时等字段映射。④问题日志停留时长出现负数或 0 值 解决过滤掉无下一条记录的最后一行数据剔除 duration_sec≤0 的无效记录保证时长统计合理。七、实验总结与心得体会本次实验深入学习了助睿 ETL 平台对半结构化日志数据的处理方法熟练掌握了获取文件名、Java 代码解析、过滤、排序、分组聚合、表输出等高频组件的实操配置。从原始散乱的浏览器行为日志一步步完成解析、清洗、规整、聚合深刻理解了 ETL 抽取 - 转换 - 加载的核心思想。通过实验不仅掌握了半结构化数据的解析思路还学会了从原始明细数据提炼业务分析指标能够独立完成用户行为日志加工与业务维度统计。同时在调试过程中锻炼了组件连线排查、字段映射纠错、聚合逻辑优化的问题解决能力为后续大数据挖掘、用户画像、流失预测等高阶实验打下了扎实的实操基础。
