近日山东大学集成电路学院周卫东教授、刘国洋助理研究员团队提出了一种可学习时频变换Learnable Time-Frequency TransformLTFT用于脑电等非平稳时间序列信号的端到端时频分析。研究结果表明LTFT能够在训练过程中自动学习与特定任务相关的复值窗函数并可以与线性分类器、卷积神经网络和长短时记忆网络联合优化获得面向不同任务的高分辨率时频表示。相关成果以“Learnable Time-Frequency Transform With Application to EEG Signal Analysis”为题发表在人工智能领域权威期刊IEEE Transactions on Emerging Topics in Computational Intelligence。山东大学为论文署名单位刘国洋助理研究员为第一作者周卫东教授为通讯作者。时频变换是脑电信号处理、脑机接口和癫痫辅助诊断中的基础工具。传统短时傅里叶变换STFT、连续小波变换CWT和S变换ST依赖预定义窗函数或母小波窗口类型、尺度和频率分辨率通常需要人工选择如图1所示。对于运动想象脑电、癫痫脑电和情感脑电等复杂非平稳信号固定窗函数难以获得面向特定任务的优化特征也难以与后端深度学习模型进行统一训练。针对这一问题团队将时频变换中的窗口函数设计为可训练复值参数构建了数据驱动的LTFT。LTFT谱图可作为神经网络前端与后端分类网络通过最小化损失函数共同训练优化。与已有的可学习前端相比LTFT不限定窗口的函数形式具有更强的表达灵活性和任务适应能力。图1 不同时频变换在EEG分析中的示意图论文提出的LTFT与传统时频方法具有直接关系当窗口退化为固定窗函数时可表示STFT当窗口表示为尺度变换和频率调制的母小波时可表示相位校正形式的CWT当窗口取频率相关高斯窗时则等价于标准S变换。因此LTFT提供了一个覆盖傅里叶类和小波类方法的统一可学习时频变换框架。图2 LTFT前端与线性分类器、CNN-BiLSTM网络结合的模型结构研究团队在合成信号、运动想象脑电、Bonn五分类癫痫脑电和SEED情感脑电数据集上系统评估了LTFT。合成信号数据集中LTFT测试准确率达到99.50%显著高于S变换的95.50%且证明模型能够自动捕捉任务相关频率。在运动想象脑电分类实验中LTFT获得86.95%的平均准确率。在癫痫脑电五分类实验中LTFT-CNN-BiLSTM模型达到91.00%的平均交叉验证准确率优于ST、STFT、CWT及LEAF、DSTFT、CWConv等前端。SEED情感脑电实验中LTFT与S变换均达到73.33%的最高平均准确率。在保证高准确率的同时通过分析LTFT的训练后权重变化还能可视化出对模型决策产生关键影响的频带以及自适应时频表征从而大幅提高模型的可解释性。图3展示了不同时频变换方法对癫痫发作脑电信号和扫频信号变换得到的时频谱图可看出LTFT能更好地突出重点频带。图4展示了不同时频变换方法在运动想象脑电信号上的ERSP谱图可看出LTFT能更好地反应运动想象产生的ERD/ERS现象。图3 经过训练的LTFT及其它不同方法的时频谱图对比左癫痫发作脑电信号右扫频信号图4 在运动想象分类任务上不同时频变换方法的ERSP谱图。(a) 想象左手任务(b) 想象右手任务。表1 LTFT在不同任务中的主要实验结果表1展示了LTFT在不同任务中的主要实验结果总体来看该方法在保持可解释性的同时可以和不同模型架构融合在多个不同任务数据库上提升分类性能。这为脑机接口解码、癫痫辅助诊断以及其它复杂生物医学时间序列分析提供了一种新型可学习时频前端。团队介绍周卫东教授和刘国洋助理研究员团队长期致力于脑机接口、神经电生理信号处理、深度学习及FPGA硬件加速等方向研究。获得国家自然科学基金面上和青年、山东省自然科学基金联合基金和面上基金、山东省科技发作计划项目等资助。相关成果发表于 IEEE THMS、IEEE TETCI、IEEE TIM、IEEE JBHI、Neural Networks、IJNS、BSPC、自动化学报、中国生物医学工程学报、仪器仪表学报等国内外学术期刊其中SCI收录50余篇授权发明专利近20项。曾获世界机器人大会十大创新技术成果奖、世界机器人大赛-BCI脑控机器人大赛一等奖等。参考https://doi.org/10.1109/TETCI.2026.3684470脑机接口社区是国内首家脑机接口(BCI)产业服务平台。主要为企业、科研团队、投资机构和从业者提供以下服务宣传报道图文、短视频、直播形式报道企业动态、技术解读、产品介绍等内容提升曝光和行业影响力。资源对接根据需求匹配资本、供应链、临床机构、渠道方等资源完成真实对接促进合作。成果转化协助技术团队寻找产业方、投资人及落地场景推动技术到产品的转化。活动策划执行承接线上线下路演、沙龙、论坛等活动的策划与执行。其他定制需求包括报告定制、市场调研、人才招聘支持等个性化服务。合作洽谈请联系微信ZuoLeiLeiya备注姓名-单位-合作投稿丨成为创作者请联系微信RoseBCI星标置顶不错过每一条脑机前沿进展一键三连「分享」、「点赞」和「在看」欢迎在评论区聊聊
