为什么Intel放弃HyperscanVectorscan项目背后的开源反击战【免费下载链接】vectorscanA portable fork of the high-performance regular expression matching library项目地址: https://gitcode.com/gh_mirrors/ve/vectorscanVectorscan是 Intel 高性能正则表达式匹配库Hyperscan的开源分叉fork版本一款可跨平台移植的高性能多模式正则匹配引擎。当 Intel 在 5.4 之后将 Hyperscan 转为闭源、并拒绝了社区的 ARM 移植请求后Vectorscan 以 BSD 许可证发起了这场开源反击战让 ARM/Power 平台也能用上顶级性能的正则扫描能力。一、背景Hyperscan 是怎样的高性能正则引擎在讲反击之前先说清楚 Hyperscan 有多能打多模式并行匹配一次扫描可同时匹配数万条正则表达式而非常见引擎一条表达式一个匹配器的模式混合自动机技术编译期把正则转换为多种引擎NFA/DFA/字面量过滤器协同工作兼顾速度与内存流式匹配支持跨数据块边界的流式扫描天然适合网络流量分析典型用途深度包检测DPI、入侵检测/防御系统IDS/IPS、安全网关的规则引擎其核心能力分布在几个模块中模块职责正则解析器解析 PCRE 语法的正则表达式构建 NFANFA 图优化对 NFA 做压缩、等价化、区域切分等变换匹配引擎群Rose、Truffle、McSheng、Sheng、LimEx、FDR 等多种专用引擎流式与报告流状态管理、SOM 位置跟踪、匹配结果上报对开发者来说入口就是公开 API 头文件 src/hs.h 与 C 调用库 src/hs.cpp。二、Intel 为什么放弃开源 Hyperscan1. 许可证变脸5.5 起闭源这是最直接的导火索。根据项目 README.md 中引用的 Intel 官方说明The latest open-source version (BSD-3 license) of Hyperscan on Github is 5.4. Intel conducts continuous internal development and delivers new Hyperscan releases under Intel Proprietary License (IPL) beginning from 5.5 for interested customers.也就是说✅ 开源BSD-3版本永远停在 5.4❌ 5.5、5.6 的新版本改为Intel 专有许可证IPL闭源需要联系 Intel 商务获取⚠️ 原有开源用户从此不再有安全更新和功能演进且面临许可证风险开源时代的完整变更记录见 CHANGELOG.md。2. ARM 移植请求被拒Vectorscan 的起点其实是一次善意的尝试社区开发者想把 Hyperscan 移植到 ARMNEON/SVE 指令集并向 Intel 提交了 PR但遭到拒绝至少短期内不会合并。Hyperscan 的引擎代码大量依赖 Intel 的 SIMD 优化ARM 服务器如 AWS Graviton、各类国产化芯片此前根本没有对等的高性能正则库可选。三、Vectorscan一场面向多架构的开源反击Vectorscan 的做法很务实fork 最后一个开源版本 5.4保持 API/ABI 兼容同时彻底走向多架构。核心承诺坚持 BSD 许可证并承诺保持开源见 LICENSE100% 兼容 Hyperscan 5.4 的 API 与 ABI现有 Hyperscan 用户可低成本切换但明确不追赶 5.5/5.6 的闭源新 API⚡ 不墨守成规凡认为能提升性能或可移植性就大胆重构例如抽象掉所有 Intel 专属#ifdef多架构支持进展截至 5.4.12平台状态x86SSE4.2/AVX2/AVX512✅ 完整支持含 Fat RuntimeARM NEON/ASIMDaarch64✅ 100% 功能完整支持 Fat RuntimePower VSXppc64le✅ 100% 功能完整ARM SVE/SVE2 已启用构建持续完善中无 SIMD 平台 引入 SIMDe 模拟后端5.4.12 起截至 2025 年的 5.4.12 版本官方 CI 已对200 多种配置组合做回归测试覆盖 Linuxx86/Arm/Power、FreeBSD 14、macOS 14含 Apple M1/M2/M3。四、Vectorscan 安装与使用新手最快上手指南一键安装Debian/Ubuntusudo apt install libvectorscan5 # 运行库 sudo apt install libvectorscan-dev # 开发包Fedora 用户可用dnf install vectorscan vectorscan-develArch 有 AUR 包可用。源码编译CMake 三步走git clone https://gitcode.com/gh_mirrors/ve/vectorscan cd vectorscan mkdir build cd build cmake ../ make -j$(nproc)常用 CMake 选项详见 README.md-DBUILD_SHARED_LIBSOn构建动态库-DFAT_RUNTIMEOnFat 运行时一份库自适应 SSE/AVX/NEON 等多种指令集x86 与 AArch64 Linux 可用-DBUILD_SVE2On启用 ARM SVE2 代码-DBUILD_SIMDE_BACKENDOn用 SIMDe 模拟 SSE4.2让无 SIMD 平台也能编译运行新手示例从 30 行代码开始项目自带三个由浅入深的示例examples/examples/simplegrep.c—— 极简版 grep单模式编译、块模式扫描、scratch 内存管理演示最小完整用法examples/pcapscan.cc—— 扫描网络抓包文件演示多模式编译与流式匹配examples/patbench.cc—— 找出规则集中最烧性能的正则表达式配套工具链同样齐全性能基准tools/hsbench/功能自检tools/hscheck/数据库转储tools/hsdump/跨引擎正确性碰撞测试tools/hscollider/完整 API 参考文档位于 doc/ 目录含编译指南、运行时接口、序列化等章节。五、源码导读Vectorscan 核心模块在哪里想深入源码的读者可以从这几个路径入手公开 API 与运行时分发src/hs.h、src/hs_runtime.h、src/dispatcher.cNFA 引擎群src/nfa/LimEx、Truffle、Sheng、McSheng、Shufti、Vermicelli 等按 x86/arm/ppc64le 分子目录Rose 字节码引擎src/rose/Hyperscan 的主力解释器引擎FDR 字面量过滤器src/fdr/Teddy 算法家族先筛掉不可能匹配的数据NFA 图构建与优化src/nfagraph/正则语法解析src/parser/Chimera 库Hyperscan 的编译产物加载库chimera/测试与验证unit/含 GTest 单元测试集六、谁适合使用 VectorscanARM 服务器上的安全/DPI 开发者此前无高性能多模式正则引擎可选现在有了依赖 Hyperscan 但被闭源卡住的项目API/ABI 兼容 5.4迁移成本接近于零BSD 许可证洁癖用户闭源 IPL 版本无法用于自由软件生态Vectorscan 是合规替代嵌入式/异构硬件借助 SIMDe 后端理论上任何平台都能编译运行七、总结Intel 放弃开源 Hyperscan 是商业决策但开源生态不会因此停摆。Vectorscan 用兼容的 API、BSD 许可证和真正的多架构支持证明了当大厂关上门社区可以打开一扇更大的门。对于 ARM/Power 平台的性能敏感型正则匹配需求它已经是目前唯一活跃维护的开源高性能方案。⚡【免费下载链接】vectorscanA portable fork of the high-performance regular expression matching library项目地址: https://gitcode.com/gh_mirrors/ve/vectorscan创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考