前言

做大数据、机器学习特征工程、位图索引的同学应该都遇到过布尔数组内存爆炸的问题：- 1亿个用户标记，用Python list存要800MB+，GC直接卡爆- 用numpy bool数组，也要100MB，数据量再大一点还是顶不住- 用普通位数组，内存是省了，但读写性能拉胯，API还反人类今天给大家开源我刚写的bool-hybrid-array，完美解决这个痛点：✅ 内存占用：1亿布尔值仅需8-15MB，比numpy省85%-92%✅ 性能：随机读写比numpy快30%，顺序读写快2倍✅ 易用性：100%兼容Python list API，零学习成本✅ 序列化：C++级IO流，读写文件比numpy快5-10倍## 技术原理核心创新点是分割点动态规划算法：1. 自动识别布尔序列中的连续段和稀疏段2. 连续相同值用RLE压缩存储，只存起止位置3. 随机分布段用位图存储，1bit存一个布尔值4. DP算法全局最优分割，保证存储效率和读写性能平衡5. 核心逻辑用Cython实现，开启-O3和CPU原生指令集优化## 快速上手pythonfrom bool_hybrid_array import BoolHybridArray# 直接替换listarr = BoolHybridArray()for i in range(100_000_000): arr.append(i % 2 == 0)# 支持所有list操作print(arr[1000]) # 索引print(arr[100:200]) # 切片print(len(arr)) # 长度arr[500] = True # 赋值# 高性能序列化arr.save("big_bool_arr.bin") # 1亿个值不到10MB，写入只需0.2秒arr2 = BoolHybridArray.load("big_bool_arr.bin")## 性能实测| 指标 | Python list | numpy bool | bitarray | bool-hybrid ||----------------|------------|-----------|----------|-------------|| 1亿值内存 | 812MB | 95.4MB | 12.5MB | 9.7MB || 随机读QPS | 12.6M/s | 29.1M/s | 8.7M/s | 39.2M/s || 顺序写QPS | 8.3M/s | 15.2M/s | 4.1M/s | 30.8M/s || 1亿值序列化时间 | 12.8s | 2.1s | 1.7s | 0.19s |## 项目地址https://gitee.com/BKsell/bool-hybrid-array完全开源免费，MIT协议，商用也没问题！欢迎star、fork、提issue，有优化建议一起交流！