性能碾压！RustFS 100KiB以下小文件场景全面超越MinIO，实测数据曝光
目录
一、测试环境与核心规则说明
二、核心实测结果：小文件写入吞吐量RustFS形成碾压优势
三、读取性能对比：单次串行延迟为架构取舍，高并发稳定性RustFS反超
为什么串行单次读取MinIO延迟略低？深度原理解释（附官方文档/源码佐证）
MinIO 策略：预加载元数据换瞬时 RT，常驻内存开销更高
RustFS 策略：惰性按需加载，以小幅单次RT换取低内存、高并发稳定性
四、为什么RustFS能在小文件写入场景实现性能碾压？
1. Rust语言底层特性，彻底解决内存与调度瓶颈
2. 内核级架构优化，专为小文件场景定制
3. S3 Table原生适配，深度贴合AI数据湖
五、适用场景与选型建议
六、总结
参考文献
在AI大模型训练、大数据元数据管理、海量小文件归档等核心场景中，100KiB以下小文件的读写性能，直接决定了整个存储集群的业务效率。长期以来，MinIO凭借轻量化部署、S3协议兼容的优势，成为中小团队私有化存储的主流选型，但在高频小文件读写场景中，其性能瓶颈始终是行业痛点。
近期，基于Rust开发的国产开源对象存储RustFS，发布了最新版本的集群压测报告，在1KiB-100KiB小文件全场景写入吞吐量大幅领先，高并发负载下稳定性优势显著，为AI存储、轻量化数据湖场景提供了全新的高性能解决方案，也成为现阶段最具竞争力的国产MinIO替代选型。
一、测试环境与核心规则说明
本次压测采用完全一致的集群环境与测试规则，确保对比结果公平可复现：
集群配置：4节点 × 4磁盘，EC纠删码策略4+4，单测试时长5分钟
测试对象：RustFS最新稳定版、MinIO最新官方版
核心测试维度：PUT/GET吞吐量、每秒读写对象数（obj/s）、平均读写延迟
测试场景：1KiB、4KiB、10KiB、16KiB、32KiB、100KiB全档位小文件读写
二、核心实测结果：小文件写入吞吐量RustFS形成碾压优势
写入是Iceberg数据湖快照生成、AI数据集新增、增量数据落地最核心的负载，也是本次测试差距最直观的维度。
为方便直观对比，我将1KiB-100KiB全档位小文件PUT写入核心性能数据整理如下：
| 文件大小 | RustFS写入性能(obj/s) | MinIO写入性能(obj/s) | 性能提升幅度 |
|---|---|---|---|
| 1KiB | 1524.83 | 802.59 | 1.9倍 |
| 4KiB | 1562.47 | 737.89 | 2.1倍 |
| 10KiB | 1518.47 | 808.24 | 1.9倍 |
| 16KiB | 1559.23 | 781.07 | 2.0倍 |
| 32KiB | 1436.43 | 808.89 | 1.8倍 |
| 100KiB | 1092.93 | 581.64 | 1.9倍 |
同时，RustFS的写入平均延迟也远低于MinIO，4KiB文件写入平均延迟仅13.4ms，MinIO则高达25.3ms，延迟降低近50%，大幅提升了AI训练、元数据更新等高频写入场景的业务效率。
三、读取性能对比：单次串行延迟为架构取舍，高并发稳定性RustFS反超
前置备注：下表统计为单连接串行单次读取延迟，并非高并发业务负载表现，二者小幅延迟差异是两套系统元数据调度策略的设计取舍，不代表整体性能优劣。
| 文件大小 | RustFS平均读取延迟 | MinIO平均读取延迟 | 场景表现总结 |
|---|---|---|---|
| 1KiB | 3.4ms | 1.3ms | 双方均为极低延迟，满足基础业务需求 |
| 100KiB | 5.7ms | 4.2ms | 延迟差距极小，业务侧几乎无感知差异 |
| 高并发混合小文件 | 延迟波动极小，稳定可控 | 延迟波动明显，稳定性偏弱 | RustFS高并发稳定性全面领先 |
为什么串行单次读取MinIO延迟略低？深度原理解释（附官方文档/源码佐证）
MinIO 策略：预加载元数据换瞬时 RT，常驻内存开销更高
MinIO默认启用metacache元数据缓存机制，访问任意目录后会将该前缀下全部对象元数据长期驻留节点堆内存，默认最多占用服务器25%物理内存用于缓存资源。单文件GET请求无需额外磁盘检索元数据，空载串行场景请求链路更短，瞬时读取延迟更低。
但这套机制存在固有缺陷：海量小文件场景基线内存占用居高不下；Go语言GC在大量小对象频繁分配释放时，会周期性触发STW停顿，高并发读写下锁冲突、内存争抢加剧，延迟毛刺明显，长期硬件采购成本更高。
RustFS 策略：惰性按需加载，以小幅单次RT换取低内存、高并发稳定性
RustFS采用按需元数据加载+冷热动态缓存调度双层架构，不会在服务启动时预加载全量目录元数据，仅将高频热点元数据常驻内存，冷目录、历史快照元数据持久存储在磁盘引擎中，首次访问需要额外一轮磁盘检索，因此串行单请求RT轻微偏高。
该机制在RustFS官方分层存储文档与开源源码中均有明确体现：源码crates/filemeta模块读取逻辑为先查询内存热点缓存，未命中则读取持久化磁盘元数据，天然多出一次IO判断开销；官方硬件部署文档也明确说明，Rust不会静态预分配大块DRAM存放全量元数据，空闲缓存资源自动回收，以此压低整机基线内存占用。
相比MinIO方案，该架构更贴合AI数据湖真实混合负载：Rust无运行时GC，不存在垃圾回收停顿、堆内存持续膨胀问题，海量样本随机读写时延迟波动极小、吞吐上限更高，长期运行稳定性更强。
四、为什么RustFS能在小文件写入场景实现性能碾压？
RustFS能在100KiB以下小文件写入场景全面超越MinIO，核心源于底层架构与语言特性的双重优势，精准解决了传统Go架构在小文件场景的性能瓶颈。
1. Rust语言底层特性，彻底解决内存与调度瓶颈
RustFS基于Rust语言开发，凭借零成本抽象、无GC垃圾回收、内存安全的底层特性，彻底摆脱了Go语言架构的内存抖动、调度延迟问题。在高频小文件读写场景中，RustFS的内存占用更低、线程调度更高效，无需为GC垃圾回收暂停业务线程，大幅提升了高并发场景下的吞吐量与稳定性。
2. 内核级架构优化，专为小文件场景定制
区别于MinIO的通用化架构设计，RustFS从底层就针对小文件、高并发场景做了内核级优化：
元数据管理优化：针对小文件的高频元数据读写，设计了专属的冷热分层缓存策略，仅热点元数据加载至内存，大幅降低元数据读写开销
小文件聚合存储：针对海量小文件的存储痛点，减少磁盘随机IO次数，提升整体吞吐
零拷贝数据传输：基于Rust内存安全模型，减少用户态/内核态内存拷贝损耗
3. S3 Table原生适配，深度贴合AI数据湖
RustFS即将开源的S3 Table能力原生兼容Apache Iceberg，存储层可直接识别表、分区、快照语义，无需额外网关做协议转换，进一步缩短AI数据集读写链路。
五、适用场景与选型建议
从实测结果来看，RustFS在100KiB以下小文件写入吞吐量优势极为明显，高并发负载稳定性更强，完美适配以下核心业务场景：
AI大模型训练/推理：训练数据集、元文件高频读写，对吞吐与延迟稳定性要求极高
Apache Iceberg数据湖：海量小文件快照、增量更新场景
海量日志/图片小文件归档
边缘轻量化AI存储
对于正在使用MinIO、受内存成本、小文件并发性能困扰的团队，RustFS是性价比突出的国产MinIO替代方案，兼具国产化自主可控、低常驻内存、高并发稳定三大核心优势。
六、总结
AI数据湖核心的小文件写入场景，RustFS吞吐量达到MinIO 1.8~2.1倍，碾压级性能；
串行单次读取毫秒级差距属于架构取舍，MinIO靠预占内存换瞬时低延迟，Rust以低基线内存、高并发稳定适配生产负载；
混合高并发真实业务下，Rust延迟波动更小、长期运行更适配AI训练、数据湖业务。
参考文献
[1] MinIO官方缓存配置文档：metacache内存预分配机制 https://docs.min.io/aistor/reference/aistor-server/settings/cache/
[2] MinIO元数据缓存底层原理：Go GC海量小文件并发抖动问题 https://blog.csdn.net/gitblog_00446/article/details/151815311
[3] RustFS GitHub开源仓库元数据模块源码：冷热元数据先内存后磁盘读取逻辑 https://github.com/rustfs/rustfs/tree/main/crates/filemeta
[4] RustFS官方分层存储技术文档：冷热数据调度、内存动态回收设计 https://docs.rustfs.com/features/industry/
[5] RustFS AI场景架构说明：面向Iceberg小文件场景优化设计 https://docs.rustfs.com/features/ai/
以下是深入学习 RustFS 的推荐资源：RustFS
官方文档： RustFS 官方文档- 提供架构、安装指南和 API 参考。
GitHub 仓库： GitHub 仓库 - 获取源代码、提交问题或贡献代码。
社区支持： GitHub Discussions- 与开发者交流经验和解决方案。