hcache核心原理揭秘mincore(2)系统调用如何检测缓存页【免费下载链接】hcacheshowing top X biggest cache files global项目地址: https://gitcode.com/gh_mirrors/hc/hcache想知道 Linux 系统里到底哪些文件在“偷偷”占着内存缓存吗hcache 就是一款专门解决这个问题的缓存检测工具它可以全局扫描并展示占用页缓存最大的 Top X 个文件。本文为你揭秘 hcache 的核心原理它是如何通过mincore(2) 系统调用精确判断每个文件有哪些内存页被缓存的。为什么要检测缓存文件很多运维同学都遇到过这样的困惑用free或cat /proc/meminfo能看到系统缓存总量却无法定位具体是哪些大文件吃掉了缓存。这就是 hcache 诞生的原因——它 fork 自 pcstat并新增了--top功能能够全局找出缓存占用最大的文件让“缓存大户”无处遁形。mincore(2) 系统调用是什么mincore(2) 是 Linux 提供的一个底层系统调用它的作用非常直接检查一段内存映射中哪些页Page真正驻留在物理内存中。Linux 的文件读写会经过页缓存Page Cache文件被按固定大小通常为 4KB切分成一页一页mincore(2) 就能逐个告诉我们每一页是否已被缓存。mincore(2) 的工作原理简单来说mincore(2) 接受一个地址范围然后返回一个字节数组数组中的每一位对应一个内存页位为 1该页已被读入内存缓存位为 0该页不在内存中需要从磁盘读取这就是 hcache 判断“哪些文件内容被缓存了”的最底层依据。hcache 检测缓存页的完整流程hcache 的核心原理可以拆解为四个步骤理解之后你会觉得它其实并不神秘第一步全局扫描所有进程当执行hcache --top 10时程序会通过pkg/utils中的进程枚举逻辑遍历/proc目录下的所有进程并读取每个进程的/proc/PID/stat获取其内存占用RSS筛选出真正占用内存的进程。第二步解析进程打开的映射文件对每个进程hcache 读取/proc/PID/maps文件解析出该进程映射到内存中的所有文件路径。这一步很巧妙通过进程的内存映射就能收集到系统上所有“正在被使用”的文件清单。第三步调用 mincore(2) 检测每个文件对所有收集到的文件路径去重后hcache 逐个调用 mincore(2) 系统调用检测每个文件的每一页是否被缓存从而统计出该文件的缓存页数量、缓存大小和缓存百分比。第四步排序输出 Top 榜单最后按缓存大小降序排序输出类似下面这样的表格一眼就能看出谁才是“缓存杀手”-------------------------------------------------------------------------------------------------------------------- | Name | Size | Pages | Cached Size | Cached Pages| Percent | -------------------------------------------------------------------------------------------------------------------- | /usr/lib/i386-linux-gnu/libLLVM-11.so.1 | 74.384M | 19043 | 48.057M | 12303 | 64.606 | --------------------------------------------------------------------------------------------------------------------核心代码在哪些文件如果你想深入研读源码重点关注这几个文件main.go入口文件包含--top全局扫描的主逻辑和/proc/PID/maps解析函数formats.go表格、JSON、直方图等多种输出格式的格式化实现pkg/utils/process_unix.go遍历/proc目录枚举系统进程的实现pkg/utils/process_linux.go解析/proc/PID/stat获取进程 RSS 的实现快速上手一行命令找出缓存大户安装后直接用一条命令即可查看全局缓存占用最大的文件sudo hcache --top 10加上--bname参数可以只显示文件名而不显示完整路径输出更简洁sudo hcache --top 10 --bname找到“嫌疑文件”后还可以配合lsof命令查出是哪个进程在占用它。使用 mincore(2) 需要注意什么虽然 mincore(2) 很强大但它也有一些局限非 POSIX 标准mincore() 未被 POSIX.1-2001 规范收录并非所有 UNIX 系统都支持内核版本限制Linux 2.3.99pre1 起可用glibc 2.2在 2.6.21 之前的内核上对某些映射可能返回不正确的结果需要 root 权限扫描其他进程的文件映射通常需要管理员权限总结hcache 的核心原理并不复杂用 mincore(2) 系统调用逐页检测文件的缓存状态配合/proc文件系统完成全局扫描最终用排序和格式化输出把“谁占用了缓存”这个问题回答得明明白白。理解了这个原理你不仅能更好地使用 hcache 排查缓存问题也能举一反三用它来评估文件缓存命中率、优化应用启动性能。如果感兴趣可以 clone 源码亲自研究git clone https://gitcode.com/gh_mirrors/hc/hcache【免费下载链接】hcacheshowing top X biggest cache files global项目地址: https://gitcode.com/gh_mirrors/hc/hcache创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考