ARTICLE DETAIL

资讯详情

深耕网站建设与运营推广的一线实战洞察。

Segment Anything SAM 完整指南:5 分钟跑通图像分割

Segment Anything SAM 完整指南:5 分钟跑通图像分割 Segment Anything SAM 完整指南5 分钟跑通图像分割【免费下载链接】segment-anythingThe repository provides code for running inference with the SegmentAnything Model (SAM), links for downloading the trained model checkpoints, and example notebooks that show how to use the model.项目地址: https://gitcode.com/GitHub_Trending/se/segment-anythingSegment AnythingSAM是 Meta AI 出品的图像分割模型点一下、框一下就能拿到目标物体的精确轮廓。它在 1100 万张图像、11 亿个掩码上训练零样本即可用意思是不用再训练。它到底是什么传统做法想切出图里某个东西要么人工拉框标注要么重新训练一个模型。SAM 换个思路你给出提示它返回掩码一张哪些像素属于目标的 0/1 图。拆开来看SAM 主要由三部分组成官方架构图把数据流向画得很清楚图像从左进提示从下进右边输出带质量分的候选掩码。图像编码器把整张图压缩成图像嵌入一张图只需算一次提示编码器把你点的点、画的框翻译成模型能理解的向量掩码解码器生成多个候选掩码并各自打分你挑分最高的即可它能帮你做什么点一下就得到精确轮廓不需要描边在目标上点一点掩码马上出来。这张对比图值得逐行看第一行单击一次鸵鸟就得到了完整身体轮廓最后一行更细——把局部放大后再点连鸟头这种小区域也能单独切出来。不点提示自动切整张图想偷懒也可以让 SAM 自动扫全图给所有对象生成掩码。注意看这张街景电车、建筑、路人、植物全部分区上色密集场景也不糊。在 Notebook 里点点就能玩仓库自带交互式示例加载照片后光标一点掩码实时刷新。截图中车轮位置点下去即刻出掩码。同一套逻辑导出 ONNX 后还能跑进浏览器参考 demo/ 目录。Segment Anything 安装步骤与最小示例需要 Python 3.8 和 PyTorch 1.7先装依赖git clone https://gitcode.com/GitHub_Trending/se/segment-anything cd segment-anything pip install -e . pip install opencv-python pycocotools matplotlib下面这段是最小示例加载模型权重、读入图像、点一个点掩码就出来了from segment_anything import SamPredictor, sam_model_registry sam sam_model_registryvit_h predictor SamPredictor(sam) predictor.set_image(image) # 换成你的图片 masks, scores, logits predictor.predict( point_coords[[x, y]], point_labels[1]) # 点一个正样本点把predict的入参换成框坐标就是框提示。完整玩法见 notebooks/predictor_example.ipynb模型结构细节在 segment_anything/modeling/。SAM 三个模型版本怎么选版本注册名编码器规格特点ViT-H默认vit_h1280 维 / 32 层质量最高默认推荐ViT-Lvit_l1024 维 / 24 层速度与质量折中ViT-Bvit_b768 维 / 12 层最快低配机器友好切换时只改sam_model_registry里的名字和对应权重文件。资源够就直接上默认的vit_h显存吃紧先降到vit_b试试。什么场景适合用 SAM 做图像分割抠图与修图告别套索工具逐像素描边点几下就能精确取出主体。数据标注预处理先自动生成初版掩码再人工微调比全手工标注快得多。视觉研究打底零样本特性让你直接把它丢进陌生领域生成掩码省掉训练环节。下一步SAM 把切出图里某个东西从一道训练题变成了一道点击题。建议你先把仓库里的 predictor 示例 notebook 跑起来随手点几张照片感受一下再决定用哪一档模型。【免费下载链接】segment-anythingThe repository provides code for running inference with the SegmentAnything Model (SAM), links for downloading the trained model checkpoints, and example notebooks that show how to use the model.项目地址: https://gitcode.com/GitHub_Trending/se/segment-anything创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表