后端数据库【免费下载链接】sharedbRealtime database backend based on Operational Transformation (OT)项目地址https://gitcode.com/gh_mirrors/sh/sharedb点击查看免费下载ShareDB 致力于保持数据库无关database-agnostic的核心设计任何数据的持久化、实例间变更通知、历史快照存储都必须通过对应的**适配器Adapter**完成。本文以官方文档 docs/adapters/index.md 为骨架结合仓库源码逐层拆解三类适配器数据库适配器、Pub/Sub 适配器、Milestone 适配器的职责边界、可用实现、源码原理与真实用法帮助读者在测试、单机生产与多实例集群场景中正确选型并完成Backend的装配。一、为什么 ShareDB 需要适配器一次理解三类插槽ShareDB 的核心思想是让实时协同引擎与底层存储、通信基础设施解耦。官方文档的表述非常直白ShareDB 试图保持数据库无关因此任何持久化到数据库的数据都必须通过合适的数据库适配器完成。这种解耦带来两个直接好处核心 OTOperational Transformation逻辑、客户端协议、中间件管线与底层存储完全隔离用户可以针对不同场景内存测试、MongoDB、PostgreSQL、Redis 多实例自由组合适配器。从 lib/index.js 可以看到ShareDB 将适配器相关的基类与内置实现全部挂载在Backend上对外暴露Backend.DB、Backend.PubSub、Backend.MilestoneDB以及内置的Backend.MemoryDB、Backend.MemoryPubSub、Backend.MemoryMilestoneDB。这意味着即使不安装任何第三方适配器包require(sharedb)之后也可以直接拿到全套内置实现。在 lib/backend.js 的构造函数中三个适配器插槽的默认值一目了然this.db options.db || new MemoryDB(); this.pubsub options.pubsub || new MemoryPubSub(); this.milestoneDb options.milestoneDb || new NoOpMilestoneDB();即数据库默认是内存版不持久化、Pub/Sub 默认是内存版单实例可用、Milestone 默认是空操作版不存历史快照。这正是后文逐个适配器讨论的起点。二、数据库适配器Database adapters持久化文档内容与 op2.1 职责边界官方文档定义数据库适配器负责持久化文档内容snapshot与操作记录ops。它处于 OT 提交链路的末端——当一个 op 通过中间件、完成变换与冲突消解后最终会由db.commit(collection, id, op, snapshot, options, callback)写入底层存储当客户端首次订阅或请求历史时则由db.getSnapshot()与db.getOps()负责回读。从 lib/db/index.js 这个基类可以看到适配器必须遵循的约定pollDebounce查询轮询的最小间隔毫秒用于控制查询订阅的轮询频率projectsSnapshots false为false时投影projection由 Backend 处理若数据库适配器自身支持投影可将它置为truedisableSubscribe false数据库是否禁用订阅能力一系列以ERR_DATABASE_METHOD_NOT_IMPLEMENTED报错的抽象方法commit、getSnapshot、getOps、query、queryPollDoc等任何第三方数据库适配器都必须实现这些核心方法见 lib/db/index.js。2.2 官方文档列出的可选实现适配器后端存储查询支持适用场景MemoryDB内置进程内存无测试、示例、适配器 API 参考实现ShareDBMongosharedb-mongoMongoDB完整查询支持生产环境首选ShareDBMingoMemorysharedb-mingo-memory内存Mongo 操作子集含查询针对类 MongoDB实例做测试ShareDBPostgressharedb-postgresPostgreSQL无查询支持生产环境、无查询需求文档特别给出两条重要提示MemoryDB不持久化数据在应用重启后即丢失绝不适用于生产环境ShareDBMingoMemory在内存中实现了 Mongo 查询的一个子集可以在本地测试环境中模拟带查询的 MongoDB 实例。2.3 源码深挖MemoryDB 的内部实现内置的MemoryDB位于 lib/db/memory.js其注释明确说明它是测试与适配器实现参考用途并坦承三个局限内存占用无限增长、无法跨 Node 进程扩展、服务重启数据全丢。它的内部数据结构是两个嵌套 Mapthis.docs Object.create(null); // collection - id - snapshot {v, type, data} this.ops Object.create(null); // collection - id - op 数组下标即版本号几个值得关注的实现细节版本冲突检测commit会校验snapshot.v 当前版本 1不一致时以succeeded false回调由 Backend 触发重试见 lib/db/memory.js。这保证 OT 提交的原子性语义op 版本即数组下标ops 以数组存储、版本号由下标推导getOps(collection, id, from, to)做一次slice即可返回语义为[from, to)左闭右开见 lib/db/memory.js无查询支持的真相query()默认返回集合内全部文档真正决定查询语义的是_querySync(snapshots, query, options)——该函数默认原样返回全部快照但注释明确说明做测试时可以通过覆写_querySync来实现你想要的查询语言见 lib/db/memory.js。这就是MemoryDB没有查询支持 的源码级含义不是不能查而是默认不做任何过滤。测试用例 test/db-memory.js 则验证了基类的契约行为直接实例化DB基类并调用commit/getSnapshot/getOps/query/queryPollDoc都会以ERR_DATABASE_METHOD_NOT_IMPLEMENTED错误回调——这是所有第三方适配器必须实现的方法清单。2.4 使用方式数据库适配器实例通过Backend()构造函数的db选项注入详见 Backend 构造文档const Backend require(sharedb); const MemoryDB Backend.MemoryDB; const backend new Backend({ db: new MemoryDB(), });如果省略db选项Backend 会自动创建MemoryDB实例——这也是 examples/counter/server.js 中new ShareDB()直接可用、无需任何外部依赖的原因。切换到生产环境时只需替换为sharedb-mongo的实例即可业务代码零改动。三、Pub/Sub 适配器实例间的变更通知通道3.1 职责边界Pub/Sub 适配器负责向其他 ShareDB 实例通知数据的变更。在 OT 提交链路中submit成功提交后会调用backend.pubsub.publish(channels, op)将 op 广播到相关频道见 lib/submit-request.js其他实例收到后即可把变更推送给各自连接的客户端。因此它决定了系统能否横向扩展为多实例。3.2 官方文档列出的可选实现MemoryPubSub内置进程内存实现适用于单一、独立运行的 ShareDB 实例ShareDBRedisPubSubsharedb-redis-pubsub基于 RedisShareDBWSBusPubSubsharedb-wsbus-pubsub基于 ws-bus。与数据库适配器形成鲜明对比的是文档用.info强调了一条关键结论内存版 Pub/Sub 适配器在仅运行单个独立 ShareDB 实例的前提下是可以用于生产环境的。原因在 lib/pubsub/memory.js 的注释中写得很清楚ShareDB 不要求持久化 Pub/Sub 状态单进程内部的消息路由完全够用将来要扩展多进程时再平滑地替换为外部 Pub/Sub 适配器即可且没有任何 Pub/Sub API 是适配器特有的。3.3 源码深挖PubSub 基类与频道机制基类PubSub位于 lib/pubsub/index.js其内部维护了三个关键状态streamschannel - stream id -OpStream的映射一个频道可以挂多个订阅流subscribed已订阅频道的标记与 streams 分开跟踪因为流是同步创建、而订阅要等底层回调确认prefix可选前缀subscribe/publish时自动拼接为prefix channel用于隔离命名空间见 lib/pubsub/index.js。基类同样通过ERR_DATABASE_METHOD_NOT_IMPLEMENTED定义抽象接口_subscribe、_unsubscribe、_publish见 lib/pubsub/index.js对外则统一暴露subscribe(channel, callback)返回OpStream与publish(channels, data, callback)。MemoryPubSub的实现极为轻量——_publish只做一件事遍历频道、把数据推给该频道下所有已订阅流见 lib/pubsub/memory.js。3.4 使用方式const Backend require(sharedb); const MemoryPubSub Backend.MemoryPubSub; const backend new Backend({ pubsub: new MemoryPubSub(), });多实例场景下只需把MemoryPubSub换成ShareDBRedisPubSub实例Redis 负责跨进程广播即可让多个 ShareDB 进程协同工作。四、Milestone 适配器用周期性快照加速文档历史4.1 职责边界与背景Milestone 适配器负责存储文档的周期性快照Milestone Snapshots核心目的是加速 文档历史查询。背景如下ShareDB 默认保存全部 op重建历史快照时需要从创建版本开始逐条重放 op文档版本一旦很高重放会变得很慢。Milestone 快照的存在让 ShareDB 可以跳到最近的一个快照再从这个快照继续重放把成本降到可接受范围见 docs/document-history.md。4.2 官方文档列出的可选实现ShareDBMilestoneMongosharedb-milestone-mongo基于 MongoDB。文档同时说明Milestone 适配器的默认行为可以通过中间件覆写详见下文 4.4。仓库内置的MemoryMilestoneDBlib/milestone-db/memory.js虽然文档未在可用适配器中列明但其注释指出Milestone 概念依赖持久化内存版不适用于生产主要作为实现范例与测试用途。4.3 源码深挖接口、interval 与 NoOp 默认实现基类MilestoneDBlib/milestone-db/index.js在构造函数中接收interval选项并定义四个核心方法getMilestoneSnapshot(collection, id, version)返回版本号小于或等于目标 version 的最近一个快照saveMilestoneSnapshot(collection, snapshot)保存一个快照getMilestoneSnapshotAtOrBeforeTime(collection, id, timestamp)按时间戳取快照用于按时间查询历史getMilestoneSnapshotAtOrAfterTime(collection, id, timestamp)时间戳语义的补充接口。多久存一个快照的默认逻辑在 lib/submit-request.js 的_shouldSaveMilestoneSnapshot中// 如果 saveMilestoneSnapshot 为 null未被覆写按 milestoneDb 的 interval 决定 if (this.saveMilestoneSnapshot null) { return snapshot snapshot.v % this.milestoneDb.interval 0; } return this.saveMilestoneSnapshot;即默认规则是**版本号能被 interval 整除时保存**且从 lib/backend.js 可知milestoneDb选项省略时默认注入NoOpMilestoneDB——lib/milestone-db/no-op.js 中说明它是静默的空操作默认实现所有方法立即回调空结果。这与 Backend 构造文档 的说明一致省略该选项则 Milestone 快照不启用文档历史依然可查但可能付出性能代价。在读取侧lib/backend.js 的_fetchSnapshot展示了 Milestone 如何参与历史重建先milestoneDb.getMilestoneSnapshot()找到最近的基点再db.getOps(collection, id, from, version)从该基点重放到目标版本最后ot.applyOps重建快照。测试 test/milestone-db.js 也验证了interval: 2时只保存偶数版本、按版本 1/2/3/4 查询分别返回 undefined/2/2/4 的行为。4.4 用中间件覆写保存策略官方文档给出的核心实战能力是在commit中间件中设置context.saveMilestoneSnapshot来覆写默认的 interval 逻辑——true表示请求保存快照false表示不保存保持null默认值则沿用适配器默认行为。完整的官方示例按集合定制保存频率shareDb.use(commit, (context, next) { switch (context.collection) { case foo: // 集合 foo每 100 个版本保存一次 context.saveMilestoneSnapshot context.snapshot.v % 100 0; break; case bar: case baz: // 集合 bar 与 baz每 500 个版本保存一次 context.saveMilestoneSnapshot context.snapshot.v % 500 0; break; default: // 其他集合完全不保存 Milestone context.saveMilestoneSnapshot false; } next(); });对应地测试 test/milestone-db.js 验证了中间件覆写路径request.saveMilestoneSnapshot request.snapshot.v 3时版本 1、2 不保存版本 3 起开始保存。需要说明的是commit是 op 提交前的最后一个中间件钩子详见 中间件动作文档 与 op 提交流程此时context.snapshot已经是新状态——即 op 应用后的快照因此snapshot.v代表提交后的新版本号。4.5 使用方式const Backend require(sharedb); const ShareDBMilestoneMongo require(sharedb-milestone-mongo); const backend new Backend({ milestoneDb: new ShareDBMilestoneMongo(), });五、选型指南三种适配器的组合决策综合官方文档的约束与源码事实可以将选型归纳为一张决策表场景dbpubsubmilestoneDb单元测试 / 示例代码MemoryDB默认MemoryPubSub默认不配默认 NoOp或MemoryMilestoneDB单实例生产sharedb-mongo等持久化适配器MemoryPubSub官方明确允许sharedb-milestone-mongo需要历史加速时多实例集群sharedb-mongo等持久化适配器sharedb-redis-pubsub等外部实现sharedb-milestone-mongo几点关键事实需要牢记MemoryDB不持久化、无查询、不跨进程、内存无界增长只能用于测试与作为适配器参考实现lib/db/memory.js查询能力依赖数据库适配器只有sharedb-mongo完整与sharedb-mingo-memoryMongo 子集支持查询sharedb-postgres与MemoryDB不支持——若业务需要查询订阅查询文档选型时必须先确认适配器是否实现query方法MemoryPubSub单实例生产可用这是与内存数据库截然不同的结论源自Pub/Sub 状态无需持久化这一事实lib/pubsub/memory.jsMilestone 是可选的性能优化其默认行为由milestoneDb.interval驱动v % interval 0时保存需要更细粒度控制时用commit中间件覆写context.saveMilestoneSnapshot即可lib/submit-request.js。六、总结ShareDB 的适配器体系用三个正交的插槽完成了存储、通信、历史优化三件事的彻底解耦数据库适配器负责文档与 op 的持久化Pub/Sub 适配器负责实例间变更广播Milestone 适配器负责周期快照以加速历史重建。三者均通过Backend()构造函数的db、pubsub、milestoneDb选项注入官方同时提供了开箱即用的内存实现与覆盖 MongoDB、Redis 等生态的第三方实现。理解这套体系是正确部署 ShareDB从单机测试到多实例生产的前提——选型时请始终对照是否持久化、是否支持查询、是否跨实例、是否加速历史这四个问题。赞分享后端数据库【免费下载链接】sharedbRealtime database backend based on Operational Transformation (OT)项目地址https://gitcode.com/gh_mirrors/sh/sharedb点击查看免费下载相关推荐ShareDB Pub/Sub 适配器Pub/Sub Adapters详解多实例实时同步的发布订阅层ShareDB Pub/Sub 适配器Pub/Sub Adapters详解多实例实时同步的发布订阅层 ShareDB 的 Pub/Sub 适配器负责在数据后端数据库ShareDB Milestone 适配器实战指南用周期性快照加速文档历史重建ShareDB Milestone 适配器实战指南用周期性快照加速文档历史重建 Milestone 适配器milestone adapter是 Share后端数据库ShareDB 数据库适配器Database Adapters完全指南从 MemoryDB 到 MongoDB / PostgreSQLShareDB 数据库适配器Database Adapters完全指南从 MemoryDB 到 MongoDB / PostgreSQL ShareDB后端数据库上一篇如何用MediaPipe打造跨平台实时媒体AI解决方案零基础入门到实战指南下一篇less.php 性能加速秘籍Less_Cache 缓存机制深度剖析创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考