NineData要做轨范员必备的数据库产品

大家好，我是一名中公法式员，在 IT 领域（云打算+数据库）事情 20 年，17 年程序员和 3 年产品经理。
早已经由了 35 岁，数据库爱好者，为了能一贯写代码，我创建了一家公司（玖章算术），发布了首款数据做事 www.ninedata.cloud （对，在云时期我们率先利用了.cloud的域名），以下是我个人先容。

除了我，还有几位好哥们有同样爱好，于是大家就一起开荒。

这几位都是数据库领域老鸟！

周振兴是产品经理，也是 Oracle ACE（MySQL 方向）、《高性能 MySQL》译者、原淘宝去 IOE 核心 DBA，发量没保住，缘故原由是我们几个程序员更能折腾；

Ni Demai 是我们硅谷的数据库专家，清华毕业后一贯在外洋，说要让我们的产品在美国横着走（很期待啊）；

谭宇外号七爷，数据库技能老手，飞车党程序员，精通数据库内核开拓到企业数字化转型，属于万能程序员；

还有几位骨灰级程序员，善于 go、Java、数据库内核、大数据、容器、网络、操作系统等等，他们比较低调，这里就不露脸了。

小伙伴先容完了，再说说我瞥见数据库和云打算的一些问题吧。

从市场调查统计，大型云厂商已经超过 30 家，对外发行的数据库有 397 种。

看这图，百家争鸣啊（太卷了），以是我不想细谈云和数据库，咱先谈谈企业数据库管理的三个常见问题。

企业数据库管理三个问题

一、程序员应不应有生产数据库权限

方案 1：程序员不能查看线上的数据，所有事情都须要找数据管理员（DBA）处理。
这一看就很安全啊，但效率太低，估计很多程序员就此选择躺平。

方案 2：线上数据库权限开放给程序员。
那数据库稳定性没法掌握啊，如果企业与员工涌现抵牾，比如裁员，那删库跑路是迟早的事，说不定离职后还入侵一下，全体企业就瞬间崩溃，IT 卖力人肯定要背锅，说不定老板要承担刑事任务。

上面这两种做法都比较常见，有些企业选择给程序员只开数据查询权限，但是敏感数据透露和审计是个大坑。

三、数据上云难，跨云迁移更难

云已经势不可挡了，国产数据库、开源数据库、分布式数据库、云原生数据仓库等新技能都在快速演进，数据上云是大趋势，不管是私有云还是公有云，都得上啊。
再抱着老的 IDC 技能架构，别说技能掉队，可能出去找事情都难。

要快速改换数据库不随意马虎，数据迁移便是个大难题，数据上云了，要换个新的云那就更坑（云厂商肯定不肯望你搬走啊），要把本地私有云的数据和公有云打通更头大，这个实在是很多大型企业面临的跨云问题，那为啥会涌现跨云呢？

多云时期已经到来

云已经成为新一代 IT 根本举动步伐，进入了百家争鸣的时期，国际上 AWS、Azure、Google 是领导者，海内阿里云、腾讯云、华为云先发上风明显，天翼云、移动云、沃云、中国电子云等运营商/国资类云打算平台快速崛起，在政府、国企等市场上风明显。
根据最新 IDC 调查统计数据显示，中国电信天翼云已经进入前三，移动云和联通沃云也是非常好的古迹增长（其他云都在瑟瑟颤动）。

可以预见到云平台会竞争更加激烈，并且多云和稠浊云是未来的发展趋势。
根据 Flexera 对国际上 573 家中大型企业调查显示，有 89%的企业不但利用了一朵云（多云/稠浊云），为什么企业要选择多云呢？有以下几个成分。

未来，技能卖力人不仅是用好云打算，能用好多云会是更核心的实力。

我们在云打算和数据库领域事情了 20 年，创业推出的第一款产品名字叫 NineData，便是要办理上面三个问题。

这是 NineData 的产品大图，分为四大核心功能。

1. SQL 开拓：供应企业级 SQL 开拓平台，完备代替 Navicat、DBeaver 等 SQL 客户端工具，免费，并且更安全更方便。
对企业用户可以支持更全面的权限管理，敏感数据保护和 SQL 线上变更发布等高等功能，非常适宜超过 20 个开拓职员的企业。

2. 数据备份：新一代数据备份办理方案，1 分钟内完成配置，支持全量、增量备份，支持多个云平台和多个地域，可以用来快速搭建异地备份办理方案，知足安全合规哀求。
我们在数据备份上做了大量创新，如备份数据可以在线查询，这样不仅可以验证备份的有效性，而且还可以快速查看数据的历史版本，选择须要的数据秒级规复。
可以完备代替 mydumper 这些掉队的工具。

3. 数据复制：供应数据迁移、数据同步等功能，可以更高效地完成数据上云、跨云数据迁移、ETL 等等，支持全量迁移和增量迁移，100000TPS，性能超越市场主流产品，支持各种繁芜 DDL 变更同步，也完成了 MySQL8.0，ClickHouseV22 等最新数据库版本适配。

4. 数据比拟：用来帮助你检讨数据复制的精确性，支持构造比拟和数据比拟，供应了非常大略易用的可视化展示，算是目前市场上最好的数据比拟工具。

大略易用、高性能、支持多云、多数据源是我们在产品设计和研发考虑最多的地方。
接下来先容我们的产品技能架构。

NineData 是 SaaS 模式的多云数据管理平台，以是多云和多源是我们要办理的重点问题。
我们要支持市情上主流的数据库，既支持 MySQL、PostgreSQL、SQLServer 等关系型数据库，也支持 MongoDB、Redis 等 NoSQL，还⽀持 Aurora、PolarDB、GaussDB 等云厂商专属数据库，当然还包括 TiDB、OceanBase 等分布式数据库。

NineData 会支持主流的云厂商和自建机房，也便是说，无论是云上还是云下的数据库，也不论是云⼚商专属数据库还是自建数据库，NineData 都会⽀持。

NineData 平台可以分为四层，最上层是接入层，包括掌握台和 API 两个部分，可以在掌握台上直接管理数据，也支持通过 API 的形式将 NineData 集成到内部的系统。

接下来是数据安全层，数据安全是 NineData 从一开始就确立的非常主要的事情。
我们会在这⼀层处理所有涉及到数据安全干系的事情，比如数据加密、鉴权、脱敏以及完全的操作审计。

再往下是核心引擎层，紧张用来支撑我们的 SQL 开拓、数据复制、备份规复和数据比拟四大核心功能。

最下面是我们的根本能力层，紧张包括两个部分，一是公共的核心能力，比如 SQL 解析器、多版本元数据管理中央、中间数据转换框架、数据存储系统、Gateway 等等。
第二部分则是 NineData 多云支配框架和调度引擎。

再先容 NineData 的多云运行架构，NineData 是 SaaS 模型，但是数据处理是越靠近用户的数据库节点越好，举个例子，如果要做事阿里云北京 Region 的用户，那么 NineData 最好也支配在阿里云的北京 Region，一方面可以得到更好的网络连接，另一方面也可以避免涌现网络流量用度。
以此类推，要做事所有的云厂商，就得在每个云的 Region 里支配 NineData 的做事。
但是本日环球主流云厂商的所有 Region 加起来最少有几百个，再算上可用区就更多了，如果在每个云的每个 Region 上都预先支配然后才能供应做事的话，这将是一个巨大的事情量和本钱，以是我们将 NineData 的架构拆分为了中央掌握节点与分布式单元事情节点，这是我们原创的架构模型。

末了是我们在工程质量上的一些实践。

我们明白数据对客户意味着什么，如果 NineData 自身涌现非常这对客户来说便是灾害，以是工程质量和数据安全是我们最主要的两件事情。

只有合理的产品设计才能担保工程质量。
得益于 NineData 团队在数据管理领域的深厚积累，加上对数据管理的敬畏与谨严，我们确立了严格的产品评审流程。
在严格遵照编码规范、代码审查等软件工程实践之外，还引入深度安全检测，确保我们软件的安全稳定。

此外，NineData 要办理的主要问题是大规模集成测试，NineData 要支持这么多云厂商和数据源，每修正或新增一个功能，就须要在所有支持的云、数据源上进行测试，这个本钱非常高，以是我们实现了一个自动化测试框架来完成这些事情。
首先能够低本钱、无需编码来写用例，团队所有同学都可以不断沉淀，这是担保工程质量的根本，我们很快就积累超过一万个用例。
其次是能自动化的实行用例，框架会自动剖析依赖，比如 MySQL 干系的用例会搭建 MySQL 所有版本作为源，然后再根据 NineData 的支持范围选择目标。
新增的数据源都会自动继续弘大的用例库。
末了结合用例实行情形与线上故障等要素，制订优先级与补齐漏测场景。
通过这些事情，NineData 可以快速积累测试场景和创造问题，确保我们供应的做事安全稳定。

我们在技能上还有很多故意思的积累，包括如何做高性能的实时数据同步与比拟，如何做备份数据在线查询等等，未来有机会可以再详细分享，我们也操持把一些核心组件贡献给开源社区。