海量数据&openGauss NUMA
关于我们
关于海量数据
海量数据是一家2007年成立的公司，唯一一家主板上市做数据库的公司。主要技术人员大多来自于oracle、ibm、Teradate等全球性的数据库公司，目前的发展已经和鲲鹏紧紧联系在了一起。
关于海量数据库Vastbase
Vastbase海量数据库是海量数据基于openGauss内核开发的企业级关系型数据库。融合多年对各行各业应用场景的深入理解，除了具有openGauss极致的性能外，还在原有功能上增加了大量数据库兼容特性，并遵循EAL4+B标准进行了大幅度的安全增强，同时，还精心整合了GIS、流计算等一系列专业领域的企业级功能。
金融业飞速发展对数据库带来的挑战
金融IT系统特点
其主要的特点表现为业务种类日益繁多，业务需求变化快，对交易响应时间的要求、数据强一致性要求，7*24小时业务服务，IT架构庞大复杂,关注TCO等方面。这些来自前端业务和用户的挑战传递到了整个银行、证券、保险中，而且要求是逐步提升的。
金融业高速发展对数据库带来的挑战
目前，高吞吐、低延时、大数据量是数据库面对的最大挑战。此外还有场景多样、混合负载，低总体拥有成本和安全、可信的要求。而openGauss和vastbase做的商业发行版，将会满足金融用户的需求。
解决之道—高性能数据库设计及实现
NUMA-Aware技术充分释放多核时代性能潜能
在CPU多核时代，在提升硬件算力的同时，传统的数据库的事务处理机制无法充分利用多核算力，出现増核不增效的尴尬局面。
而NUMA-Aware技术，在依据数据与CPU物理最近距离为处理原则下，在线程绑核方面实现亲核调度，减少了跨核数据拷贝和通信，在数据化结构处采用了异步并行拷贝，这样提升了处理能力，有效应对多核时代带来的挑战。
进程变线程 实现超大并发，软硬结合提升产品性能
线程化框架是最核心的问题，目前海量数据库正处于从消除全局变量、线程池框架和Session和thread分离后的框架式适配的设计要点转向实现共享内存移除、基于语句级的线程调查策略等的设计。线程是计算的最终载体，而线程化框架无疑是多核优化的根本。
以往在高并发的请求场景下，传统技术在服务端使用进程应对每一个请求，因此会消耗大量的系统资源，使得整体并发性能受限。而在客户端设置连接池则避免了频繁创建和销毁，服务端的线程池则线程复用，控制数据库服务器活动线程数目，流控系统业务量，防止出现雪崩。连接池与线程池的结合使用，再配合CAS原子操作，在提升稳定性的同时也具有了更高的性能。
多引擎：同时支持高性能业务处理和高质量经营决策
OpenGauss的行列混合引擎可以指定行存列存，并根据不同的场景选择不同的存储类型，而MOT内存引擎则可以实现免锁，高吞吐，低延时的性能。对混合负载下的场景会有很大帮助。
兼容98%以上主流商用数据库功能
客户最大的一部分需求就来自于如何从之前的系统切换到当前数据库中来，其中最需要面对和解决的就是兼容性问题。例如保留以前的操作习惯，使客户更加容易方便操作。那么如何将客户原来的系统无缝平滑的迁移到国产的数据库环境呢。这里海量数据设计的迁移工具exbase将可以实现这些要求，因为它基于各种主流数据库的兼容性，因此才能很快的准确的进行迁移。
例如，在中华联合人寿的案例中，对于进行迁移的5756个对象中，总计33个存储过程、函数迁移失败，而其中有23个对象是因为源库对象失效而迁移失败，它迁移的成功率高达99.4%。
另外，数据校验也是非常重要的一项，ISV总计改动代码10处，经过2周，累计35人天即完成应用系统主要功能模块的适配工作，实现了Vastbase对Oracle的高度兼容，使其能够快速迁移上线。
海量数据库Vastbase----openGauss商业发行版，体系化代替最佳选择
商业发行版的优势在于它的高度兼容性，平滑迁移、安全可控性，高可用性、智能运维，以及由进程改线程、NUMA-Aware技术、同时支持行存、列存和内存引擎、增量checkpoint等技术融合体现出的极致性价比。此外，由鲲鹏CPU、openeular、openGauss完善、领先的一栈式体系优势也将是促成极致性价比的选择。
应用实践
鲲鹏体系全栈国产化替代
中华联合人寿团险的核心系统是第一家实现全栈替代的。由泰山服务器、openeuler、vastbase宝兰德以及中科软操作系统组成。解决了客户对于国产平台与软件之间的兼容性、数据安全性和可靠性，以及在需求流量增大时，能实现复杂保单业务大批量数据在线验证&导入与查询性的高要求。这种全栈体系化最终能为客户带来高度兼容、更强算力、更高性能、更好性价比的客户体验，例如在预算方面较原体系就能节省20%IT投入。
应用性能测试：普遍提升，部分场景性能提升近3倍
客户以前用的是Dell服务器和oracle数据库，采用国产全栈新体系后，我们可以发现，在批量导入、批量加入、保全更换被保险人等场景中，新体系的性能平均提升了3倍左右。另外还涉及到了全栈性价比的问题，这为行业在体系替代方面树立了很好的信心。
提问：对于全栈化来说，如果客户要求设备利旧的话，该如何操作这种模式才能使性能最大化，以及资源利用最大化
肖答：你可以想象一个四维的四个象限的图，象限内容有新建，有迁移。新建很简单，可以直接选择国产的架构。对于迁移，利旧环境下，我们要做的是在换除设备过程中逐渐替换里面的内容。老系统里的数据保留，新的平台下去尝试，我们能做的就是在你们尝试过程中，使过程变得尽量容易。当然它的优势不单单体现在迁移过程中。鲲鹏体系一定是最好的，可能还有其他的选择，但需要去进行配比，而这个过程中是很难发挥出最大最强的性能优势。
视频链接：https://live.huawei.com/hdc2021/meeting/cn/8258.html