基于AI及新型硬件的分布式融合型数据库

需求类型

技术改造

意向投入金额(万元)

面议

单位名称

江苏引跑网络科技有限公司

所属技术领域一级

航空航天

所属技术领域二级

航空技术

合作方式

技术转让,合作开发,技术许可,其他

需求描述

（一）新型硬件架构下的优化
CXL作为一种高速互连技术，可以实现CPU与加速器（如GPU、FPGA）之间的高效数据传输，从而加速数据处理速度。NVM则以其非易失性、高速读写和低延迟等特性，为数据库系统提供了更加可靠和高效的存储解决方案。分布式数据库针对这些新型硬件架构进行了深度优化，充分利用其性能优势，实现了数据处理和存储效率的大幅提升。
（1）非易失内存（NVM）集成
数据库系统能够直接利用非易失内存（NVM）作为存储介质，替代或部分替代传统的磁盘存储。NVM的读写延迟接近DRAM，但具备数据断电不丢失特性。在分布式事务处理系统中，采用NVM替代SSD作为日志存储介质，使事务提交速度提升40%。
（2）基于新型硬件及内存互联协议的内存池化系统
利用CXL等新型硬件技术和内存互联协议，构建内存池化系统的基础架构。CXL协议支持缓存一致性，允许CPU直接访问远端存储器，消除了传统I/O路径的延迟瓶颈。采用CXL的分布式数据库节点间数据传输延迟可降低至传统方案的1/10以下。
（3）智能化的系统池化内存管理
实现数据在不同缓存层（如CPU缓存、内存池等）中的迁移和替换，结合智能负载预测算法，对内存进行智能化的管理、分配和扩缩容。CXL支持内存设备在多个计算节点间共享，实现全局内存池化，内存利用率提升50%以上，资源分配效率大幅提升。
（4）将不同数据模型（关系、时序、向量、键值、地理空间GIS、流数据等）相互结合，形成一个更加高效、灵活和可扩展的整体，打破界限，实现数据的高效整合与分析。
（二）查询优化器与自动调优智能化升级
（1）数据库查询优化器
数据库查询优化器是数据库内核的重要组成部分，负责生成高效的查询执行计划。传统的查询优化器主要依赖于基于规则的启发式方法和代价模型来评估不同执行计划的优劣。然而，这些方法在面对复杂查询和大规模数据集时往往效果不佳。通过引入AI技术，包含深度学习、大模型等。通过训练模型来预测不同执行计划的执行时间和资源消耗，数据库系统可以自动选择最优的执行计划，如构建LSTM（长短期记忆网络）模型预测最优查询计划。采用AI技术的查询优化器以实现性能10倍以上质的提升，用户可以更快地获得查询结果，提高业务处理效率。AI优化器与CXL加速的查询引擎，使复杂分析查询响应时间从分钟级降至秒级。
（2）自动调优与配置
分布式数据库的性能和稳定性很大程度上取决于其配置参数的选择。然而，手动调整这些参数既耗时又费力，且难以达到最优效果。为了解决这个问题，引入AI技术进行自动调优与配置。通过收集数据库的运行数据和性能指标，利用机器学习等算法对配置参数进行优化，数据库系统可以自动调整其配置以适应不同的工作负载和环境变化，可以显著降低数据库的管理成本，提高系统的稳定性和性能。同时，可帮助用户更好地理解和优化数据库系统的行为，提高业务处理的质量和效率。

现有基础