编辑:[db:作者] 时间:2024-08-24 23:22:59
近日,中国电子学会在北京隆重召开科技攻关项目成果鉴定会。鉴定委员会同等认为:天翼云大规模分布式大数据打算平台研发项目涉及的大数据存储、打算、调度等一系列关键技能,繁芜度高、研制难度大、创新性强,总体技能达到国际前辈水平,个中分布式存储元数据两层视图管理等关键技能指标达到国际领先水平。
这次成果是天翼云大数据与弹性存储两大产品线联合占领大数据底层一系列关键技能难题的结晶。目前,这些技能创新成果不仅有效支撑了全国多个省份电信公司的IT及业务上云事情,还在数据要素、政务大数据平台、城市大脑等行业领域实现了广泛运用,为行业的数字化转型注入了新的动力。
在打算引擎核心方面,通过将Spark runtime层更换成Native runtime层,供应了高效的内存管理、数据交流处理能力;将算子改成native实现,并利用SIMD技能加速核心算子处理能力;深度完善基于规则和代价优化的机制,提升引擎的处理效率。比较开源Spark新版本性能提升1.2倍以上。
在调度引擎核心方面,设计分区同步共享状态的分布式调度架构替代传统的单调度器、集群联邦办法,更好地办理了集群规模可扩展性、调度效率、调度质量、公正性和优先级、资源利用率等多方面的抵牾,性能及规模较开源比较分别提升了3倍和1.5倍,实现了海内领先的调度速率和单集群1.5万台的规模。多调度器共享全体集群状态,担保任务调度结果的全局最优性;通过资源分区办法,多调度器对不同的资源分区并行调度,提升了可支持的集群规模及调度系统的吞吐量;采取资源分区轮询办法,避免涌现调度结果与资源分区的紧耦合,实现最优的任务调度;同时,基于单体调度器增加了多调度器折衷事情能力,保障了调度结果的唯一性,避免涌现资源冲突导致的调度失落败。
在存储引擎核心方面,天翼云团队结合高性能存储技能,不仅办理了海量文件管理的难题,还大幅提升了数据可靠性及性能。依托采取全自研L-RDMA协议,打算节点与存储节点RDMA全互联,实现了“高性能、低本钱”的软硬协同的统一大数据存储底座。在达到100万IOPS时,时延依然保持在亚毫秒级,单并发写时延达到70us。这一创新成果不仅提升了存储效率,还为大数据处理供应了更稳定、更可靠的支持。
这次项目得到中国电子学会科技成果鉴定会的认可,不仅彰显了天翼云在大数据领域的卓越技能实力和创新精神,也为行业发展树立了新的标杆。未来,天翼云将连续坚持科技创新,不断推动大数据和云打算技能发展,为千行百业数字化转型贡献更多新质生产力,为数字经济高质量发展注智赋能。
本站所发布的文字与图片素材为非商业目的改编或整理,版权归原作者所有,如侵权或涉及违法,请联系我们删除,如需转载请保留原文地址:http://www.baanla.com/xyj/24819.html
Copyright 2005-20203 www.baidu.com 版权所有 | 琼ICP备2023011765号-4 | 统计代码
声明:本站所有内容均只可用于学习参考,信息与图片素材来源于互联网,如内容侵权与违规,请与本站联系,将在三个工作日内处理,联系邮箱:123456789@qq.com