腾讯云发布了自主研发的大数据高性能计算引擎Meson,最高性能提高了6倍-人工智能

首页 2024-07-04 18:40:09

7月4日,腾讯云发布了新的自研大数据高性能计算引擎Meson。

通过软硬集成加速和智能技术的综合应用,Meson可以显著提供更好的计算性能,并在人工智能和其他场景下节省更多的计算资源。

例如,在数据湖场景中,Meson可以帮助单个数据查询和分析加速6倍。在微信阅读“AI问书”项目中,Meson帮助大数据任务节省了90%的资源消耗。

目前,Meson已登陆腾讯云数据湖、搜索分析服务、云数据仓库三条业务线,为企业大数据业务提供统一的计算加速基础。

在大数据领域,数据存储和计算是至关重要的核心环节,提高计算和存储的性能一直是大数据技术的核心任务。

腾讯云大数据高性能计算引擎Meson在多方面进行加速优化:

  • 向量化计算软件层,JIT Compilation等一系列软件加速工程
  • GPU和FPGA加速硬件层
  • 基于智能查询优化、负载智能预测等智能技术,大数据分析可以根据过去的经验自动调整处理策略,使数据处理更加高效。

Meson带来的性能提升是海量数据处理和分析的第一次体验。

就存储大量数据的数据湖而言,腾讯云在Meson的基础上实现了与Spark完全兼容的向量化计算能力,在处理大规模数据时可以发挥更高的性能。

腾讯云Elasticsearch在搜索分析的高频需求中 Service (简称ES)结合Meson解决方案,成为世界上第一个支持GPU加速的ES服务,显著提高了ES向量生成和向量检索的效率。

企业级数据仓库TCHouse 就查询优化技术、定量计算模式、人工智能智能资源调度等技术手段而言,Meson可以大大提高海量数据分析的效率和质量。

截至目前,腾讯云大数据已继续为国家电网、中国商飞、三一重工、陕西建工等行业龙头客户搭建国内大数据平台,涵盖能源、制造、电力等领域。

以上是腾讯云发布的大数据高性能计算引擎Meson的详细内容,最高性能提升6倍。请关注其他相关文章!


p