欢迎访问大规模流数据集成与分析技术北京市重点实验室!

研究项目

研究项目和核心技术

作者: 时间:2022-03-14 点击数:

DeCloud物联网大数据智能服务平台是实验室学术研究、关键技术研发和应用实践的核心工作和成果载体,该平台2012年在中国计算机大会首次发布,是国内首个感知数据实时处理与服务云平台,并在智能交通等领域获得了实际应用。利用DeCloud,能在数据源和各类业务应用之间架起一个可部署和配置“软传感器”的“服务空间”,优化应用构造和运维方式,相关工作能够带动一批智慧城市、物联网和工业互联网应用相关公司的技术能力提升,使之更好地适应物联网、工业互联网、互联网+等新需求。DeCloud目前已形成包括近30项专利和软件著作权的自主知识产权群,并在智能交通、智能电网、电厂设备监控、智慧海洋、电梯物联网等物联大数据实时处理需求迫切的行业得到诸多实际应用,完成一项200万元的技术转让。以DeCloud研发成果和相关应用为基础,实验室2019年牵头获得北京市科技进步二等奖一项。

DeCloud物联网大数据智能服务平台围绕物联网等背景下大数据的“接、管、算、用、维”全生命周期,提供流式实时数据和结构化业务数据的接入、集成、处理相关智能服务,实现物联网大数据的快速汇聚、综合管理、高效计算、动态关联,支持云模式下新型物联大数据应用的建设与运维。平台包括以下四部分内容:

1)云端集成工具

l 对接不同种类的数据采集终端/系统

l 支持可定制、可管理的数据路由分发

l 提供包括移动端在内的多样化数据交互方式

2)数据托管与集成服务

l 支持不同用户及不同类型物联网大数据的实时存储和组织

l 支持多元数据的高效访问及集成与融合

l 支持时空数据的关联分析

3)流/批混合计算环境

l 为海量数据存储和混合计算(批计算及流计算)提供支撑环境

l 为上述计算支撑环境的部署和运维提供基于云的保障手段

4)行业数据分析及应用服务

l 形成行业内可共享、复制的数据分析应用服务

l 面向行业提供共性应用模板,支持基于模板的应用定制开发

平台涉及核心技术包括:

 (1)流数据实时汇聚与集成方面

n 面向多元数据集成的数据服务空间模型

n 多源变频流数据的实时汇聚与存储

n 基于多维索引与多级缓存的数据组织

n 海量时空数据关联分析与融合

n 流数据的服务化封装和提供(含移动端服务)

n 百亿历史数据规模下万条数据毫秒级存储

n 百亿数据规模下高并发查询的秒级响应

 (2)融合型大数据实时计算方面

n 融合流式计算和批计算的数据处理模型

n 实时和历史流数据的融合计算

n /批计算任务的透明部署与运行优化

n 面向领域的开放可定制编程模型

n 基于数据服务和模板的行业应用定制

n 单次融合计算百万记录级吞吐和毫秒级响应

 (3)支持数据服务空间的云环境配置管理方面

n 针对流数据特征的云资源优化配置

n 多元异构虚拟化集群的集成与统一管理

n 面向流数据应用的模板构建与管理

n 基于应用模板的支撑环境快速构建与优化

n 应用敏感的云资源动态调度与弹性伸缩

n 以应用为核心的云平台管理与运维

(4)流数据系统体系结构与边缘计算

n瞄准适于大规模流数据处理的支撑系统体系结构问题,

n以海量、持续的流式感知数据存储组织模型和并行计算模型为突破口,

n研究面向大规模流数据集成的新型基础设施理论和技术;

n研究基于云边端融合的流数据处理系统及智能资源调度机制、在线性能优化、可靠性保障理论与技术等。







Copyright © 2021 大规模流数据集成与分析技术北京市重点实验室