PatViewer专利搜索
中国 发明 在审

【中文】一种基于边缘计算的数据处理方法和边缘计算系统
【EN】A kind of data processing method and edge calculations system based on edge calculations

申请(专利)号:CN201910139101.X国省代码:上海 31
申请(专利权)人:【中文】网宿科技股份有限公司【EN】ChinaNetCenter Co., Ltd.
温馨提示:Ctrl+D 请注意收藏,详细著录项请首页检索查看。 Please note the collection. For details, please search the home page.

摘要:
【中文】本发明公开了一种基于边缘计算的数据处理方法和边缘计算系统,属于边缘计算技术领域。所述方法包括:当接收到数据处理请求时,目标节点服务器确定数据处理请求对应的目标数据资源和目标计算插件;目标节点服务器获取边缘机器上传的目标数据资源,并将目标数据资源加载至预设的数据计算框架;目标节点服务器调用数据计算框架中集成的目标计算插件,对加载的目标数据资源进行数据计算;目标节点服务器从数据计算框架中导出数据计算结果,向数据处理请求的发起方反馈数据计算结果。采用本发明,使得数据处理无中心化,降低了中心节点的负载和压力;节省了数据传输耗费的带宽资源,提高了数据处理效率;简化了数据处理逻辑的更新和升级过程。
【EN】Paragraph:The invention discloses a kind of data processing method based on edge calculations and edge calculations systems, belong to edge calculations technical field.The described method includes: destination node server determines that the corresponding target data money source and target of data processing request calculates plug-in unit when receiving data processing request;Destination node server obtains the target data resource that edge machine uploads, and target data resource is loaded onto preset data Computational frame;The target integrated in destination node server calls data Computational frame calculates plug-in unit, carries out data calculating to the target data resource of load;Destination node server exports data calculated result from data Computational frame, to initiator's feedback data calculated result of data processing request.Using the present invention, so that data processing non-stop layer, reduces the load and pressure of central node;The bandwidth resources that data transmission expends are saved, data-handling efficiency is improved;Simplify update and the escalation process of data process method.

主权项:
【中文】1.一种基于边缘计算的数据处理方法,其特征在于,所述方法应用于边缘计算系统,所述边缘计算系统包括分布式部署的多台节点服务器,其中:当接收到数据处理请求时,目标节点服务器确定所述数据处理请求对应的目标数据资源和目标计算插件;所述目标节点服务器获取边缘机器上传的所述目标数据资源,并将所述目标数据资源加载至预设的数据计算框架;所述目标节点服务器调用所述数据计算框架中集成的所述目标计算插件,对加载的所述目标数据资源进行数据计算;所述目标节点服务器从所述数据计算框架中导出数据计算结果,向所述数据处理请求的发起方反馈所述数据计算结果。【EN】1. a kind of data processing method based on edge calculations, which is characterized in that the method is applied to edge calculations system, institute State the more node servers that edge calculations system includes distributed deployment, in which:


相似专利
说明书

一种基于边缘计算的数据处理方法和边缘计算系统

技术领域

本发明涉及边缘计算技术领域,特别涉及一种基于边缘计算的数据处理方法和边

缘计算系统。

背景技术

云计算技术是一种将硬件、软件、网络等资源统一起来,通过网络提供给用户,以

实现数据的计算、储存、共享等处理的技术。目前在利用云计算技术实现数据处理时,可以

将数据资源集中上传至中心平台,然后统一通过中心平台实现具体的数据处理。

具体来说,用户可以将需要应用于云计算的数据资源,通过物联网技术上传至中

心平台。当需要执行云计算处理时,用户可以向中心平台发送相应的数据处理请求。中心平

台接收到数据处理请求后,可以先获取已存储的数据处理请求关联的数据资源,然后对这

些数据资源进行集中的分析、计算等处理。继而,中心平台可以将得到的计算结果反馈给用

户,即对数据处理请求进行响应,完成云计算处理。

在实现本发明的过程中,发明人发现现有技术至少存在以下问题:

随着云计算技术的发展,应用于云计算的数据资源的数据量飞速增长,如果仍然

在中心平台进行集中的数据计算,会导致中心平台的负载过高、压力过大。再者,在中心平

台进行数据计算,需要将所有数据资源传输至中心平台,由中心平台逐一进行处理,这样不

仅消耗了大量的带宽资源,而且数据计算结果的反馈耗时较长。另外,中心平台中的数据计

算逻辑需要更新时,技术人员往往需要对数据计算逻辑的代码进行修改或更换后,再对整

体处理流程的代码进行打包,数据计算逻辑的升级比较繁琐复杂。

发明内容

为了解决现有技术的问题,本发明实施例提供了一种基于边缘计算的数据处理方

法和边缘计算系统。所述技术方案如下:

第一方面,提供了一种基于边缘计算的数据处理方法,所述方法应用于边缘计算

系统,所述边缘计算系统包括分布式部署的多台节点服务器,其中:

当接收到数据处理请求时,目标节点服务器确定所述数据处理请求对应的目标数

据资源和目标计算插件;

所述目标节点服务器获取边缘机器上传的所述目标数据资源,并将所述目标数据

资源加载至预设的数据计算框架;

所述目标节点服务器调用所述数据计算框架中集成的所述目标计算插件,对加载

的所述目标数据资源进行数据计算;

所述目标节点服务器从所述数据计算框架中导出数据计算结果,向所述数据处理

请求的发起方反馈所述数据计算结果。

可选的,所述目标节点服务器获取边缘机器上传的所述目标数据资源,包括:

所述目标节点服务器确定存储有所述目标数据资源的边缘机器,通过所述边缘机

器上的数据传输组件获取所述目标数据资源。

可选的,所述目标节点服务器获取边缘机器上传的所述目标数据资源之前,还包

括:

所述目标节点服务器通过边缘机器上的数据传输组件获取所述边缘机器生成的

数据资源,并将所述数据资源存储在本地资源库中;

所述目标节点服务器获取边缘机器上传的所述目标数据资源,包括:

所述目标节点服务器在所述本地资源库中查找所述目标数据资源。

可选的,所述将所述目标数据资源加载至预设的数据计算框架之前,还包括:

所述目标节点服务器将获取的所述目标数据资源缓存至预设的消息队列中。

可选的,所述将所述目标数据资源加载至预设的数据计算框架,包括:

所述目标节点服务器根据所述目标数据资源的数据类型,确定预设的数据计算框

架中的目标加载组件;

所述目标节点服务器通过所述目标加载组件将所述目标数据资源加载至所述数

据计算框架的数据缓存组件。

可选的,所述目标节点服务器从所述数据计算框架中导出数据计算结果,向所述

数据处理请求的发起方反馈所述数据计算结果,包括:

所述目标节点服务器通过所述数据计算框架的数据上传组件将所述数据计算结

果导出至预设的消息队列中;

所述目标节点服务器通过结果反馈组件将所述消息队列中的所述数据计算结果

反馈至所述数据处理请求的发起方。

可选的,所述目标节点服务器调用所述数据计算框架中预先集成的所述目标计算

插件,对加载的所述目标数据资源进行数据计算之前,还包括:

所述目标节点服务器通过所述数据计算框架中的防火墙组件,对所述目标数据资

源进行数据防护处理。

可选的,所述方法还包括:

所述目标节点服务器将待集成的计算功能代码和所述计算功能代码对应的预备

脚本通过SCM进程添加至所述数据计算框架;

所述目标节点服务器执行所述预备脚本,调用所述数据计算框架中的代码封装组

件将所述计算功能代码封装成新计算插件;

所述目标节点服务器将所述新计算插件集成到所述数据计算框架。

第二方面,提供了一种边缘计算系统,所述边缘计算系统包括分布式部署的多台

节点服务器,其中,每台所述节点服务器用于:

当接收到数据处理请求时,确定所述数据处理请求对应的目标数据资源和目标计

算插件;

获取边缘机器上传的所述目标数据资源,并将所述目标数据资源加载至预设的数

据计算框架;

调用所述数据计算框架中集成的所述目标计算插件,对加载的所述目标数据资源

进行数据计算;

从所述数据计算框架中导出数据计算结果,向所述数据处理请求的发起方反馈所

述数据计算结果。

可选的,所述节点服务器,具体用于:

确定存储有所述目标数据资源的边缘机器,通过所述边缘机器上的数据传输组件

获取所述目标数据资源。

可选的,所述节点服务器,具体用于:

通过边缘机器上的数据传输组件获取所述边缘机器生成的数据资源,并将所述数

据资源存储在本地资源库中;

在所述本地资源库中查找所述目标数据资源。

可选的,所述节点服务器,还用于:

将获取的所述目标数据资源缓存至预设的消息队列中。

可选的,所述节点服务器,具体用于:

根据所述目标数据资源的数据类型,确定预设的数据计算框架中的目标加载组

件;

通过所述目标加载组件将所述目标数据资源加载至所述数据计算框架的数据缓

存组件。

可选的,所述节点服务器,具体用于:

通过所述数据计算框架的数据上传组件将所述数据计算结果导出至预设的消息

队列中;

通过结果反馈组件将所述消息队列中的所述数据计算结果反馈至所述数据处理

请求的发起方。

可选的,所述节点服务器,还用于:

通过所述数据计算框架中的防火墙组件,对所述目标数据资源进行数据防护处

理。

可选的,所述节点服务器,还用于:

将待集成的计算功能代码和所述计算功能代码对应的预备脚本通过SCM进程添加

至所述数据计算框架;

执行所述预备脚本,调用所述数据计算框架中的代码封装组件将所述计算功能代

码封装成新计算插件;

将所述新计算插件集成到所述数据计算框架。

本发明实施例提供的技术方案带来的有益效果是:

本实施例提供基于边缘计算的数据处理方法,由于采用预设有数据计算框架的、

分布式部署的节点服务器,且数据计算框架上集成有计算插件,所以可以在网络边缘的节

点服务器上实现数据处理,使得数据处理无中心化,大大降低了中心节点的负载和压力;且

数据处理过程中,数据资源无需上传至中心节点,数据计算结果只在节点服务器与数据处

理请求的发起方之间进行传输,节省了数据传输耗费的带宽资源,提高了数据处理效率;且

采用集成在数据计算框架中的可插拔式的计算插件来实现数据计算逻辑,计算插件上线和

升级周期短,可以在短时间内满足客户需求。

附图说明

为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使

用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于

本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他

的附图。

图1为本发明某实施例提供的一种边缘计算系统的框架示意图;

图2为本发明某实施例提供的基于边缘计算的数据处理方法流程示意图;

图3为本发明某实施例提供的基于边缘计算的数据处理的交互逻辑示意图;

图4为本发明某实施例提供的集成计算插件的方法流程示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方

式作进一步地详细描述。

本发明实施例提供了一种基于边缘计算的数据处理方法,该方法应用于边缘计算

系统,边缘计算系统可以是利用边缘计算技术对企业、工厂、楼宇、交通、医疗等场景实现数

据处理的系统,如图1所示,边缘计算系统可以包括分布式部署的多台节点服务器,节点服

务器可以由边缘计算提供方预先按照地理位置/网络运营商采用分布式架构部署在网络

中,每台节点服务器可以对应一个地理/网络区域,其作为数据处理的主体,用于为对应的

地理/网络区域内的数据处理请求进行相应的数据处理,多台节点服务器可以分担现有技

术中中心平台的数据计算压力,以克服现有技术数据处理的缺陷。在进行数据处理时,节点

服务器可以从边缘机器上获取相关的数据资源,再调用本地预设的集成有计算插件的数据

计算框架,进一步通过数据计算框架中集成的不同计算插件对不同数据处理请求进行处

理。边缘机器可以是任何具备联网上云功能的机器设备,如可以是移动终端、工业机器、机

器人、智能装备、电机、智能家居、仪表、摄像头和传感器等,边缘机器在运行状态下可以产

生或采集数据资源,并将数据资源提供给节点服务器。

本实施例公开的基于边缘计算的数据处理方法还可以适用于多种领域:如在移动

通信领域中,在网络带宽允许的情况下,可以通过预先部署的节点服务器与智能手机,平板

电脑,笔记本,4K电视,智能投影仪等各种边缘机器通信,将可以有效实现网络带宽受限、网

络不稳定的情况下的数据处理;在卫星通信领域,尤其是大量终端设备分布于偏远和恶劣

的环境中,例如船舶、飞机、石油钻井、采矿作业及军事等场景下,可以通过部署节点服务

器,有效解决高延时,有限带宽以及跨卫星通讯等问题;在公共设施建设领域中,设置用于

数据处理的节点服务器将大大有利于对水、气、电力等公共设施的管理,也有利于智慧道路

的建设、公共设施监控以及安全保障等。

下面将结合具体实施方式,对图2所示的处理流程进行详细的说明,内容可以如

下:

步骤201,当接收到数据处理请求时,目标节点服务器确定数据处理请求对应的目

标数据资源和目标计算插件。

在实施中,目标节点服务器在正常运行的过程中,如果接收到新的数据处理请求,

可以对该数据处理请求进行分析,确定数据处理请求对应的数据计算逻辑以及实现数据计

算逻辑时所需的数据资源(可称为目标数据资源),进而可以确定用于实现该数据计算逻辑

的计算插件(可称为目标计算插件)。此处,计算插件可以是针对不同数据计算逻辑预先封

装好的函数集,通过不同的计算插件可以实现不同的数据计算逻辑。

步骤202,目标节点服务器获取边缘机器上传的目标数据资源,并将目标数据资源

加载至预设的数据计算框架。

在实施中,在确定了数据处理请求对应的目标数据资源之后,目标节点服务器可

以获取边缘机器上传的目标数据资源。例如,数据处理请求为图片处理请求时,目标节点服

务器则可以获取一台边缘机器上传的待处理图片;数据处理请求为数据汇总请求,目标节

点服务器则可以获取多台边缘机器上传的所有待汇总数据。之后,目标节点服务器可以将

获取到的目标数据资源加载至本机上预设的数据计算框架中,此处,数据计算框架可以预

先部署在边缘计算系统内的所有节点服务器上的,具体可以集成有用于实现数据处理的多

种模块组件,多种模块组件一一解耦,并且可以直接支持虚拟化和容器化部署,可以在短时

间内进行纵向扩展,短时间内满足客户需求。

可选的,节点服务器可以在接收到数据处理请求后临时从边缘机器获取数据资

源,或者边缘机器可以预先将数据资源发送给节点服务器进行存储,相应的处理可以分别

如下:

其一,目标节点服务器确定存储有目标数据资源的边缘机器,通过边缘机器上的

数据传输组件获取目标数据资源。

在实施中,目标节点服务器在确定了数据处理请求对应的目标数据资源之后,可

以先确定存储有目标数据资源的边缘机器。具体的,目标节点服务器可以按照目标数据资

源的数据类型等属性信息,确定存储有目标数据资源的边缘机器,如目标数据资源为北京

区域内域名A的访问日志,则可以确定边缘机器为部署在北京区域内提供域名A的访问服务

的服务器。之后,目标节点服务器可以通过边缘机器上的数据传输组件获取目标数据资源,

具体来讲,目标节点服务器可以向边缘机器发送目标数据资源的上传指令,边缘机器接收

到该上传指令,可以通过本机上的数据传输组件(如可采用SDN工具)将目标数据资源上传

给目标节点服务器。

其二,目标节点服务器通过边缘机器上的数据传输组件获取边缘机器生成的数据

资源,并将数据资源存储在本地资源库中;目标节点服务器在本地资源库中查找目标数据

资源。

在实施中,边缘机器在生成数据资源后,可以通过其上的数据传输组件(如可采用

SDN工具)主动将生成的数据资源上传至对应的节点服务器。以目标节点服务器为例,目标

节点服务器在获取到边缘机器上传的数据资源后,可以将数据资源存储在本地资源库中。

这样,目标节点服务器在确定了数据处理请求对应的目标数据资源之后,可以在上述本地

资源库中查找目标数据资源。

可选的,在加载数据资源之前,可以通过消息队列对数据资源进行缓存,相应的,

步骤202中加载目标数据资源之前,可以存在如下处理:目标节点服务器将获取的目标数据

资源缓存至预设的消息队列中。

在实施中,在获取到目标数据资源之后,目标节点服务器可以先将目标数据资源

缓存至预设的消息队列中。如此,将数据资源存储在消息队列中,为数据加载做准备,也为

数据加载提供缓冲。其中,预设的消息队列是指进行数据计算的目标节点服务器上的消息

队列,其可以形成于目标节点服务器的实际内存中,也可以形成于虚拟内存或容器中。另外

需要说明的是,采用消息队列的方式进行缓存只是一种优选的实施方式,节点服务器也可

以采用内存或其它缓存方式,将获取的数据资源进行缓存,本实施例对此不做限定。

可选的,对于不同数据类型的数据资源,节点服务器可以选择不同的加载组件进

行加载,并在加载后进行缓存,相应的,步骤202的处理可以如下:目标节点服务器根据目标

数据资源的数据类型,确定预设的数据计算框架中的目标加载组件;目标节点服务器通过

目标加载组件将目标数据资源加载至数据计算框架的数据缓存组件。

其中,数据资源的数据类型可以包括网页数据类型、流媒体数据类型及文件数据

类型等,为了提高数据加载效率,可以针对不同数据类型的数据资源分别设计不同的加载

组件,相应的,数据计算框架中可以配设有多个加载组件,每个加载组件可以加载其对应的

数据类型下的数据资源。

具体地,目标节点服务器获取到目标数据资源之后,可以在本机上预设的数据计

算框架中,确定与该目标数据资源的数据类型相对应的加载组件(即目标加载组件)。进而,

目标节点服务器可以通过目标加载组件将数据资源加载至数据计算框架中的数据缓存组

件。此处,目标节点服务器通过目标加载组件将数据资源加载至数据计算框架的数据缓存

组件,是指目标节点服务器通过目标加载组件将数据资源加载至数据计算框架后,先进行

数据缓存,为数据计算做准备。进一步的,进行缓存时也可以根据数据类型对加载的数据资

源分类缓存,同时可以通过数据缓存组件控制数据资源的加载速度,以防止过量的数据资

源涌入数据计算框架。

步骤203,目标节点服务器调用数据计算框架中集成的目标计算插件,对加载的目

标数据资源进行数据计算。

在实施中,目标节点服务器将目标数据资源加载至预设的数据计算框架后,可以

调用数据计算框架中集成的目标计算插件,通过目标计算插件对加载的数据资源进行数据

计算。此处的数据计算是指对数据资源进行加工处理,比如网页数据处理、流媒体数据处

理、文件数据等。可以理解,计算插件是数据计算框架的核心部分,采用集成插件式接入数

据计算框架中的核心计算组件,对于不同业务的数据处理需求,数据计算框架可以自动加

载相应的计算插件,以配置相关的数据计算逻辑,这样便于数据计算逻辑的升级更新,可以

实现业务功能的快速部署上线。

可选的,节点服务器在进行数据计算之前,可以对数据资源进行数据防护处理,相

应的,步骤203之前可以存在如下处理:目标节点服务器通过数据计算框架中的防火墙组

件,对目标数据资源进行数据防护处理。

在实施中,目标节点服务器中预设的数据计算框架中可以集成有防火墙组件,用

于在进行数据计算处理前,对数据资源进行防护处理。故而,在加载目标数据资源之后,目

标节点服务器可以通过数据计算框架中的防火墙组件,对目标数据资源进行数据防护处

理,以筛除异常攻击数据,可以防止恶意数据过多导致目标节点服务器负载过高而出现瘫

痪、宕机等问题。

步骤204,目标节点服务器从数据计算框架中导出数据计算结果,向数据处理请求

的发起方反馈数据计算结果。

在实施中,目标节点服务器通过目标计算插件进行数据计算之后,可以从数据计

算框架中导出数据计算结果,再向数据处理请求的发起方反馈数据计算结果。需要说明的

是,目标节点服务器直接将数据计算结果反馈给数据处理请求的发起方,无需经中心平台

进行转发,节省了传输数据计算结果时耗费的带宽资源。

可选的,节点服务器可以在导出数据计算结果后、反馈数据计算结果前,可以先对

数据计算结果进行缓存,相应的,步骤204的处理可以具体如下:目标节点服务器通过数据

计算框架的数据上传组件将数据计算结果导出至预设的消息队列中;目标节点服务器通过

结果反馈组件将消息队列中的数据计算结果反馈至数据处理请求的发起方。

其中,预设的消息队列是指进行数据计算的节点服务器上的消息队列,其可以形

成于节点服务器的实际内存中,也可以形成于虚拟内存或容器中。

在实施中,目标节点服务器在生成数据计算结果之后,可以通过数据计算框架中

的数据上传组件将数据计算结果从数据计算框架中导出,然后将数据计算结果缓存至预设

的消息队列中。此处,通过消息队列缓存数据计算结果,可以为数据计算结果的反馈做缓

冲。继而,目标节点服务器可以通过结果反馈组件(如可采用GDC(General Data Collect,

数据通用采集)工具)将数据计算结果从消息队列中导出,并反馈给数据处理请求的发起

方。

值得一提的是,一个数据处理任务可能需要多台目标节点服务器共同完成,每台

目标节点服务器可以分别执行上述步骤201至步骤204的处理,数据处理请求的发起方最后

可以接收到所有目标节点服务器反馈的数据计算结果,并对这些数据计算结果进行汇总、

聚合等处理。

为了便于理解,图3以组件的形式示出了数据处理的最佳交互逻辑,其包含外部框

架和数据计算框架,外部框架主要包括数据传输组件、消息队列和结果反馈组件,数据计算

框架主要包括加载组件、数据缓存组件、核心计算组件、防火墙组件和数据上传组件,其中,

核心计算组件上通过插件集成接口集成有多个计算插件。在数据处理的交互过程中,数据

资源由数据传输组件到达消息队列,再通过加载组件被加载至数据缓存组件中;防火墙组

件从数据缓存组件获取数据资源,并对数据资源进行数据防护处理;核心计算组件中集成

的计算插件对数据资源进行计算,再将计算结果通过数据上传组件存入消息队列;最后,结

果反馈组件将消息队列中的计算结果反馈给数据处理请求的发起方。

需要说明的是,如果边缘机器本身就设置有上述集成了目标计算插件的数据计算

框架,则边缘机器上出现数据处理需求时,则可以直接在调用本机上预设的数据计算框架

和本地存储的数据资源来实现相应的数据处理需求,无需再向节点服务器发送数据处理请

求和相关的数据资源,这样一方面可以节省数据处理过程中的传输带宽消耗,一方面可以

充分利用边缘机器的处理性能,降低节点服务器的负载压力,同时还可以提高数据处理的

响应速度。

本实施例还提供了一种集成计算插件的方法,参见图4,该方法可以包括以下步

骤:

步骤401,目标节点服务器将待集成的计算功能代码和计算功能代码对应的预备

脚本通过SCM(Software configure Manager,软件配置管理)进程添加至数据计算框架。

本实施例中,当需要添加新的数据计算功能时,目标节点服务器可以获取待集成

的计算功能代码,以及该计算功能代码对应的预备脚本。可以理解,计算功能代码即为实现

数据计算功能的代码,预备脚本则为封装上述计算功能代码所必须的脚本。之后,目标节点

服务器可以将待集成的计算功能代码和对应的预备脚本,通过预先运行的用于实现软件管

理的SCM进程添加至数据计算框架。

步骤402,目标节点服务器执行预备脚本,调用数据计算框架中的代码封装组件将

计算功能代码封装成新计算插件。

本实施例中,在数据计算框架中添加了计算功能代码和预备脚本之后,目标节点

服务器可以执行该预备脚本,然后调用数据计算框架中的代码封装组件,将计算功能代码

封装成新计算插件。

步骤403,目标节点服务器将新计算插件集成到数据计算框架。

本实施中,在封装得到了新计算插件后,目标节点服务器可以将新计算插件集成

到数据计算框架中。其中,计算插件采用集成插件式,数据计算框架可以针对不同的计算插

件,提供不同的插件集成接口,当满足插件集成接口的集成需求的时候,即可由数据计算框

架自动加载,读取新计算插件,即完成了新的数据处理插件的上线部署,解决了现有技术中

当新业务上线或原业务升级的时候,都需要全网部署新程序的问题。且数据计算框架与计

算插件之间采用松耦合,组件插件之间可以一一解耦,可以直接支持虚拟化和容器化部署。

本实施例提供基于边缘计算的数据处理方法,由于采用预设有数据计算框架的、

分布式部署的节点服务器,且数据计算框架上集成有计算插件,所以可以在网络边缘的节

点服务器上实现数据处理,使得数据处理无中心化,大大降低了中心节点的负载和压力;且

数据处理过程中,数据资源无需上传至中心节点,数据计算结果只在节点服务器与数据处

理请求的发起方之间进行传输,节省了数据传输耗费的带宽资源,提高了数据处理效率;且

采用集成在数据计算框架中的可插拔式的计算插件来实现数据计算逻辑,计算插件上线和

升级周期短,可以在短时间内满足客户需求。

基于相同的技术构思,本发明实施例还提供了一种边缘计算系统,所述边缘计算

系统包括分布式部署的多台节点服务器,其中,每台所述节点服务器用于:

当接收到数据处理请求时,确定所述数据处理请求对应的目标数据资源和目标计

算插件;

获取边缘机器上传的所述目标数据资源,并将所述目标数据资源加载至预设的数

据计算框架;

调用所述数据计算框架中集成的所述目标计算插件,对加载的所述目标数据资源

进行数据计算;

从所述数据计算框架中导出数据计算结果,向所述数据处理请求的发起方反馈所

述数据计算结果。

可选的,所述节点服务器,具体用于:

确定存储有所述目标数据资源的边缘机器,通过所述边缘机器上的数据传输组件

获取所述目标数据资源。

可选的,所述节点服务器,具体用于:

通过边缘机器上的数据传输组件获取所述边缘机器生成的数据资源,并将所述数

据资源存储在本地资源库中;

在所述本地资源库中查找所述目标数据资源。

可选的,所述节点服务器,还用于:

将获取的所述目标数据资源缓存至预设的消息队列中。

可选的,所述节点服务器,具体用于:

根据所述目标数据资源的数据类型,确定预设的数据计算框架中的目标加载组

件;

通过所述目标加载组件将所述目标数据资源加载至所述数据计算框架的数据缓

存组件。

可选的,所述节点服务器,具体用于:

通过所述数据计算框架的数据上传组件将所述数据计算结果导出至预设的消息

队列中;

通过结果反馈组件将所述消息队列中的所述数据计算结果反馈至所述数据处理

请求的发起方。

可选的,所述节点服务器,还用于:

通过所述数据计算框架中的防火墙组件,对所述目标数据资源进行数据防护处

理。

可选的,所述节点服务器,还用于:

将待集成的计算功能代码和所述计算功能代码对应的预备脚本通过SCM进程添加

至所述数据计算框架;

执行所述预备脚本,调用所述数据计算框架中的代码封装组件将所述计算功能代

码封装成新计算插件;

将所述新计算插件集成到所述数据计算框架。

本实施例提供基于边缘计算的数据处理方法,由于采用预设有数据计算框架的、

分布式部署的节点服务器,且数据计算框架上集成有计算插件,所以可以在网络边缘的节

点服务器上实现数据处理,使得数据处理无中心化,大大降低了中心节点的负载和压力;且

数据处理过程中,数据资源无需上传至中心节点,数据计算结果只在节点服务器与数据处

理请求的发起方之间进行传输,节省了数据传输耗费的带宽资源,提高了数据处理效率;且

采用集成在数据计算框架中的可插拔式的计算插件来实现数据计算逻辑,计算插件上线和

升级周期短,可以在短时间内满足客户需求。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件
<>...

=>>详细说明书全文请进入首页检索查看

图1
©2018 IPPH.cn   PatViewer·专利搜索
主办单位:知识产权出版社有限责任公司  咨询热线:01082000860-8588
浏览器:IE9及以上、火狐等  京ICP备09007110号 京公网安备 11010802026659号