数据管道智能处理系统

——数据管道帮助客户打通数据孤岛,轻松实现复杂环境下的数据融合

   一、应用场景与用户需求

DPS是解决如下各种应用场景或用户需求的最佳选择

(广泛适用于集成商、政府、医院、学校、以及企业等各种类型的用户)

  • 数据共享平台和集成平台中各系统数据联通和共享的需求
  • 建设新系统过程中,碰到数据接口、数据字典、数据结构、源厂商配合等各种问题
  • 统一portal 门户或单点登录
  • 主数据建设、数据资源目录建设
  • 政务数据一体化的建设项目
  • Dashboard 管理层看板最终用户需要随时接入各种所需要的数据,但源厂商配合不给力
  • 各个内部业务系统之间的数据资源整合
  • 不同系统的之间的需要实时交互

二、系统架构

数据管道

三、数据管道的优势(Advantages

(1)障碍

无需协调源系统开发者,无需源码,无需详细了解业务逻辑,所有环节沟通无障碍

(2)低成本

跨部门跨机构的沟通成本降到最低,将人员开发成本降到最 低,将项目交付时间成本降到最低

(3)高效率

大幅度提升工作效率和开发进度,大幅度提高沟通有效性,大幅度提炼客户需求精准度

(4)零风险

数据读写与源系统完全一致,保证数据安全,开发复杂性极低, 不对用户系统进行任何改写操作,对源系统造成的风险趋近于零。

(5)高性能

一方面通过预读取技术保障实时数据100%同步而不损耗性能;另一方面通过数据缓存实现对原系统性能的无限扩展。

(6)高扩展性

通过微数100数据管道服务,可按客户需求对原系统数据、权限等进行重组和扩展。

四、数据管道的好处( Benefits )

  • 无需源厂商支持
  • 不需要了解源系统的数据库和数据结构
  • 无需购买ESB或ETL工具
  • 最快的获取异构数据的解决方案
  • 成本最低的获取异构数据、实现实时共享的解决方案
  • 在大数据系统建设中,因为实现高效、实时获取异构系统的数据,因此提高了80%以上的数据处理效率,而数据获取和数据处理一般占大数据项目超过60%的成本
  • 是最快的实现集成平台的数据获取的解决方案
  • 不同系统之间建立数据联通的管道,为数据统计和数据分析提供最优的数据聚集的解决方案
ETL ESB 自定义协议 微数100数据管道
前提条件 1、数据字典

2、数据库权限

1、开发接口

2、原厂支持

1、开发接口

2、原厂支持

1、账号与密码
沟通成本 时间不可控

周期长、成本高

时间不可控

周期长、成本高

时间不可控

周期长、成本高

无需沟通
技术成本 确定数据字典

编写数据脚本

技术开发定义服务,开发服务,上线服务 技术双方确定数据发布方式,自定义格式 只需确认业务需求
人力投入成本 需要高级DBA对数据库进行理解 需要高级技术专业人员 需要高级开发人员开发交互接口 技术实施人员(初级工程师水平)
实时性 非实时 准实时 实时 实时
数据审计 不可追溯 粗颗粒度可追溯 粗颗粒度可追溯 每条数据均可追溯
数据交互 不可交互 可交互 可交互 可交互
局限性 加密数据失效

开发商不配合失效

开发商不配合失效 开发商不配合失效 普遍适用

五、案例及应用场景分析

(1)集团公司运营数据统计分析平台

  • 需求:集团业务多,财务部每月分析各业务板块经济运行数据形成给上级汇报的统计分析报告,每月分析侧重点也不同,获取的数据也有变化。
  • 难点:从业务系统里随时获取数据,面对固定的数据接口,显然无法满足每月变化的数据需求;并且分子公司填报的数据也有变化,每次都需要协调沟通,费时费力,数据质量还不能保证。
  • DPS解决之道:通过DPS建立各个业务系统的数据管道,每月可轻松定制并自动抓取所需数据;而对于填报数据,也只需部署数据管道接口,通过用户名和密码,由集团公司相关负责人直接可以获取所需的数据,不需要再次通过沟通方式让下属公司填报数据,高效解决集团公司数据分析和数据透视难题。

微数100数据管道案例

(2)某国家部委大数据平台项目

  • 需求:某国家部委需要对所监管企业全方位、实时监测,各厅局负责人分管不同业务方向,需要建立一个统一的数据共享平台,领导及时判断趋势、发现问题,与各分管厅局在同一个决策平台上监管企业,用数据说话、数据辅助决策。
  • 难点:数据不统一,由于不是统一的通道收集,企业出现多次填报,相同业务指标,在不同厅局会出现不同的情况;各个业务厅局之间的数据是孤立的,较难形成综合的数据分析报告。
  • DPS解决之道:数据管道实现了各监管企业统一的数据获取通道,有效避免了数据不统一的问题,利用大数据平台实现了一个大数据资源池解决了各个系统的数据碎片化的问题,高效打通各个业务系统之间数据共享问题,为下一步从数据业务化,提升监管能力提供了最好的数据基础。

微数100数据管道国家部委