公司新闻

Official news
公司新闻
企业多源数据集成与交换解决方案
 

  企业多源数据集成与交换解决方案_计算机软件及应用_IT/计算机_专业资料。企业应用集成包括数据集成、业务集成、界面集成等多个方面,其中数据集成是具有基础性意义的一环,其主要目标便是能够实现各个异构数据源之间的数据交换及共享,并且为上层用户提供统一的数据访问接口,有效地提高企业数据资源的利用效率。

  企业多源数据集成与交换解决方案 北京中科启信软件技术有限公司 1 企业需求 随着信息技术的不断发展,企业在信息化方面作了巨大的投资,建立了各种 信息系统以帮助企业进行内外部业务的处理和管理工作。然而,众多的信息系统 形成了一个个彼此独立的信息孤岛,它们虽然管理着企业特定的职能部门的工 作,但相互之间缺乏有效的通信,无法实现提供跨部门、跨系统的综合性的信息 资源共享,这就导致各种企业应用集成技术的出现。其主要目的就是通过建立底 层结构,来联系横贯整个企业的异构系统、应用、数据源等资源。 企业应用集成包括数据集成、业务集成、界面集成等多个方面,其中数据集 成是具有基础性意义的一环,其主要目标便是能够实现各个异构数据源之间的数 据交换及共享,并且为上层用户提供统一的数据访问接口,有效地提高企业数据 资源的利用效率。 中科启信数据集成平台,就是在这样的背景下应运而生。它搭建了一个高效 统一的系统框架和数据架构体系,从整体上保持数据的一致性与高效访问,最大 限度地提高数据的共享,减少整体建设及运维成本。 2 方案概述 中科启信数据集成平台是企业级的数据集成服务产品,为分析型数据应用 (如基于数据仓库的多维分析、决策支持等)和操作型数据应用(如清单报表、 数据评估等)提供数据集成服务、数据集成平台和集成策略,满足数据应用项目 中各种数据集成需求。 方案以企业 IT 长远战略发展进行规划企业信息整合、数据集成架构;全面 评估企业数据基础,建立组织级数据规范和沟通标准;建立集中模式下统一管理、 稳定高效且灵活扩展的数据集成平台,引入先进集成工具或方法,综合系统发展 规划和企业应用逐个扩展实施。 通过创建数据的逻辑视图,平台可以实现企业多个业务系统之间的数据共 第 1 页 共 11 页 享、数据交换。一个数据视图相当于一个数据抽取层,隐藏了数据的复杂性和它 们之间的关系,提出了一个更易于理解的数据模型,从而减少了访问应用程序数 据的复杂性。 中科启信数据集成平台的整体框架如下图所示。 XML Schema Cache / 应用系统 数据库 消息 文件 XML 图 2-1 数据集成平台框架图 3 平台组成 中科启信数据集成平台由数据源、适配器、数据集成服务、数据视图构造器、 统一数据访问接口、平台应用六个部分组成。 第 2 页 共 11 页 3.1 数据源 这里的数据源是指所有要集成的数据。可以是文本文件、XML、关系数据 库、应用系统、Web Services 等。也可以是企业资源计划 ERP 平台、客户关系管 理 CRM 平台、供应链管理 SCM 平台、集成质量管理平台和电子商务平台等 3.2 适配器 适配器是用来提供数据集成服务引擎和后端数据源之间的连接,通过数据视 图构造器,用户可以快速的为集成应用和 Web Services 配置适配器。平台包括大 量的适配器,并提供工具供用户建立自己的适配器。 3.3 数据集成服务 数据集成服务引擎基于元数据将各种数据视作一个简单的、虚拟的数据源, 并且能够通过联邦查询的方式来查询和分析来自不同数据源的信息,确保迅速地 响应上层软件对数据的查询请求。同时,通过 Cache 缓存管理优化数据查询。 (1) 集成/转换引擎 集成/转换引擎连接底层数据源,集中所有的数据和内容,形成一个通用的 信息模型。 集成/转换引擎集成并标准化数据,允许用户在所有的信息集合上执行联合 查询和建立相应的视图。这种强大的信息收集能力使各孤立的数据源之间相互联 系起来,从而充分地利用信息。 统一数据视图用来对各种数据源的数据创建一个虚拟实时的快照。标准、通 用的视图使应用系统访问数据源更加简化。一个视图包含了用户获取数据的多个 测井数据源以及一些访问这些数据源所必须的信息。当一个视图建立好之后,只 要基于这个视图的查询请求被提交,信息就会从底层的数据源中提取出来。视图 的属性是在设计时被创建,存储在视图的定义中,以后可以随时修改视图的属性 定义。 第 3 页 共 11 页 多样的输出 方便的重构 方便的数据匹配 方便的数据连接 Views XML模式 关系型模式 语法检查 数据检查 容错检查 源访问权限控制 ACL控制 本地缓存 定时更新 图 3-1 定义的视图包含从源端来的所有信息 开发人员不需要编程,仅仅通过简单、直观的图形界面就可以定义视图。视 图是从不同的数据源获取信息的,在之上可以执行基于视图的联合查询。为了减 轻后端系统的负载和提高应用系统的性能,可以采用缓存视图方式。通过合适的 缓存策略,优化查询效率。 (2) 元数据管理 元数据管理器用来跟踪和管理数据集成服务中间件中的所有元数据信息。元 数据可以来自于底层关系数据库,可以来自于对数据的集成定义,也可以从基于 客户的输入由数据集成服务引擎产生的附加注解中来。 元数据管理器会存储数据源位置、连接信息、格式、表结构、模式、关系、 命名惯例、索引、安全和系统共享等元信息。 视图定义产生的元数据可以跟踪数据元素之间的映射和关系。平台提供了图 形化的工具操作数据及其元数据。 元数据管理器除了自动从数据源收集信息外,管理员还可以用元数据对存储 的信息(如缓存视图)进行注解。系统在特定情况下也会增加一些元数据信息, 如一个查询操作的时间戳,需要某些特定类型信息用户的日志等。管理员会利用 这些补充的元数据实现数据的联合、数据的兼容、版本控制或其他的应用。 第 4 页 共 11 页 (3) Cache 管理 缓存管理器使用结果缓存技术把那些经常用到的信息保存在内存中,供应用 程序快速、高效率地访问。当用户定义一个视图时,可以根据需要选择是否缓存 视图,如果选择缓存,系统会创建一个时间表,表示在进行查询操作后进行缓存, 其时间间隔可以是分钟、小时、天、周或月。 数据集成平台允许用户缓存由视图收集的集成数据信息。缓存技术加速了应 用的性能,并减少了对经常需要存储的后端系统的负载。利用在缓存数据上的索 引还可以进一步加强查询的性能。管理员可以对任何数据源进行缓存。 作为缓存机制的一部分,数据集成平台包含可配置的自动验证机制,当选择 一个缓存时,系统不仅可以根据事先定义的时间表刷新也可以在用户进行查询数 据后进行刷新。如果源信息已经不在了,用户可以选择回滚到自己定义的缓存里 进行再一次数据抽取以保持更新。这种动态的更新意味着信息随时都是最新的, 用户就可以根据应用需要做出决策。 (4) XML Schema 管理 XML Schema 管理器拥有强大的管理 XML 文档模式验证的能力。模式代表 了一系列的业务规则,来保证信息模型之间的一致性和促进测井数据集成平台内 部的信息交流。 用户可以通过 XML Schema 管理器在合法的 XML 模式(Schema)与任何 XML 文档之间建立关联。同时也支持使用文档类型定义(DTD)来定义模式, 数据集成平台中间件在加载 DTD 时会自动地将其转换为 XML 模式。若一个 XML 模式关联到一个文档集,则这个文档集里的每一个文档都会依照这个模式被检 查。并且该文档被更新后都会进行相应检查,保证数据的完整性。 XML Schema 管理器同时也支持模式演变的技术。当业务规则改变时,XML 模式也必须做相应的改变。模式管理器允许用户方便的将文档或文档集合从旧的 模式转向新的模式,管理器会记录这些变化并允许用户根据需要回滚到以前的任 何一种状态。这样花很小的代价就可以更新信息模型,也使基于数据集成中间件 的应用可以灵活地适应变化,这正是传统数据库技术所不具备的。 (5) 联邦查询引擎 联合查询引擎是查询并集合数据源里的数据。对于关系型或非关系型的数据 源,它都保存有一个 XML 格式的数据字典,来记录各数据源的位置和数据格式, 使用户可以以基于时间或事件驱动的方式访问测井数据。 第 5 页 共 11 页 联合查询引擎提供了很多查询函数,以类似 SQL 查询的方式查询所有数据。 它生成高效的 SQL 语句并把他们代理给底层的关系型数据库或可查询的数据 源。使用一个查询语句,应用程序就可以查询覆盖所有数据源的信息,并以单个 结果集的形式返回,从而无缝连接多个异构数据源。 为了高效执行各个异构数据源的联合查询,联合查询引擎从每个关系型数据 库里收集和分析元数据,综合考虑数据库各个表大小、已出现和未出现的索引、 选择的索引、表的主键、外键关系。当处理查询时,根据远端开销状况和数据通 过网络的开销来得到一个最优的执行计划,从而优化联邦查询效率。 (6) 事务管理 事务管理用来保证数据的完整性和一致性, 支持 JTA 事务。数据服务引擎 提供了一个数据视图级别的分布式事务处理模型,它把发生在多个数据源上的一 组逻辑事务当作一个分布式事务,这组事务在数据视图中被定义,因此所有通过 这个视图进行的数据更新都被当作一个逻辑事务。在视图被处理的过程中,如果 发生了致命错误,那么所有的事务都会被回滚,如果成功处理,那么所有的事务 都会被提交。这样可以保证多个数据源数据的一致性。 (7) 安全管理 平台包含一个基于角色的安全管理框架,提供认证和授权功能,该框架符合 J2EE 标准。平台的安全模型符合 JAAS 的(Java 认证和授权服务)规格,提供 一致的基于 J2EE 的安全框架。使用 JAAS 模型,安全管理可以通过配置与 LDAP 和单点登录框架集成起来。 在安全框架内,每一个 XML 数据视图都可以指定一个特定的角色和组,角 色通过访问控制列表来管理,该列表指定哪些用户属于这个角色。这些角色通常 有应用服务器来管理,并通过 JAAS 暴露给平台。 平台支持基于资源的访问控制,并围绕 Java 安全模型来进行设计。这种基 于资源的机制允许系统管理员对平台管理的任何资源建立访问控制列表,包括 XML 文档,文档集合,数据视图,适配器等。 (8) 规则引擎 平台提供全面的商业规则检查能力,完全按照用户自定义的标准来筛选信息 和验证信息。规则检查实时地检查导入数据的内容,主要包括语法结构检查和基 于内容的语义检查。 规则检查引擎是基于大量可靠、重复的事实做出决策的。不同的规则可以帮 第 6 页 共 11 页 助客户满足自己的个性化需求。规则着重于一些应用逻辑,帮助开发者更快速地 部署自己的应用,以满足快速变化的市场需要。 3.4 数据视图构造器 数据视图构造器是一个图形化的数据视图构造环境,用于创建和部署数据视 图。数据视图构造器可以指导设计者创建数据视图所需要的元数据文件,该构造 器是一个可视化的、可拖拽的开发工具,而且提供有设计向导,可以加速基于 XML 的应用。通过视图构造器形成的数据统一视图是统一数据访问接口提供数 据服务的基础。 图 3-2 视图构建器界面 视图构造器根据相应的元数据图形化显示底层的几个数据源及其内部数据 结构,同时根据相应的 XML Schema 图形化显示应用层的业务数据需求,从而轻 松的在业务数据需求及底层原始数据之间建立映射。 3.5 统一数据访问接口 建设数据中心的目的在于数据的标准化与实现数据共享,数据的共享是通过 统一数据访问接口来完成。下图给出了统一数据访问接口的管理与使用方法。 第 7 页 共 11 页 1. 4. 2. 3. 图 3-3 统一数据访问接口的管理与使用方法 统一数据访问接口的用户角色可以分为接口开发人员、运行维护人员和应用 系统开发人员三类。其中接口开发人员根据上层应用对业务数据格式的不同需求 进行访问接口的封装、格式化,并注册接口描述;数据运行维护人员对新增访问 接口进行统一的配置,包括:访问权限、接口描述标准化及接口验证;应用系统 的开发人员根据给定的接口进行测井应用系统的开发。 统一数据访问接口以 XML 为数据交流格式,因为所有的编程语言都对 XML 提供了很好的处理支持,所以用不同程序语言开发的客户端都可以访问所有的数 据接口,从而实现真正意义上的数据统一访问。 3.6 平台应用 平台提供支持各种协议的应用接口,支持的协议包括 EJB、Servlet、Java API、 SOAP、HTTP 和 JMS,因此用户可以在平台之上做各种各样的应用。例如我们 可以基于平台做统计分析,生成报表、饼状图、柱状图等;可以通过集成平台为 数据仓库提供数据服务;可以在门户系统上使用数据集成平台等。 4 功能介绍 第 8 页 共 11 页 企业经过多年的运营产生了大量的数据,这些数据可能存在已有的业务系统 中、也可能存在数据库中、也可能存在于文件中,可能以结构化的格式保存,也 可能以非结构化的格式保存,这些数据对企业来讲非常有价值,希望能重用,中 科启信数据集成平台就能满足这种需要,通过该平台可以完成数据的集成服务, 主要包括数据迁移、数据转换、数据聚合、数据交换、数据同步、数据链等服务。 (1) 数据迁移 在一个企业内部,可能存在大量的历史数据,对于这些数据可能需要把它们 迁移到新的系统中,平台的数据迁移功能符合这个需求。通过平台我们可以在多 个数据源之间移动数据。 (2) 数据转换 平台的一大特色是有一个高性能的数据转换引擎,该引擎由在设计环境中列 出的基于元数据的指令驱动。由于数据在各种异类应用软件和数据源之间集成, 因此需要解析这些系统之间的数据语义、关系和层次。平台采用统一标准语言 xml 作为转换的中间格式,能够处理非结构化、半结构化和结构化数据的转换。 (3) 数据聚合 平台提供虚拟数据聚合即企业信息集成(EII)功能。通过将传统的物理和虚拟 数据集成方法结合到一个平台中,中科启信数据集成平台可以帮助机构快速方便 且经济高效地传递整体数据。使用这一功能,机构可以联合访问多个异构数据源, 因此,无需实际移动数据就可以创建虚拟数据视图。利用该功能可帮助 IT 机构 缩短数据集成项目的周期,更快地适应不断变化的业务需求。 (4) 数据交换 通过可视化视图创建工具创建数据交换的视图,可以完成数据库之间、数据 库与应用系统之间、应用系统之间的数据交换。整个平台有一个虚拟的数据中心, 里面存放着数据交换的视图,通过这个数据中心来完成不同数据源之间的数据交 换。 第 9 页 共 11 页 CRM ERP 数据仓库 数据交换平台 管管理理服服务务器器 呼叫 中心 OA 管管理理工工具具 管管理理工工具具 (5) 数据同步 图 3-1 数据交换功能图 当企业一个系统的业务活动会影响其它多个系统的进程时,数据的实时性、 准确性就尤显重要。中科启信数据集成平台提供数据同步功能,以确保数据在大 量应用程序之间保持一致。 (6) 数据链 通常情况下,企业各系统组织内含有关联的数据。数据链是一种技术用来利 用这种联系,使相关的信息检索来自多个数据源。数据链操作通常是对这些关联 系统的一系列的请求,第二次的请求取决于第一次的请求的结果。换一种方式说, 数据链操作第一次从一个系统检索出数据集,然后利用这些数据信息发送请求到 第二系统来检索相关信息。数据链实际上是一个专门形式的数据汇总。通过数据 链功能可以将企业多个系统关联的数据联系起来。 5 平台特点 (1) 符合国际规范 平台严格遵循技术发展主流的国际标准,以 J2EE 体系为骨架,采用国际上 先进的应用平台技术标准,如 Web service、Xml、SOAP 等。便于和国际接轨, 第 10 页 共 11 页 易于系统扩展及升级。 (2) 开放性和可扩展性 可根据业务需要进行扩展,平台运用目前最先进的 XML 语言技术,实现异 构环境多数据源的集成以及系统之间的数据交换,保证多种应用软件能在同一操 作平台上兼容,从技术和体系结构上保证今后系统升级或者数据库更换时能够使 平台平滑的移植到新的环境,并可继续正常运行。平台广泛采用了业界主流和开 放的技术标准和设计模式,提供开放的应用编程接口和管理工具,使得系统在集 成新的应用和采用新的运行平台时,具有良好的可扩展性。 (3) 安全性 集中式安全数据访问,在访问数据抽取层时,提供认证、授权和信息加密功 能,可以在现有安全策略之上对数据访问进行管理,把信息提供给授权的用户或 应用。 (4) 统一性 整个平台的数据传输统一采用 XML 格式,便于数据转换和异构数据源的集 成。同时提供统一的数据访问接口,使得不同环境的应用都可以使用平台。 (5) 实时性 平台可以实时的反应底层数据源数据的变化,以便给用户提供及时、准确的 信息,做出正确的决策。 6 应用效果 (1) 适时解决企业信息化发展过程当中遇到的数据问题; (2) 为企业的决策支持、电子商务、后援集中等需求建立良好的数据基础; (3) 高效的数据集成平台满足企业多变的数据管理需求; (4) 降低企业在数据管理成本,为企业提供统一规范的数据视图; (5) 提升企业内部数据整体价值。 第 11 页 共 11 页


活动五-太阳2注册平台1_1970高奖金官网 活动四-太阳2注册平台5_1970高奖金官网just go 活动三-太阳2注册平台4_1970高奖金官网 活动二太阳2命命注册平台3_1970高奖金官网 活动一太阳2注册平台2_1970高奖金官网