一种基于工作流的通用ETL工具的过程模型生成方法与流程

本发明属于数据处理

技术领域：

，具体涉及一种基于工作流的通用ETL工具的过程模型生成方法。

背景技术：

：近几年，随着电子商务的崛起和信息技术产业的飞速发展，信息孤岛的存在变得越来越普遍。全球每年投入在应用系统的集成和数据整合有3000亿美元之巨，并且这个数据还在以每年28％的量在增长，同时，越来越火热的系统集成和数据仓库市场，使得越来越多的ETL工具涌现出来。传统的ETL设计方法和ETL工具已经越来越不适应不断变化的需求，因为传统的ETL的设计和开发除了需要熟悉数据表的结构和处理数据的规则，以及非常好的编程能力之外，还需要对整个ETL的流程以及ETL流程的每一步的细节是如何处理的非常熟悉。当商业需求的规则或者数据源发生改变时，传统的ETL设计者必须重新编程设计整个ETL或者进行大量的修改工作。因此，对通用ETL的研究变得越来越迫切。它能够降低对ETL设计人员的要求，适应不断更改的业务逻辑，减少企业和单位的开发时间和成本，将数据仓库变得平民化。目前，国内对通用ETL的研究几乎一片空白，一部分ETL工具是传统的对物化视图的维护，对设计者和使用者的要求非常高，一部分ETL工具是设计于专门的应用背景，只能在其特定的业务背景下使用，还有一部分则是直接编写脚本或程序来对源数据进行抽取、转换和加载，当数据的结构或ETL的需求发生改变时，整个项目几乎没有重用性可言。

nc文件 source ．nc ．cxt 1 关键技术1．1 后置 神圣物，然后分解女神圣物获得。但事实上不需要完全分解或改装就能在这两种型号之间进行转换，只需要更换机、管、瞄准装置和弹匣，操作简单，不需要专门的工具，在野战条件下大约1分钟内就能转换口径。

对于互斥量，也可以简化为三种情况，但是过程要复杂一些：第一，如果队列不为空，队列结构体成员uxmessagewaiting减1、将当前任务tcb结构体成员uxmutexesheld加1，表示任务获取互斥量的个数、将队列结构体成员指针pxmutexholder指向任务tcb、判断是否有因入队而阻塞的任务，有的话解除阻塞，然后返回成功信息（pdpass）。p5）5、调动顾客所有五种感觉6、为什么收取费用，就应该提供什么12五、服务蓝图的开发与绘制步骤1识别需要制定蓝图的服务过程步骤2分析目标市场顾客的消费需求步骤3从顾客角度描绘服务消费过程步骤4画三条线，描绘前台、后台服务员工的行为和支持行为步骤5把顾客行为、服务行为和支持行为相连步骤6在每个顾客行为步骤上加上有形展示步骤7证实和完善服务蓝图新服务开发-概念蓝图、细节蓝图顾客投诉或员工建议-细节蓝图利用步行穿越调查法（walk-trough-audit）调查内容涉及顾客购物或消费的整个经历过程让顾客、员工、经理都做同样的调查，进行比较步骤3-步骤6以北京某餐饮连锁公司为例，设计概念性服务蓝图让顾客、员工参与实验、检测六、服务蓝图的分析流程顺序分析梳理流程的逻辑性，检查有无多余的、不顺畅的步骤时间分析顾客时间：总消费时间，等待时间（包括实际等待时间和心理等待时间/爱因斯坦/海底捞/迪斯尼）服务员时间：各流程环节时间，服务效率，流程瓶颈可以把时间标在服务蓝图上关键点分析1314（一）服务蓝图的时间分析一个贴帐户的服务蓝图15（二）关键点分析寻找关键点服务失败点：容易引起顾客不满的地方顾客等待点：容易造成顾客长时间等待的地方员工决策点：需要服务员进行判断和决策的地方顾客体验点：最有可能增加或强化顾客的体验企业促销点：最适合做促销的地方范例：寻找关键点 。生产者和消费者彼此之间不直接通讯，而通过阻塞队列来进行通讯，所以生产者生产完数据之后不用等待消费者处理，直接扔给阻塞队列，消费者不找生产者要数据，而是直接从阻塞队列里取etl步骤，阻塞队列就相当于一个缓冲区，平衡了生产者和消费者的处理能力。

mongodb复制集由一组mongod实例组成，包含一个primary节点和多个secondary节点，mongodb driver的所有数据都写入primary，secondary从primary同步写入的数据，以保持复制集内所有成员存储相同的数据集，提供数据的高可用。这个例子的目的是要理解wait和pulse如何保证线程同步的，同时要注意wait(obeject)和wait(object,int)方法的区别，理解它们的区别很关键的一点是要理解同步的对象包含若干引用，其中包括对当前拥有锁的线程的引用、对就绪队列（包含准备获取锁的线程）的引用和对等待队列（包含等待对象状态更改通知的线程）的引用。 } }这个例子的目的是要理解 wait 和 pulse 如何保证线程同步的，同时要注意 wait(obeject) 和 wait(object,int) 方法的区别，理解它们的区别很关键的一点是要理解同步的对象包含若干引用，其中包括对当前拥有锁的线程的引用、对就绪队列（包含准备获取锁的线程）的引用和对等待队列（包含等待对象状态更改通知的线程）的引用。

本发明的有益效果：本发明的基于工作流的通用ETL工具的过程模型，不同于传统的ETL模型，它屏蔽了底层的具体数据抽取、转换和加载步骤，当业务发生改变时，用户只需要修改基于工作流的ETL模型工具即可，通过多种ETLState变换方式使得整个ETL过程在经过恰当的变换之后，变成一个执行效率更高的新ETL过程，大大提高了开发效率，减少开发成本，真正的实现了数据仓库和数据集成平民化。附图说明图1为本发明一种实施例的结构；图2为ETL过程优化；图3为三种不同的流程处理；图4为交换规则的处理流程图；图5为分解和合并规则的处理流程图；图6为串行化和并行化规则的处理流程图；图7为添加还原点规则的处理流程图；图8为分流规则的处理流程图；图9为复制规则的处理流程图。具体实施方式为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。下面结合附图对本发明的应用原理作详细的描述。一种基于工作流的通用ETL工具的过程模型生成方法，包括以下步骤：S1：在传统ETL概念模型基础上，建立基于工作流的ETL模型工具，包括作业主控模块和抽取、转换、装载模块；所述作业主控模块用于完成对ETL所有作业的调度工作，实现ETL作业的定时、排队、并行调度、流程控制、日志记录，根据配置文件确定各个Job的启动条件、执行顺序以及是否依赖于其他的Job，当某个Job满足启动条件时，作业主控模块启动该Job，并按照顺序执行该Job的子任务流程，即<transformation>标签里的转换任务；所述抽取、转换、装载模块中各个步骤(即：抽取、转换、装载步骤)之间的数据传输流程是一个生产者消费者模型，每一个节点对下一个节点而言是生产者，节点和节点之间采用一个阻塞队列传递数据，前一个节点根据其连线上的规则，将数据处理后写入阻塞队列，后一个节点一条一条的从阻塞队列里读取数据，所有的这些节点组成Transformation。

具体参见图1，其中：JOB(J)：负责对整个ETL的控制以及任务的定时执行和调度，其包含一个或多个Transformation；所谓作业流指的是当一个Transformation成功执行后，能够自动的执行其他作业；比如，当希望Transformationt1执行完毕之后，ETL的JOB会自动执行Transformationt2，则t1就被称为是上游作业(UpStreamTransformation)，t2则被称作下游作业(DownStreamTransformation)，是被自动执行的作业。JOB的操作包括：◆TableExists：用于判断用户指定的表是否存在，可以存在若干个Table。◆FileExists：用于判断用户指定的文件是否存在。◆Mail：用于对用户进行事件通知。所述的Transformation(T)：是指数据抽取、转换、加载所形成的流程，完成针对数据的抽取、基础转换和数据加载，一个Transformation由多个Step组成。所述的Step(S)：是Transformation的功能单元，用来完成特定的转换步骤，Step具体包括以下操作：数据抽取：TableInPut：当MySQL、Oracle、SqlServer等里的数据作为数据源的时候，系统与采用JDBC/JNDI来连接。

FileReader：当源数据为文本文件的时候，需要专门的FileReader来对文本文件进行处理；当文件为Excel或XML文件时，采用Jdom来处理。FTP：从FTP服务器中读取数据；HTTP/WEBSERVICES：发送WebService请求，然后从WebService返回的数据流中读取数据；SMTP(简单的邮件传送协议)：访问电子邮件服务器，根据用户名和密码从电子邮箱中读取数据；企业级别JAVABEANS(EJB)：调用EJB接口，从返回的数据流中读取数据。并通过EJB接口，将数据传递到转换单元。转换：Joiner：实现两个数据集的Join操作，包括中常见的连接类型，及中未提供的部分连接类型，利用Joiner组件，还可以实现不同数据源的Join操作；Filter：根据过滤规则对数据进行过滤；Switcher：根据分流的规则和数据的特点，将数据流往不同的数据管道输出；Duplicator：将数据流复制后在多个数据管道里重复执行；Sorter：对数据进行排序；Aggregator：对数据进行累计运算，例如Sum、Count、Max、Min等聚合运算；Converter：对单个字段进行基本的转换etl步骤，如值映射、字段拆分、空值处理、数据规范化等。

在步骤s120中，提取所述多维的词向量集合的特征数据，将所述特征数据与标注数据同时输入至svc模型中进行模型训练，得到短文本语义相似性判别模型。提取所述多维的词向量集合的特征数据，将所述特征数据与标注数据同时输入至svc模型中进行模型训练，得到短文本语义相似性判别模型的技术方案，在社交网络文本分析场景中，将待判别的两个短文本输入到上一步训练的模型中，即可输出语义相似性的判别结果，创新地将深度学习算法应用于解决自然语言处理中的短文本语义相似性判别。说明：在mysql中，定义变量使用关键字set @变量 := 'value'，使用变量时直接@变量名即可，从information_schema.tables中取10条数据作为tmp表的id字段（不一定在这个表里取，任何一个表有超过10条数据都可以），把@i作为id的值，分十次不断输出。

图18所示为两种钢结构基座的结构示意，图18(a)中基座是由厚度25mm的钢板组成的，图18(b)中的基座是由厚度10mm的钢板组成的。迈达斯midas-psc变截面箱梁施工阶段及psc设计例题 ……图 1-1 跨中截面示意 2 北京迈达斯技术技术资料——psc 变截面箱梁施工阶段分析及验算 图 1-2 支座截面示意 桥梁立面图如图 2 所示。如图4.7所示: 图4.7 新结点在双链表尾部插入2继续操作的执行，当八个数据都插入双链表后，形成一条从小到大的双链表，如图4.8所示： 图4.8 双链表演示程序完成按任意键后退出操作的执行。

S3：将ETL过程执行的窗口和容错性等常见的限制条件考虑进去，在ETLState之间设置变换、分解、合并、串行化、并行化、添加还原点、分流和复制八种变换规则以优化数据转换过程；所述交换Swap(v1,v2)具体为：将节点v1和节点v2相互交换；设交换前ETL流程图为G(V,E)，交换后为G'(V',E')，显然V'＝V，令E'＝E，对所有的e'∈E'，且e'＝(v,v1)，v∈V，都变为e'＝(v,v2)；同理，对所有的e'∈E'，且e＝(v2,v)，v∈V，都变为e'＝(v1,v)；再将e'＝(v1,v2)，变为e'＝(v2,v1)，具体见图4。所述分解Split(v1+2,v1,v2)具体为：将节点v1+2分解为v1、v2；设分解前ETL流程图为G(V,E)，分解后为G'(V',E')，则V'＝V∪{v1+v2}-{v1+2}；令E'＝E，对所有的e'∈E'且e'＝(v,v1+2)，v∈V，都变为e'＝(v,v1)，对所有的e'∈E'且e'＝(v1+2,v)，v∈V，都变为e'＝(v2,v)，再加上边e'＝(v1,v2)，具体见图5。所述合并Merge(v1,v2,v1+2)具体为：将节点v1、v2合并为v1+2；设合并前ETL流程图为G(V,E)，合并后为G'(V',E')，则V'＝V-{v1+v2}∪{v1+2}；令E'＝E，对所有的e'∈E'且e'＝(v,v1)，v∈V，都变为e'＝(v,v1+2)，对所有的e'∈E'且e'＝(v2,v)，v∈V，都变为e'＝(v1+2,v)，再去掉边e'＝(v1,v2)；具体见图5；所述串行化Factorize(v1,v2,v3,v1+2)具体为：将处于不同的数据流中，但是类型相同的节点v1、v2合并为一个新的节点v1+2；分流和合流可以算是并行化和串行化里的一种特殊情况；设串行化前ETL流程图为G(V,E)，串行化后为G'(V',E')。

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-106491-1.html