Teradata数据仓库技术架构及方案

用于衔接内存metadata和持久化元数据镜像fsimage之间的操作日志（edits文件）（当客户端对hdfs中的文件进行新增以及设置操作，操作记录首先被计入edits日志文件中teradata 数据仓库，当客户端操作失败以后，相应的元数据会升级到存储meta.data中）使用“微架构”就是把仓库平台产品的管控库存跟查询库存分为两个应用分布独立推进，这样就可以按业务服务能力推进应用多个查询应用，一个管理应用显然，『以微服务构架实现的高性能移动互联网云计算架构』论文，依据服务千万终端运行的真实数据为验证方法探讨说明，正是通过对后端服务的系統日志进行探讨研究，取得了初步的研究成果后，才有了此篇论文中对于移动应用前端的设计与实际应用进行的深入探讨

出错处理与回溯模块ETL控制数据 Teradata 临时数据区 数据区 获取 (DS) 转换 (DS) 加载 清洗、转换 和计算 数据升级 和生成 多维数据 生成/数据 输出 OLAP Cube 数据源 确认、映射 DW Automation任务调度与控制 数据质量检测 数据质量自检 ETL)接口数据 数据流 流程控制 数据质量检测实施框架 Dat RulesEngine 记录级检查 Staging Area Warehouse业务指标级检测 业务指标级检查 数据服务层 作为本平台的数据核心部分，负责传输跟管理来自各类源数据平台的数据，并为访问客户提供数据服务。 采用Teradat a的Ter adat a关系型。 设计(Desi gn) ：逻辑数据模型( LDM) 和物理数据 模型( PDM) ，同时也包含维护跟管理数据建模各个 版本的过程与技巧。工具是ERWi n。LDM采用 Ter adat a的FS- LDM作为设计的基础。 存储(St ：数据存储模式是数据仓库引擎Ter adat a并且Ter adat 5400MPP硬件平台组 数据仓库基础物理数据建模：用于储存各种业务的基础数据； 数据仓库汇总数据建模：用于储存各种业务的汇总数据数据； PDM CDL EDW 数据服务层 Ter adat 多维数据核心 个贷 信贷 财务 营销 其他 ETL 服务器 St age ETL Reposi PDM应用数据区VA,CRM, ALM 或应用Reposi 应用平台Teradata 多维数据 主机 主机 中间中间 代理 代理 信贷 信贷 电子 电子 ETL服务器 临时数据区LTemp ETL Repository: LETL 数据区LData 中间结果收集系统数据区 应用数据区: VA,CRM, ALM 或应用Repository应用平台 其他 报表查询 Metadata Repository 报表查询 Met adat 数据服务层与后端应用的关系后面服务层 向客户提供包含OLAP服务、报表服务、查询服务、数据挖掘服务和中间件服务等多种服务应用。

任何mde文件中的表、查询、数据访问页或宏都可导出到其它access中，但是窗体、报表跟组件不能导入到其它access中（ ）a)．应用层b)．业务逻辑层c)．数据访问层d)．通讯层在hibernate查询词语中，除了____和____外，查询词语中其它的都是大小写不敏感得到（abc ）a)．应用层b)．业务逻辑层c)．数据访问层d)．通讯层在hibernate查询词语中，除了____和____外，查询词语中其它的都是大小写不敏感得到

类加载器的双亲委派机制：当一个类收到了类加载请求，他首先不会尝试自己去加载这个类，而是把这个请求委派给父类去完成，每一个层次类加载器都是如此，因此所有的加载请求都需要传送到启动类加载其中，只有当父类加载器反馈自己能够完成这个请求的之后（在它的加载模式上没有找到所需加载的class）teradata 数据仓库，子类加载器才会尝试自己去读取目 录第1篇 入 门 篇第1章 tuxedo概述 21.1 什么是 tuxedo 系统 21.2 tuxedo 的历史及演进 21.1.1 tuxedo的产生 31.2.2 tuxedo 的发展 31.3 tuxedo 支持的系统 51.4 tuxedo的技术架构 61.4.1 客户机/服务器模式 61.4.2 tuxedo atmi体系结构 101.4.3 tuxedo corba体系结构 131.4.4 atmi与corba对比 171.5 tuxedo 系统的关键特征 171.5.1 名字服务跟位置透明性 171.5.2 强大的c/s通信能力 171.5.3 强大的联机交易性能 181.5.4 强大的分布式事务协调能力 181.5.5 完善的负载均衡模式 181.5.6 数据依赖路由 181.5.7 请求的优先级 191.5.8 容错和透明故障迁移 201.5.9 安全性 201.5.10 开放性和易用性 201.5.11 先进的组织架构 211.6 tuxedo 与其它产品横向与竖向的非常 211.6.1 cics 简介 211.6.2 tuxedo 和 cics 的对比 22第2章 tuxedo的简洁安装和运行 242.1 安装前准备 242.1.1 检查软件包 242.1.2 必备的硬件跟工具 242.1.3 如何获取安装介质及文档 242.1.4 tuxedo许可证 242.2 快速安装 252.2.1 tuxedo环境要求 252.2.2 内核参数的微调 252.2.3 进行tuxedo安装 252.2.4 兼顾需要license的版本 282.3 部署应用 292.3.1 修改配置文件 292.3.2 加载配置文件 292.3.3 启动tuxedo 302.3.4 相关的日志文件 302.4 编译和运行 302.4.1 编译程序 302.4.2 运行程序 312.5 卸载tuxedo 31第2篇 基 础 篇第3章 oltp基本知识 343.1 三层或多层c/s架构 343.2 事务的概念 353.2.1 什么是事务 353.2.2 什么是全局事务 353.2.3 xa规范 363.3 ipc机制简介 373.3.1 命名管道 373.3.2 消息队列 373.3.3 信号量 383.3.4 共享存储 383.3.5 ipc资源相关的操作系统内核参数 38第4章 tuxedo的基本概念 394.1 域domain 394.1.1 域的概念跟范围 394.1.2 为什么要使用域 394.2 逻辑机器machine 394.2.1 machine的概念跟范围 394.2.2 为什么使用machine 404.3 服务器组group 404.3.1 组的概念跟范围 404.3.2 为什么应使用组 404.4 服务进程server和服务service 404.4.1 什么是server和service 404.4.2 server和service的关系 404.4.3 服务进程中的主要变量 414.5 tuxedo通信方式综述 414.5.1 请求/应答式通信 414.5.2 会话方式tpsend/tprecv 454.5.3 通知广播tpnotify/tpbroadcast 474.5.4 事件代理tppost/tpsubscribe 494.5.5 队列存储tpenqueue/tpdequeue 504.6 tuxedo多机部署 524.6.1 tuxedo集群 524.6.2 及多套tuxedo应用之间的通信 524.7 tuxedo远程客户端 524.7.1 什么是远程客户端 524.7.2 wsl/wsh配置与工作机制 534.7.3 java远程客户端接入jolt 54第5章 tuxedo主要的目录结构 575.1 总体目录结构分布 575.2 可执行文件表明 575.3 提要系统目录udataobj 585.4 c语言头文件和库 58第6章 tuxedo配置相关文件 596.1 几个关键环境变量 596.2 系统配置文件ubb及其内容 606.2.1 *resources 段的配置 616.2.2 *machines段的配置 626.2.3 *groups段的配置 636.2.4 *network段的配置 636.2.5 *servers段的配置 636.2.6 *services段的配置 646.2.7 *routing段的配置 646.3 域配置文件dmconfig及其内容 656.3.1 域简介 656.3.2 tuxedo域划分原则 656.3.3 域的功能 666.3.4 tuxedo domain的配置 666.4 日志文件ulog 67第3篇 实 施 篇第7章 tuxedo应用的推进机制 707.1 单机shm模式 707.2 多机mp模式 727.3 多域模式 777.4 各种方式的非常 817.5 tuxedo与多种平台连通 837.5.1 与其它平台的互联概要 837.5.2 经典的wtc 837.5.3 jca adapter新特性 88第8章 tuxedo常用的管理操作 908.1 启停tuxedo应用 908.1.1 相关应用环境 908.1.2 启动tuxedo应用 928.1.3 停止tuxedo应用 928.2 管理和监控 938.2.1 一般管理监控tmadmin 938.2.2 域管理监视dmadmin 968.2.3 队列管理监控qmadmin 978.3 动态配置tmconfig 1058.3.1 概述 1058.3.2 配置tmconfig运行环境 1058.3.3 tmconfig常用操作 1068.4 tsam 1078.4.1 tsam简介 1078.4.2 tsam安装 1078.4.3 tsam配置 1128.4.4 tsam监控 1138.4.5 tsam监测预警 1148.5 高可用性 1158.5.1 高可用性概述 1158.5.2 高可用性详细探讨 1168.6 tuxedo如何打补丁 1188.6.1 备份 1188.6.2 补丁更新 1188.6.3 重启应用 119第9章 如何用好全局事务 1209.1 什么是全局事务 1209.2 本地事务的优缺点 1209.3 tuxedo对事务的控制与管控 1209.4 常用事务相关的变量 1219.5 连接 1229.5.1 tms介绍 1229.5.2 xa模式与no-xa模式 1239.5.3 tuxedo与各种的联结 1239.6 全局事务的使用规则 1249.6.1 谁发起谁结束 1249.6.2 不禁止嵌套 1259.6.3 处理好超时 1259.7 事务挂起的问题 125第10章 tuxedo性能调优 12710.1 目标描述 12710.2 调优独立的tuxedo服务 12710.3 将相同的tuxedo服务分组到一个server 12910.4 调整server数量 13110.5 fml性能 13410.6 额外的功耗参数 13510.6.1 多个wsh连接 13510.6.2 关闭wsl / wsh加密 13610.6.3 打开wsl / wsh压缩 13610.6.4 机器类型 13610.6.5 spincount 13610.6.6 去掉授权和审计安全 13710.6.7 关闭多线程处理 13710.6.8 关闭xa事务 137第4篇 诊 断 篇第11章 tuxedo监控 14011.1 监控tuxedo应用的方式 14011.2 可以监控的平台跟应用数据 14111.3 使用管控控制台监控应用 14111.4 使用命令行方式监控 14111.5 使用eventbroker监视应用程序 14111.5.1 相关api介绍 14211.5.2 相关实例参考 14311.6 使用mib监视应用程序 14411.7 使用日志文件来监控 14711.7.1 tuxedo日志的分类 14711.7.2 tuxedo事务日志 14711.7.3 tuxedo客户日志 149第12章 服务core dump分析 15112.1 什么是服务core dump文件 15112.2 什么状况可以避免core dump文件生成 15112.3 服务器core dump文件探查 15112.3.1 检查系统环境以确保core dump生成 15212.3.2 保存core文件 15212.3.3 找到core文件并使用其探测错误原因 15312.3.4 探查错误的症结 15412.4 core dump成因案例 15712.4.1 为strings分配很少的存储 15712.4.2 使用已经释放的存储 15812.4.3 在scanf调用丢掉& 15812.4.4 用非法的参数调用函数 15812.4.5 没有分配内存给指针 15812.4.6 没有初始化变量 15812.5 错误信息的意义 15812.5.1 总线错误 15912.5.2 内存错误 15912.5.3 i/o陷阱 15912.5.4 跟踪/bpt陷阱 15912.5.5 浮点异常 16012.5.6 分段错误 16012.5.7 非法命令 160第13章 异常高cpu占用率故障 16113.1 异常高cpu占用率 16113.2 异常低cpu占用率的伴随症状 16113.3 异常高cpu占用率探查 16113.3.1 探查概述 16113.3.2 初步探查 16213.3.3 进一步追踪 16213.4 异常低cpu占用率故障排除策略 165第14章 常规服务器阻塞故障 16614.1 确认是服务器阻塞 16614.2 服务器阻塞的或许理由 16614.3 服务器阻塞的探查 16614.3.1 solaris 16714.3.2 linux 17014.3.3 aix 17114.3.4 hp-ux 17214.3.5 windows 17314.4 故障排查台账 17514.5 进程挂起例子分析 17514.5.1 进程挂起在sleep循环中 17514.5.2 进程仍然等待查询大数据 17514.5.3 死锁：不同server中的服务互相调用 175第15章 内存不足和内存泄漏故障 17715.1 问题表述 17715.2 问题诊断 17715.2.1 进程地址空间及物理内存的区别 17715.2.2 为什么这个问题会出现 17715.3 问题探究 17815.4 分析与测试存储泄露 17915.4.1 监控进程虚拟内存大小 17915.4.2 隔离应用程序来追踪内存泄漏 18315.4.3 隔离应用服务 18415.4.4 隔离应用的组织机构的库/代码 18415.5 内存分析软件 18415.5.1 memwatch 18415.5.2 purify 18515.5.3 valgrind 18615.5.4 insure++ 18615.6 常见的内存泄漏的诱因 18715.6.1 非成对使用tpalloc/malloc与tpfree/free 18715.6.2 重写指针 18715.6.3 c库函数的bug 188第16章 与全局事务xa相关的故障 18916.1 问题表述 18916.2 通过配置让tuxedo 支持事务 18916.2.1 配置 tuxedo xa 18916.2.2 创建事务管理器和xa服务器 19016.2.3 xa-openinfo 字符串 19116.2.4 tms服务器 19216.3 运行时问题 19316.3.1 调用tx_open 或tpopen 失败 19316.3.2 启发式失败 19316.3.3 xa_start 返回xaer_rmerr 19316.3.4 xa_start= -9 问题 19416.3.5 oracle tms挂起错误 19516.4 xa跟踪 19516.4.1 tmtrace 19516.4.2 dbgfl 196第17章 ipc相关故障 19817.1 tuxedo使用的ipc 19817.1.1 信号量 19817.1.2 消息队列 19817.1.3 共享存储 19917.1.4 tuxedo 使用的ipc资源 19917.1.5 定义ipc限制 19917.2 ipc设置 20017.3 ipc命令 20117.3.1 ipcs 20217.3.2 ipcrm 20217.3.3 tmipcrm 20317.3.4 ipc 清除脚本 20417.3.5 bbsread 20417.4 ipc常见疑难问题 205第18章 一般网络故障 20718.1 防火墙及防火墙相关故障 20718.2 网络状态查询netstat 20718.3 网络链路追踪 20818.4 其他网络软件 21018.4.1 ping命令 21018.4.2 telnet命令 21118.4.3 ifconfig 21218.4.4 ipconfig 21218.4.5 网络压缩 21318.5 tuxedo多机架构 21318.5.1 tuxedo mp应用的注意事项 21318.5.2 负载均衡网络应用程序 21318.5.3 常见问题 21418.5.4 用tmadmin监控 21518.6 tuxedo的多域架构 21718.6.1 dmconfig 常见配置问题 21818.6.2 使用dmadmin监控domain 21818.7 故障分类排除 21918.7.1 tuxedo mp应用 21918.7.2 tuxedo domain应用 220第19章 wtc和jolt支持模式 22119.1 重温什么是wtc和jolt 22119.1.1 概述 22119.1.2 weblogic txuedo 连接器介绍 22119.1.3 jolt介绍 22119.2 什么导致wtc和jolt故障 22219.2.1 jolt和wtc问题主要的两种方式 22219.2.2 选择适当技术：jolt vs wtc 22219.2.3 引发jolt和wtc错误的主要因素 22219.3 wtc和jolt相关故障的病症及缓解方法 22319.3.1 jolt常见难题及缓解方法 22319.3.2 wtc常见问题及解决方式 22519.4 wtc和jolt故障排查清单 22619.4.1 wtc故障排除步骤 22619.4.2 jolt故障排除步骤 226第5篇 高 阶 篇第20章 tuxedo的cobol编程 22820.1 运行环境配置 22820.1.1 tuxedo cobol数据记录类别 22820.1.2 如何使用fml 数据类别 23320.1.3 tuxedo cobol客户端编程 23620.1.4 tuxedo cobol服务器端编程 23820.2 tuxedo下使用cobol编程与c语言编程的异同 24520.3 使用cobol编写tuxedo程序的局限性 24520.3.1 fml支持的局限性 24520.3.2 cobol语言编译的局限性 24520.3.3 开发人员规定比较低 24620.3.4 错误处理开销 24620.3.5 数据种类的使用相对有限 24620.4 tuxedo下cobol与c语言的混合编程及组件集成 24620.4.1 混合编程规则 24620.4.2 cobol调用c 24720.4.3 c调用cobol 249第21章 基于tuxedo对大机应用的迁移——art 25121.1 art简介 25121.2 application rehosting workbench作业运行环境 25121.2.1 关键特征 25121.2.2 优点 25121.2.3 流程简介 25221.2.4 详细流程 25221.3 art for cics作业运行环境 25521.3.1 关键特征 25521.3.2 优点 25521.3.3 流程简介 25621.3.4 详细流程 25621.4 art for batch 作业运行环境 25921.4.1 流程简介 25921.4.2 详细流程 260后记 264类的加载是由类加载器完成的，类加载器包含：根加载器（bootstrap）、扩展加载器（extension）、系统加载器（system）和用户自定义类加载器（java.lang.classloader的泛型）

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-132606-1.html