微服务架构和安全系统设计方案

最新杂志:

摘要: 该主题分析了当前流行的分布式处理模型的特征，并总结了适合银行业务高可靠性和高安全性要求的相关机制. 设计目标服务容器平台，以实现自主，可控，低成本和可扩展的新一代面向微服务的体系结构. 设计创新的分布式服务注册中心，负载平衡组件，开发和部署解耦，并在服务模式下调用各种语言组件，提出一种虚拟化的服务总线模型，该模型可以消除中央瓶颈节点，并逐步取代现有的服务代理调用模型. 实现可持续服务治理的目标. 在云部署环境中，研究如何一致地定义基础结构，服务容器和应用程序服务的资源关系，控制更改过程，以及使用一个键和操作管理集中，自动化和部署. 大量现有的单点热备系统部署架构已顺利升级为云部署模式.

[关键词]云计算；码头工人;镜像仓库；分散式;总线;服务目录寻址；服务资产库

1行业现状和问题

该银行现有的IT体系结构无法再满足Internet高峰，低成本和高用户群覆盖以及独立可控技术的要求. 银行的传统IT架构面临以下问题（图1）: 在应用程序系统投入生产后的操作过程中，业务并发性和数据量迅速翻了一番，的操作和维护压力越来越大. 业务监督和业务创新等需求导致频繁的系统更改，因此有必要进一步缩短新业务启动和系统更改维护的计划停机时间. 新旧系统切换需要更强大的升级程序. 相比之下，大型互联网公司的系统，峰值并发可以达到百万级，大量廉价的X86平台被用来构建分布式云计算处理系统，自主研究和引入成熟的开源技术，独立可控平台软件和面向服务的构建可扩展的多层体系结构. 通过分而治之的策略，解决了用户量大，业务量大的问题. 许多银行的新一代核心系统规划，包括读写分离，业务子优化，帐户和产品分离，支付和产品分离，会计和产品分离，以及使用不同技术来构建混合平台模型，包括私有云还改善了整个系统的并发能力. 一些关键业务不再依赖特定的硬件和软件平台，而是使用开放技术构建的. 在大型银行中实施了一种更加自治分布式服务调用 安全，可控制且低成本的软件定义服务目录技术. 单个数据中心内的服务调度能力也可以达到200,000 /秒. 它还可以支持多个数据中心并行服务，两个. 三个中心的分布式灾难恢复部署要求寻址和故障转移对应用程序是透明的. 2013年，Docker技术的空前诞生再次引爆了容器技术. 它的核心价值在于隔离，封装和跨平台部署. 这使得微服务架构下的企业IT在开发，测试，操作和维护过程中更加快速和灵活. 在应用程序快速迭代的压力下，企业开始考虑基于docker容器技术，基于docker完善的工具链，下一代堆叠组件集，按需构建应用程序，迭代各种精益调整参数的下一代云转换. 和配置文件Script，如图2所示.

2个主要技术解决方案

使用虚拟化技术来实融应用程序，请提供一个可靠的模型应用程序框架以进行快速开发和调整. 多租户SAAS服务模型可以在Internet上运行应用程序服务，并建立长尾服务. 根据以上要求，设计系统的总体软件逻辑架构如下: （1）容器平台服务: 轻量级容器技术，更高的性能，更快的部署速度，运行环境的应用程序+整体打包，一次性构建，反复部署. （2）平台软件服务: 集成开源和供应商提供的各种中间件，例如: Tomcat，WAS，RDS（Oracle，mysql），MQ（ActiveMQ，Kafka），SLB（nginx，HA-proxy），构建云基准版. （3）支持开发和测试管道DevOps，云上的开发环境以及云上测试环境的服务和部署. 构建，编译，打包，镜像和部署整个流程自动化. （4）分布式微服务框架，自动注册，发现，路由，呼叫链跟踪和日志实时处理以及大量服务的分析. 高性能和可伸缩性，提供服务开发框架和微服务管理系统. 使用统一的IDE工具来集成开发，测试，服务框架和微服务管理功能具有集成，提高重用性以及团队划分和协作的优势. 研究的创新之处在于提供一种高效的地址缓存和分布式服务注册中心机制，以统一的方式管理和发布上述三层云服务. 通过管理台，可以随时随地获得各种资源状态和容错呼叫. 着重解决三个问题: 分布式准实时一致性，数亿用户的并发响应性能以及实时容错.

3下一代架构设计

使用便宜的X86群集，虚拟化管理和扩展来分发新一代的主要功能. 新架构可以水平扩展，容量和并发性不再受限制，并且系统具有容错性和可维护性. 必须平台化一些设计功能，提供安全可靠的服务容器，并避免复杂的应用程序处理逻辑；巩固满足公共需求的公共组件，以服务模式访问组件，避免组件耦合，最终减少每个应用程序系统的开发工作.

3.1分布式

新的分布式体系结构需要实现，应用程序，存储，网络和计算节点的多节点并行计算. 水平可以动态扩展，垂直可以进行分层分类和隔离. 通过全球服务总线，将服务提供商和服务使用者松散地耦合在一起；通过数据复制以防止丢失，在复制了多个数据之后，可以提供不同的服务，并且可以水平扩展服务访问功能. 提供统一的分布式服务容器平台，以支持各种技术组件和业务组件的部署和操作. 相关的服务规范由平台实施，并且组件构建项目团队仅需要注意组件的功能目标. 分布式部署后，必须使用标准化服务方法访问每个系统. 界面清晰，易于使用和调试. 服务发布和服务访问由服务容器平台配置和实现，提供了访问过程和访问的每个步骤之间关系的视图以及一致的调试日志. 查看，易于理解和维护. 该平台使用插件机制. 可以将三种类型的插件，服务代理，服务组装和服务发布部署在不同的计算节点上. 通过DRQ分布式的实时处理队列进行消息的可靠传输，提供消息排队和优先级调度机制，根据服务接口的字段配置路由，分配给不同的内部插件服务，分配给不同的服务系统的故障，而不会影响其他服务的正常处理. 提供服务降级机制以控制并发服务. 您可以为服务，目标和自定义的应用程序条目设置流控制策略，还可以根据历史成功率动态调整目标并发阈值.

3.2Ѱַ

标准化服务访问并巩固服务容器平台后，应用程序调用服务处理变得简单而高效. 该应用程序可以透明，动态和有效地找到目标服务器. 可以水平分割服务器，而不会影响消费者的通话. 这是新架构中要解决的第二个问题. 可以通过总线平台的服务代理插件配置大量服务地址，并将其固化在总线平台中. 缺点是，当服务提供商发生诸如容量扩展，服务地址切换和新服务启动之类的事件时，必须手动调整总线平台. 总线平台的扩展和容错还必须依赖于负载平衡设备. 新架构设计了寻址组件和服务目录组件，以实现基于软件的本地动态寻址. 如此大量的内部寻址要求可以避免依赖负载平衡设备和手动管理切换. 通过AGENT隔离和授权，访问ACL，黑白名单，流控制等机制，可以保证服务系统的安全性和控制性. 该体系结构建议当应用程序调用服务时，它必须至少解决两次容错问题，并确保使用唯一的全局序列号来提高成功率并避免重复处理服务. 发生不一致时，可以根据全局序列号跟踪异常. 优点是服务状态被动态注册到服务目录中，在整个数据中心内实时同步，服务使用者在本地找到服务，直接访问服务，并消除了对负载平衡设备和总线平台的依赖. 服务控制，负载平衡，资源节能调度或扩展，故障隔离，灾难恢复交换和灵活路由等功能都封装在寻址组件中，该组件更加集成和自动化. 困难在于: 需要对服务访问进行标准化，并且消费者不再关心提供商的服务协议. 必须标准化每个系统的服务访问实现，寻址，服务控制和监视注册，并且有必要转换调用寻址组件的API. 服务容量大大增加后，将给日志备份和分析，实时监控，指标统计信息以及有效的故障转移的数据量带来压力. 相关系统也必须使用分布式技术进行转换. 服务总线可以首先完成寻址转换，并且某些服务组合和条件路由仍在总线平台上实现，并且不能下沉到服务使用者. 假设将用户ID用作细分，则在水平分割服务时，消费者需要使用ID作为应用程序寻址条件字段来访问服务端. 为了跨多个用户集成事务服务，有必要独立构建一个系统来记录并保证分段的多个事务的一致性.

3.3缓存和文件

为了消除应用程序服务对数据集中访问的依赖性，有必要根据变化的频率和频率，定性地生成具有固定参数，非实时更改，动态数据和强一致性要求的记账数据. 有效要求. 对于不需要实时串行一致性的数据，请使用复制和缓存技术来提高访问效率. 通过缓存机制订阅感兴趣的数据更改，以减少网络上的广播数据量. 平台级别的所有资源配置都通过XML文件部署到操作环境，从而提供了多版本缓存加载和验证机制. 正在运行的引擎通过缓存访问最新版本的配置项. 对于应用程序级静态参数，例如: 技术参数，业务参数，自定义表达式处理，KEY / VALUE配置和缓存加载. 在可以按需动态加载新版本之后，应用程序将使用统一API来访问配置的最新版本. 对于动态数据，提供了读写缓存机制. 在服务处理过程中，根据需要动态注册缓存，并根据记录的多个版本管理数据. 巩固动态加载表和动态加载数据文件的过程. 当相关资源发生变化时，根据配置文件的定义自动完成加载缓存处理. 作为备份服务器的缓存，必须能够将数据实时备份到文件系统，以确保消息缓存的可靠性和可恢复性. 建议在具有一次写入提交，很少或没有数据更改，大量读取查询以及延迟1秒钟的更改信息的业务场景中使用缓存机制. 但是，无法更新经常更新且需要高可靠性和一致性的数据. 在分布式部署期间，文件服务还可以使用动态缓存机制将文件直接放入缓存中，并从缓存中读取文件，从而使文件的存储位置对应用程序透明.

保存文件时，需要先注册文件目录所在的动态缓存服务器，然后再写入动态缓存服务器. 读取文件时，需要先从文件目录存储地址进行寻址，然后再从相应的缓存服务器读取文件. 支持块传输和异步断点恢复客户端. 文件服务还需要通过注册在服务目录中注册. 该应用程序可以使用寻址模式来获取文件服务器地址，使用标准的发送和接收文件API来完成可靠的文件传输，还可以通过异步任务移交给客户端以完成可靠的文件. 传播. 传输API根据配置选择是异步编写备份服务器还是异步编写备份服务器. 通过将文件配置为两次写入，如果读取失败，则备份服务器将尝试再次读取文件，以提高文件读取和写入的可靠性. 分布式哈希表DHT是当前主要的分布式存储方法. 它可以在不需要服务器的情况下组织松散的P2P网络结构，并使用各种资源来形成的数据共享服务. 对于动态数据缓存和文件数据缓存，使用了更成熟的一致性HASH算法和KAD算法. 论文“ ConsistentHashingandRandomTrees: DistributedCachingProtocolsReliefHotSpotsonWorldWideWeb”首次提出了一种一致的哈希算法（ConsistentHashing），该算法可以实现资源的均匀分配和线索的快速搜索.

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/tongxinshuyu/article-250505-1.html