云南某重点单位
云计算云机房建设
技术方案
作者：码斯科
7.14. 设备关机搬迁前准备工作 108
第 8 章 云计算中心的容灾设计......... 109
8.1. 数据备份...................... 115
8.2. 备份设计保护.................. 117
8.3. 数据容灾...................... 119
第 9 章 云中心一期建设规划...................................... 错误！未定义书签。
9.1. 一期建设内容............................... 错误！未定义书签。
9.2. 计算资源与存储资源需求估算............................... 错误！未定义书签。
9.2.1. 计算资源需求估算........................... 错误！未定义书签。
9.2.2. 存储需求估算........................... 错误！未定义书签。
9.3. 云计算一期部署架构............................... 错误！未定义书签。
9.4. 一期系统配置清单............................... 错误！未定义书签。
第 1章 项目概述
1.1.
建设背景
过去几十年，信息化经历了大型机时代的终端 -主机模式（ T-S 模式），个人 PC 时代的客户机 -服务器模式（ C-S 模式），发展到互联网时代的浏览器 -服务器模式（ B-S 模式）。在过去的二十年里，互联网将全世界的单位与个人连接了起
来，实现了资源共享，这也深刻地影响着各种业务形态及每个人的日常生活。新
时代里，用户对互联网内容的贡献和互动空前增加，软件和资源更多地以服务的
形式通过互联网被发布和访问， ―像用水用电一样使用 IT 资源‖这种新时代的服务模式对云机房的建设有了更高的要求，决定了传统的云机房建设模式和方
案不再能满足新时代创新应用的需求，导致了新老技术的整合、成熟和创新，这
就是―云计算
‖技术。云计算并不是突兀出现的，云计算是在现有 IT 技术和业务应用基础上的升华，也是社会分工的必然。
中央关于推进信息化与工业化融合、加快信息化建设等重大战略决策的贯彻落实，为云计算技术发展创造了良好的环境。同时，云计算技术正进入新的发展
时期，展示了云计算技术与应用发展的广阔前景。根据 XXX 部、省厅对 XXX科技信息化发展部署要求，下一代的 XXX 云机房要以云计算为核心技术，响 应国家节能减排号召，减少 XXX 科技信息化硬件重复投资，增强云机房的运
维安全管理，建成高科技、高可用的新一代云机房。
随着 XXXXXX 东迁以及新指挥大楼建设，和当前打防管控工作的需要，我们越来越迫切的需要一个采用云计算架构的云机房，以实现全局 IT 资源的大
整合，实现各 XX 云机房的大集中，实现管理人才的合理利用。同时充分利用云计算的高性能、高可用、高扩展的优势，为打防管控核心应用数据仓库和一网
控图综平台提供强大的硬件基础设施，将为全市 XXX 业务工作的开展提供更加有力的支持和保障。
1.2.
面临的风险和挑战
XXXXXX 现有云机房机房，管理着全市综合查询、执法办案、移动警务等各种全局性应用。由于近几年信息化要求不断提高以及信息化建设投入不断增加， XXX 工作对各种信息化系统的依赖不断加强，各项工作的紧迫性和连续性
较高，因此任何情况下， XXX 系统云机房的运行都必须保持畅通、不间断。
但目前
XXXXXX 云机房的状态离畅通和不间断运行还有一定差距。基于原有的云机房架构和运维模式，使得要实现以上两个基本要求需要投入大量的
建设和维护资金，主要表现在以下几个方面：
（1） 资源浪费严重
基于原有的建设和运维模式，各单位为了满足自身的信息化建设需求，各自采购服务器、存储、安全等硬件设备，但是由于自身的应用和硬件提前量的储备等原因，造成设备的处理能力留有很大余地，重复投资造成了极大的资源浪费。
同时，各应用系统的服务器工作负载不一，服务器资源不能被合理、有效利用，多数服务器工作负载较轻，只有极少数服务器负载较高，由于基于原有的硬件部署方式无法对资源进行共享和调配，做到资源合理有效利用，造成了的设备资源浪费，能耗高，占用机房面积大，管理繁杂并且故障率极高。
（2） 面对需求部署响应缓慢
目前 XXX 信息化进度非常迅速，对应用系统的部署及对时间和灵活性要求越来越高，系统越早日投入运行越能尽早发挥其效力，但原有的硬件资源部署方
式沿用按需采购，随用随买的方式，需要复杂的审批流程，面临各种不确定因素；硬件到位后还需要进行安装、调试、系统部署等工作，整体过程复杂，重复劳动 大大降低了系统部署效率。
（3） 应用和数据没有安全保障
XXX 系统的应用多是基层民警、各业务部门进行 XXX 工作的基础信息化工具，经过常年的建设和使用，积累了基于实战应用的规范化工作流程和大量丰富
完整的数据，
XXX 工作逐渐形成依托信息化的模式，因此对应用系统稳定不间断运行和数据安全保护有着极高的需求。
但目前的建设方式中由于资金和原有建设模式的限制，各种应用系统的服务器等都缺乏基于应用的备份机制，所部属的服务器等硬件一旦发生故障需要维护时，应用系统都要进行停机维护，无法保证关键业务的不间断运行，还要承担数据丢失的风险。
（4） 云机房迁移需要周密的解决方案
目前市局新办公大楼在建，云机房即将面临东迁，大量的数据、应用、网
络需要重新部署。由于近几年所使用的软硬件产品多，涉及到的供应商也很多，
重新部署所有的应用技术难度很高，既要保证业务的连续性又要保证数据的安全 性，还有很多不可预见的因素，这些问题都需要提前做出评估并且提出解决方案。
随着 XXXXXX 东迁日期的临近，局里的所有信息系统的迁移也提上了日程。另外 XXXXXX 面还没有灾备中心，如果中心机房发生长时间停电等意外事故， 那么上述应用系统就停止服务，进而影响济南市 XXX 系统业务的正常开展。 XXXXXX 的信息化平台必须实现应用与硬件的松耦合、资源动态配置和扩展、 自动化管理、高可用和数据安全，而云计算技术正是实现这一共享硬件平台的必
要的和可行的技术和工具。因此，云计算平台建设势在必行。
1.3.
建设目标
依托云计算技术，对 XXX 业务系统实行统一规划和建设。所有资源整合后在逻辑上以单一整体的形式呈现，并可按需进行动态扩展和配置。按照分阶段可
升级的标准要求，为多级单位提供应用支撑基础平台服务和数据存储、容灾、交 换等服务，实现基础软硬件资源的统一管理、按需分配、综合利用，增强数据中 心的可管理性，提高应用的兼容性和可用性，加速业务系统的部署，提升硬件资
源的利用率，降低各级单位系统建设成本和日常运行维护成本，降低能源消耗，
逐步形成以 “XXX 内网、 Internet 互联网、图像专网、 XX 业务专网 ”四网为基础；以“存储平台、网络平台、安全平台、应用平台、管理平台 ”五平台为依托；等
各部门业务应用为重点；以 “满足云机房基础设施
15 年规划和应用系统规模
增长 3 年需求 ”为目标的四维 XXX 云计算平台，为济南市 XXX 工作提供全面、合理、快捷的服务。
1.4.
建设原则
结合本项目的实际应用和发展要求，在进行云计算平台方案设计过程中，应始终坚持以下原则：
（1） 可扩展性原则
为了保护已有的投资以及不断增长的业务需求，系统必须具有灵活的结构并留有合理的扩充余地，以便根据需要进行适当的变动和扩充；主要业务平台系统应采用开放的结构，符合国际标准、工业标准和行业标准，适应技术的发展和变化。由于本次市局信息系统整体东迁，相当于系统重新规划和建设，所以我们把主要精力放在满足现有业务需求和对未来的系统扩展的支持性上，也就是需要设计成一个便于扩展的系统架构，系统应具备良好的扩展能力并能够便捷地进行扩展。
（2） 合理性原则
在一定的资金条件下，以适当的投入，建立性能价格比高的、先进的、完善的业务系统。所有软硬件的选型和配置要坚持性能价格比最优原则，同时兼顾与
市局已有设备和系统的互联互通能力，以及与目前操作系统和应用系统的兼容性。在满足系统性能、功能以及考虑到在可预见的未来不失去先进性的条件下，尽量
取得整个系统的投入合理性，以构成一个性能价格比优化的应用系统。系统架构 的设计应尽可能地运用虚拟化、云计算等新技术，以符合未来的技术发展方向。 这种设计方法可以最大化地利用投资，并在利用率、管理、能源等各方面提高用
户投资的效率，降低总体拥有成本，减少浪费的发生。
结合新技术的运用，也可以让各应用系统更好地融入未来整体 IT 建设规划中，避免发生推到重建的现象，从而更好地保护市局在信息系统上的投入。
（3） 可靠性原则
系统要具有高可靠性及强大的容错能力。该系统必须保证 7×24 全天候不间
断地工作，核心设备比如数据库服务器和存储设备具有全容错结构，并具有热插 拔功能，可带电修复有关故障而不影响整个系统的工作，设计应保持一定数量的
冗余以保证整体系统的高可靠性和高可用性。即便是在系统建设初期也要着重考 虑系统可用性、可靠性问题，防止出现系统停顿等问题造成信息系统的中断服务。通过结合云计算等新技术，可以更好地提高系统的可靠性和可用性。
（4） 可管理性原则
选择基于国际标准和开放的技术，采用标准化、规范化设计；同时采用先进的设备，易于日后扩展，便于向更新技术的升级与衔接，实现系统较长的生命力；保证市局在系统上进行有效的开发和使用，并为今后的发展提供一个良好的环境；
在设计、组建中心机房系统时，采用先进的、标准的设备；在选购服务器、存储和连接设备时，选用同一家公司的系列产品，确保系统部件间的严密配合和无缝联接，并获得良好的售后服务和技术支持；整个系统建成后按照整理一套完整的文档资料，以便提高整个系统的可管理性与可维护性。
（5） 安全性原则
严格按照国家关于信息安全的规定和要求，规划和部署中心机房的业务系 统和灾备系统；采用防火墙、安全服务器、内外网隔离系统、系统备份还原系统、业务数据备份系统、容灾系统来防止内外部的网络安全威协和数据丢失窃取威胁
等；监视网络病毒的活动，防止病毒和木马的破坏。安全产品必须通过国家安全 机构认证，确保系统和数据的安全。
1.5.
云计算平台优势
通过建立
XXX 云计算平台，通过服务的方式交付对物理硬件的需求，代替传统硬件设备跟随着应有系统的增加而增加的模式，对现有应用系统进行整合，实现 IT 服务的快速交付，节能响应国家号召，提升业务系统安全。
1、合理利用硬件资源，减少运行消耗
云计算平台可将服务器物理资源转换成池化的可动态分配的计算单元，从
XXX 业务具体需求出发，在资源池中划分出适合具体业务需要的服务计算单元，不再受限于物理上的界限，从而提高资源的利用率，简化系统管理，让信息化建
设对 XXX 业务工作的变化更具适应力，从而构建出信息系统平台的基础。
云计算建成后，可减少物理服务器数量至原有数量的一半以上，机房空间占用面积大大减少，机房相应配套设施建设也可能够相应减少，在实际工作中预计可节省能源达到 70%以上，响应国家节能减排的要求。
2、增强业务部署速度，提高即时响应能力
云计算能够对 XXX 业务系统提出的建设需求做到快速响应、快速部署，部署更新工作时间由原来数天或数星期缩短为只需几分钟即可完成。如果总资源池中的硬件计算资源告急，只需要添加相应的物理服务器，简单的将新购的服务器部署到资源池集群中，云计算会根据整体资源池的动态资源平衡来自动分配新增加的计算资源给应用程序，真正的实现新服务器的即插即用。
3、完善应急安全机制
云计算可以自动监控资源池中计算单元和应用单元的可用性，检测物理服务器故障，如果检测到故障，可重新在资源池中其他物理服务器上重新启动相关业务，整个过程无需人工干预。
通过专线光纤将同城异地的两个云计算连接起来，既可形成一个稳定的基于云计算技术的容灾系统。可以实现应用级数据备份和业务系统的应用级容灾，容灾系统切换时间可以实现分钟级，并且能进行容灾演练操作。
4、提供便捷的管理运维方式。
云计算可以通过一个统一的管理平台，来进行对平台中运行的各项 XXX 业务设立不同权限的管理账号，根据工作需要设置不同的管理权限，并可通过其管
理日志追溯操作过程。还可以通过在平台上安装第三方安全软件的方式，一次性解决平台内所有计算单元的病毒防护、木马查杀、补丁升级等工作。
第 2章 需求分析
2.1.
现状分析
目前，市局的业务规模已经发展得非常庞大，信息化平台已日益变成业务运营与管理的重要支撑平台。在信息化平台建设的过程中，各个应用系统的业务之间的联系非常紧密，流程自动化程度非常高。因此在信息化高速发展的形势下，急需形成统一完备的综合技术集成体系，能提供一体化的数据存储共享，应用集成和统一展现能力。随着信息化建设和应用工作的进一步深入，对信息网络传输能力，云机房存储能力和处理能力提出了更高要求，为支撑流程集成和业务应
用的深入融合，需要提供统一高效的流程处理能力，消息转换能力以及数据交换能力；需要建立和完善我局统一的综合技术平台体系，涵盖数据采集，存储，共享，交互和展现能力。各大应用系统也都存在不同的技术标准，没有建立标准的统一编程模型，系统尚存在功能单一，开放性与扩展性较弱的特点。
通过对服务器硬件的现状了解，目前应用系统服务器表现为品牌及型号繁多，且购置年代和配置都存在一定的差异。随着业务规模的发展，应用系统的数量不
断增加，硬件设备也在不断增加，机房建设、相应配套设施成本在不断增加，系 统升级、硬件维护等运维管理的工作量和难度逐步加大。而且，应用系统与底层 硬件之间形成了 ―竖井‖结构，软硬件之间的紧耦合关系导致资源利用率和效率降低，无法满足业务快速增长所需的高可靠性。通过对应用情况调研结果的分析， 发现现有 PC 服务器 CPU 和内存的使用率不高，空余的资源得不到释放，并且故障率高，系统得不到有力的保障。存在的主要问题可以归纳为：
服务器的物理分布不集中，各个部门科室都有自己独立运行的服务器。
服务器系统的环境比较复杂，表现为设备数量多，故障点多，产品不统一，缺乏规范性，运维管理的工作量和难度大。
各个系统重复投资和建设，建设成本高，技术上没有统一规范和标准。没有实现资源共享，服务器资源使用率低，难以集中管理和使用。
不能根据实际需要和业务变化动态调整资源和快速扩展，系统的灵活性和扩展性差。
部分服务器存在单点故障隐患。有些服务器的高可用性配置不合理，造成资源闲置状态和成本过高。
高性能服务器占大部分，有极小部分服务器处于淘汰的边缘。
机房建设， UPS 等相应配套设施，服务器耗电，机房制冷等费用不断增加。
通过调研发现现阶段的设备采购通常是由业务系统提出相应的需求，以业务系统为核心进行项目建设过程中完成硬件设备采购，此类采购方式存在以下缺陷：
1. 业务开发人员通常难以准确预估实际的负载增长率及突发情况，为保守起见通常都会在硬件资源申报的过程中留有较高的裕量势必会造成资源浪费。
2. 硬件采购跟随各业务系统的上线或变更，呈离散状态递增，难以实现统一规划与管理。
2.2.
总体建设需求
针对现有应用系统与底层硬件之间存在的 ―竖井式 ‖结构，需要根据海量数据处理、实现应用弹性、构建多活云机房等关键技术的发展，渐进式的对基础架
构进行全方位规划。市局现有的服务器、网络、存储、终端需要根据云计算平台 的发展需求，对硬件资源进行动态的统筹划分，充分发挥了现有硬件的整体效能，以满足云计算平台的发展需要。目前市局的基础架构包括了传统的物理服务器平
台和部分虚拟化平台，从调研结果分析来看，在过渡到云计算平台时，传统的基 础架构已不能完全满足业务发展需求，急需建立一套先进的云计算平台，以提升 应用系统灵活、快速适应管理变革和流程化的能力，提高信息展现能力。
XXXXXX 云计算将根据 XXX 行业的特殊性，按照业务划分将整个网络体 系架构分为四个子网（ XXX 内网、图像专网、互联网、业务 XX 专网）。在四个完全物理隔离的子网之上划分了四个子云，各子云间利用管理网将各子云进行
统一的管理。
云计算平台建设完成后，业务系统将作为云中的资源使用者，在出现新业务上线或资源瓶颈时，只需提供相关需求和申请即可在较短时间内获取相应资源，而无需复杂的硬件采购流程。而云资源的整体管控、审批则有专门的团队予以负责，配合相应的云资源调度及仿真系统，最大限度提升 IT 敏捷性。
2.2.1. 网络系统
云机房建设是信息化的核心之一，正因如此，在做服务器部署以及网络架 构设计时都需要缜密的规划与设计。由于多层结构、安全区域、安全等级、策略 部署、路由控制、 VLAN 划分、二层环路、冗余设计等诸多因素，使得传统数据中心在网络架构设计上都是比较复杂的，这就导致云机房基础网络的运维和管
理难度非常高。因此，为了解决网络架构设计复杂、运维和管理难度高等问题， 以及完善网络架构，需结合现有的数据通信网络架构，在接入层使用云网络构建 高效可用的状态化网络的同时，优化了网络资源的使用。同时，在云网络架构上，通过集成云网络安全，还可以将传统网络中离散的安全控制点整合进来。在云计 算网络平台上，使用一体化交换技术同时实现远程存储、远程并行计算处理和传 统数据网络功能。最大化实现各种网络资源的整合，从而便于实现跨平台的资源 调度和虚拟化服务，提高投资的有效性，同时还降低了管理成本。云网络架构以 虚拟化的方式实现各类服务的资源调用，在云计算网络中就可以实现虚拟防火墙、虚拟入侵检测系统、虚拟负载均衡器、虚拟 VPN 网络⋯⋯等等，从而实现网络智能服务的虚拟化。
2.2.2. 运维监控管理与安全防护
现有 IT 集中运行监控系统已实现对服务器、网络、安全设备、各类事件的集中监控，但目前未能有效实现云计算平台各项监控及管理，需进一步扩展并分 层提供云计算平台监控管理模块。充分结合现有信息安全防护体系规划要求，坚
持信息安全与信息化建设同步规划，同步建设、同步投入运行的原则，从安全组 织、安全管理、安全技术方三个方面，建立体现深度防护战略的云安全防护保障。
云安全平台可以为虚拟云机房和云计算环境提供全方位保护 —
主机、网络、应用程序、数据和端点。确保对在基于虚拟化的云上部署的所有应用程序都实施 正确的分段和信任区域，提供立体的安全保护主机和虚拟机的安全。通过与云终
端相互集成，云安全防护体系可以为虚拟终端和应用程序提供更有效的防病毒和 防恶意软件保护。它将防病毒和防恶意软件功能从各个虚拟机卸载到用于保护主 机及主机上的所有虚拟机的安全虚拟机上。极大地简化了安全管理的过程，加强
了对防病毒、性能瓶颈和僵尸网络攻击的防范。
2.2.3. 应用主机及资源分配
目前，应用主机环境比较复杂，表现为品牌及型号繁多，涵盖主流的国内外 服务器厂家，且购置年代和配置都存在一定的差异。此类硬件产品的不统一将无 法保证云计算基础架构平台的规范性，随着业务发展，应用系统不断增加，系统 升级、硬件维护等运维管理的工作量和难度逐步加大，带来机房空间、电力及管 理运维的成本呈直线上升，而且，应用系统与底层硬件之间形成了死板的一一映 射关系，软硬件之间的紧耦合关系导致资源利用率和效率较低，无法满足业务增 长所需的敏捷性。通过对应用情况调研结果的分析，处理器和内存的平均使用率 为 11.59%和 36.30%，由此可见，系统的灵活性和扩展性有待大幅提升，而市局通过构建统一的云计算平台可以充分利用了现有成熟的服务器虚拟化技术、存储 虚拟化技术以及网络虚拟化技术，由分散的硬件更改为虚拟化的共享资源池，共 享资源包括服务器、存储和网络。通过虚拟化所有 IT 资源，可以提高资源利用率和针对高优先级应用程序进行动态资源分配。让原有的陈旧系统或应用焕发出
新的生命。
2.2.4. 数据存储
在市局现有数据存储环境中，存储品牌、型号繁多，各应用系统对存储空间占用量较大，但这其中难免存在对应用系统磁盘空间过量划分的情况，同时缺少一种有效的手段对存储内的资源进行监控、回收及优化。从部署存储部署架构看来，虽然在链路上可以提供冗余保障，但是就存储本身而言，仍然存在单点故障
问题，因此采用容灾备份中心建设，结合 ―十二五 ‖规划要求，可引入云计算存储管理模块，融合统一存储架构，提升存储中心的灵活性和可靠性，并且提升对存
储资源用量的监控和生命周期管理。云计算平台采用统一的存储局域网络（ SAN）访问方式，将原有的孤立的存储设备纳入统一的存储网络环境中，使网络内所有
服务器都能平等的共享存储资源，实现存储系统的最大化利用率。采用云计算存 储技术后，原有的本地存储将整合到统一的存储网络中，通过网络系统的扩展，
可以进一步实现广域网内存储资源的共享。采用分布式共享存储体系，所有网络 存储资源均可以被网络内的计算结点共享，当存储资源不足时，仅需要添加存储 节点到存储网络中，所有的计算结点就能够快速的识别并使用新添加的存储空间，满足业务扩展需求。
2.2.5. 应用级容灾
目前，现有虚拟机或物理服务器均未有较好的容灾方案，一旦出现问题，只能按重新安装系统、安装应用、恢复数据、测试的方法进行恢复，缺一不可，这样就导致了较长的恢复时间，容灾系统建设过程需充分利用现有机房资源，同时引入云计算技术，提升容灾备份中心的灵活性和可靠性。云计算容灾技术把信息化庞大系统中的物理设备、操作系统、应用配置、数据库文件化的过程，这一过程将大大简化信息化系统的复杂度。随后以虚拟机为单位，实现生产存储设备与冗余存储设备之间的镜像级复制工作，无需考虑应用对象，消除原有的存储单点故障问题。通过在灾备中心提供备用虚拟机，备用虚机不实际占用物理资源，真正实现按需分配的动态灾备中心。保证云灾备中心也是生产中心，两个云机房
通过高速网络互联，实现以 IT 服务为目标的，不间断的业务服务。
第 3章 XXXXXX 云计算平台总体规划
3.1.
云计算平台整体建设思想
XXXXXX 将利用云计算相关技术，结合绿色云机房建设的目标和需求，
以战略支持型信息化建设为导向，以支持保障 XXX 信息化业务发展为建设思路，构造一个功能齐全、设备先进、运行高效、使用灵活、维护方便、易于扩展、投
资省、高安全可靠的全局性基于云计算数据资源中心。
XXXXXX 云计算数据资源中心建设思想是：本次拟基于 “统一管理、分云建设”实现云计算中心的一体化架构：按照 XXX 内网、 XXX 外网、图像专网、部门 XX 业务专网等不同网络来建设各个子云系统。整个项目的建设分为三期进 行实施：一期建设主要对原有云机房资源进行整合，为云机房迁移做好充分
的准备工作，同时为即将开展的数据仓库和一网控图综平台建设提供所需的基础
IT 资源。二期建设在新指挥中心大楼云机房建设统一资源的管理中心，在云
计算资源管理中心实现对资源的集中调度、使用、管理。三期建设将实现对全局核心应用、重要系统和重要数据的远程容灾备份。容灾备份的方案待二期实施结
束后根据具体情况和需求另行制定。
对于
XXX 局业务除了 XXX 内网、 XXX 外网、图像专网与部门 XX 业务专网外，还有部分单位建有涉密网。这部分网络所有信息属于涉密信息，非涉密人
员不得接触涉密网，且涉密网规模较小、设备少，使用云计算虚拟化建设投资回报低，管理难度大；同时涉密网对机房环境要求与传统模式不同，需要建设单独的涉密机房。因此在本次云计算云机房建设中，涉密网单独建设，不纳入本次
云计算云机房建设中来。
XXXXXX 前期已经利用云计算技术在相关领域开展了大量调研工作。然而，在云计算及虚拟化技术日趋成熟的今天，云计算平台的建设必须明确识到一个成 功的架构部署与大范围推广，离不开前期完善的系统调研分析与应用测试。可以 说一个完善的云计算建设就是 “规划—应用—分析—解决— 再规划 ”这样一个循环往复的过程。
整体云机房的建设采用弹性扩容的原则，机房设计预留足够的空间，硬
件设施采取分阶段逐步部署的方式，为 XXX 信息化应用提供持续可发展的支持。
3.2.
云计算平台整体系统结构
本次云计算解决方案将针对计算服务整体架构中的云计算服务区，通过对底层服务器硬件及存储资源实现虚拟化聚合部署，配合以云计算管理平台，实现云
计算中基础架构即服务（ IaaS）部分，同时该 IaaS 平台也为以后计算中心提供更高层次的云计算服务，如 PaaS，SaaS 服务提供了良好的基础平台，且具有很高的自适应性和扩展空间。云计算服务区总体逻辑架构如下：
下面分别说明一下云计算服务区的各个关键组件及逻辑层次。
云计算服务基础架构：提供了一个功能完整的、标准开放的方便集成的 IaaS
服务层。这层提供的动态基础架构是整个云计算服务的核心支撑层，其最核心的
部分包括采用了浪潮服务器、存储系统和虚拟化软件构建的云计算服务基础架构。该基础架构具备良好的性能、可用性和可靠性。通过部署虚拟化软件、服务器、
存储设备、网络设备，内部搭建虚拟化环境，通过虚拟化技术构建新一代的数据 中心， 形成统一的云计算信息系统平台。在云机房，所有资源整合后在逻辑
上以单一整体的形式呈现，这些资源根据需要进行动态扩展和配置，各单位最终信息系统业务按需使用资源。通过虚拟化技术，增强云机房的可管理性，提高
应用的兼容性和可用性，加速应用的部署，提升硬件资源的利用率，降低能源消耗。
云计算服务数据安全保护：通过部署云计算安全解决方案，可以帮助用户建立起一个既能充分利用云计算优势，同时又不牺牲安全性、控制力和遵从性的环境，其为虚拟云机房和云计算环境提供了支持虚拟化的保护，使用户可以加强
应用程序和数据安全，提高可见性和控制力，以及加快整个云计算中心的遵从性举措。
云计算服务运维管理体系：为整个云计算平台搭建一套长期运维管理的体系，为云计算平台的长期有效运行提供保障。云计算运维管理体系包括组织管理模式、制度规范体系、技术支撑体系等多个层面的内容，采用云计算技术手段和云计算
管理制度结合的方式保障整个政务云计算的平稳运行。
云计算服务门户：为云计算平台的所有基础架构服务提供统一的服务门户，用以支撑整个云计算平台的日常运营。根据整个系统的设计，建议至少包括如下两个最主要的门户：
服务请求门户，主要是提供给所有的云计算服务的用户所必需的自服务门户功能和基本的服务管理能力。
运行支持门户，主要是提供给云计算服务的管理员进行日常管理所必需的运行和管理功能。
\
云计算资源管理中心与两地资源中心通过光纤链路连接，管理两地基础资源；与各云计算连接，提供各权属单位的自服务门户平台；
网络层上两资源中心通过裸光纤互联，保证 IP 数据高速稳定交互；资源中心的服务器资源，通过虚拟化技术进行统一整合并调配使用，实现快速部署业务 系统的需求。针对资源中心，新旧存储通过异构存储虚拟化设备实现存储资源的 大整合，统一为业务提供存储空间服务；利用数据同步设备实现两资源中心云存 储资源的实时同步，建立双活云机房，当基础设备出现故障，业务能保持不中
断，继续提供服务。同时两地资源中心分别通过备份存储设备建立备份系统，为
数据保留多个副本，保证数据的安全性。
济南 XXX 内网云计算、外网云计算、图像专网云计算、 XX 业务专网云平台都按照此架构设计实现本地云机房建设。根据业务需求后期进行核心业务
异地的应用级容灾部署以及一般业务的数据级容灾部署。各子云的服务范围如
下：
XXX 内网云：运行 XXX 信息网传统业务系统；
XXX 外网云：部署门户网站、互联网应用的业务系统；
图像专网云：监控数据平台，部署平安城市的监控应用及海量数据存储；同时运行同密级等级要求的交警、户政等业务；
部门 XX 业务专网云：服务于各 XX 业务，目前部署网警网安业务系统。
3.3.
云计算平台总体管理架构
为了在
XXX 网安全管理制度体系下，实现对云计算资源的统一管理，本次云计算云机房建设方案为每个网络单独设计一套管理控制网络，主要用于各级
管理员进行资源监控，资源管理，资源使用。系统管理员可以通过每个子云管理区，实现对子云内部虚拟机的安全管理、网络监控、存储管理；同时，通过管理控制网对 IT 基础资源进行划分和监控。业务管理员通过管理网对自己有管理权限的所有虚拟机进行使用。整个架构既保证了资源的统一管理又保证了数据的子网隔离。
云计算平台方案的核心是 ―将业内成熟的、高效的、安全的、绿色技能的技术产品整合创新，满足新的信息服务应用需求的变化需要，并不断创造新的信息 应用模式和需求 ‖，按照信息系统 ―三分技术，七分管理 ‖的建设思路，关键功能模块能否实现决定了方案能否成功，因此管理架构设计是云计算不可或缺的组成 部分。
方案建议部署 XXXXXX 云计算平台管理信息网络，进行各云计算的统一管理。其功能模块由以下内容组成：大并发计算、海量虚拟化存储、虚拟网络、大 规模软硬件管理、虚拟计算管理、业务资源调度管理、安全管理、节能降耗管理 等。
云计算管理平台的统一部署具体实现方式为：各云计算底层服务器前端部署物理隔离设备，以保障各云计算的物理层安全以及平台之间的不可通信；各隔离设备通过统一的管理系统实现云计算底层架构的统一管理；云计算应用管理人员可通过远端管理模块，实现与权限匹配的云计算资源的分级调度管理。
3.4.
计算资源和存储资源配置估算
计算资源和存储资源是云中心的两大类核心资源。对计算资源和存储资源的合理估算和配置，是建设先进、高效云计算的必要条件。
以下给出我们根据 XXXXXX 现有业务应用和数据资源所作出的云中心计算资源、存储资源、基础网络和安全设施的初步估算。未来项目实施过程中，我们还将依据需求调研的情况对现有估算进行进一步的细化和调整。
根据业务需求，拟分别在 XXX 内网、图像网、部门间共数据享网建设三块云资源池。
XXX 内网：经详细调研需要迁移的业务系统内网设计 106 个，目前占用设 备资源为： cpu 计算单元 569 核，占用内存 936.6G，使用存储空间 7.02T，整体利用率 20%左右。内网新上数据仓应用服务设计需要 cpu 计算单元
160核内存 320G 存储空间
1T ；内网新上数据仓应用服务设计需要 cpu 计算单元 160 核内存 320G 存储空间
40T；新上部门间共享平台内网应用设计需要
cpu 计算单元 112 核内存 112G 存储空间 4.5T。拟新增 10 台高性能服务器和
4 台存储设备组建一个云应用资源池，供 106 个迁移业务和新增数据仓库应用。
图像网：需要迁移的应用 6 个，目前占用设备资源为 cpu 计算单元
6 核，占用内存 4.5G，现有系统使用频率很低，新上图综平台将替代现有系统。拟新
增 2 台高性能服务器和
1 台大容量存储共数据仓库数据库服务使用
部门间共数据享网：原需求因未考虑云计算方式故设计需求设备较多。应用
部分需要 cpu 计算单元≥ 108 核，内存≥ 108，存储≥ 7.2T；数据库部分需要 cpu 计算单元 64 核，内存 128，存储 18T。按照云计算方式设计拟使用 4 台中等性能服务器和 1 台 20T 的存储组建两个云计算资源池就可满足使用。
第 4章 云计算资源层设计
4.1.
云计算基础架构体系
4.1.1. 设计原则
济南 XXX 局云计算改造的方案设计遵循以下几个原则：先进性、标准性、实用性、可扩展性、兼容性、易用性、安全性、可靠性和前瞻性：
1. 先进性
系统设计达到业界领先水平，采用当今最新且成熟的计算机、网络、控制、数据存储等技术。符合最新的技术发展潮流，且各系统设计切实可行、并容易实现。
2. 标准性
系统设计严格的按照国际和国家标准进行设计，并遵循国内外有关的规范要求。具体包括：遵循标准的整体协议框架、提供标准接口、使用标准的数据传输协议等。
3. 实用性
系统设计注重实用性，系统配置满足整个预警平台的实际应用需要并符合用户的实际需要。
4. 可扩展性
系统设计考虑了预警平台未来功能扩充发展的需要，留有充分的扩充余地，方便地实现系统的平滑扩展和升级。
5. 易用性
系统设计注重易用性，要求系统参数配置少，调整少，自动化程度高，使用方便，操作简单，管理方便。
6. 安全性
系统设计具备安全性，采用多种安全防范技术和措施，在物理、系统、网络、应用以及管理上全面的保障系统的安全。
7. 可靠性
系统设计注重可靠性，能够长期稳定工作，保证 7*24 小时不间断地稳定可靠运行，适应工作环境能力强，故障率低，维护维修方便。
8. 前瞻性
系统设计具有前瞻性，整个系统的硬件配置，应符合长远的规划和设计，保证
5~10 年内系统的需要。
通过需求分析我们可以得知，本次济南 XXX 局云计算系统建设项目的设计目标是构造一个功能齐全、设备先进、运行高效、使用灵活、维护方便、易于扩展、投资
省、高安全可靠的信息系统。
云计算技术的出现却给我们一最佳的选择，随着部门和业务的增长，技术也需要随之变化。这些变化常常实施在运行关键业务应用的复杂系统内。通常会对共享硬件和软件资源有越来越多的需求，虚拟环境下有效的管理和控制了这种需求。虚拟化是通过对 IT 硬件资源整合、优化、共享的成熟高新技术，是实现云计算最基础的支撑技术。它可以有效增加组织的灵活性和效率，同时又可以降低其成本。虚拟化技术以其系统的先进性、高可用性、系统的灵活扩展能力、开放性以及高可管理性等可完全满足当前和未来几年内济南
XXX 局云计算平台信息系统的发展需求。
4.1.2. 系统总体架构
通过部署虚拟化软件、服务器、存储设备、网络设备，内部搭建虚拟化环境，通过虚拟化技术构建新一代的云机房， 形成统一的云计算信息系统平台。
在云机房，所有资源整合后在逻辑上以单一整体的形式呈现，这些资源根据需要进行动态扩展和配置，各单位最终信息系统业务按需使用资源。通过虚拟化技术，增强云机房的可管理性，提高应用的兼容性和可用性，加速应用的部署，提升硬件
资源的利用率，降低能源消耗。
虚拟化是云计算的基础，在云机房，通过虚拟化技术将物理服务器进行虚拟化， 具体为 CPU 虚拟化、内存虚拟化、设备 I/O 虚拟化等，实现在单一物理服务器上运行多个虚拟服务器（虚拟机），把应用程序对底层的系统和硬件的依赖抽象出来，从 而解除应用与操作系统和硬件的耦合关系，使得物理设备的差异性与兼容性与上层应 用透明，不同的虚拟机之间相互隔离、互不影响，可以运行不同的操作系统，并提供 不同的应用服务。
什么是服务器虚拟化
服务器虚拟化将硬件、操作系统和应用程序一同装入一个可迁移的虚拟机档案文件中如图所示：
在单台服务器虚拟化基础上，通过虚拟化管理中心（ vCenter）将多台服务器、存储硬件基础资源进行整合，构建硬件（ CPU、内存、
I/O）资源池，实现云机房 整体硬件资源的按需分配。虚拟化结构如图所示：
将服务器物理资源抽象成逻辑资源，让一台服务器变成几台甚至上百台相互隔离的虚拟服务器，或者让几台服务器变成一台服务器来用，我们不再受限于物理上的界
限，而是让 CPU、内存、磁盘、 I/O 等硬件变成可以动态管理的 ―资源池 ‖，从而提高资源的利用率，简化系统管理，实现服务器整合，让 IT 对业务的变化更具适应力，从而构建出济南 XXX 局云计算中心系统平台的基础。
4.1.3. 虚拟化拓扑的结构
针对上面的拓扑图，详细说明如下：
整体架构可以分为三层，最底层为存储网络层，中间层为虚拟化系统，最上层为虚拟服务器层；其中，下面的两层为资源提供方，最上层为资源用户；而中间层的虚拟化系统又起到了资源分配调度的作用。
部署虚拟化系统之后的整体架构和传统架构下是没很大区别的，利用共享存储实现数据集中和共享，结合管理中心实现应用系统的统一管理；虚拟化集群的形成，直接为应用系统提供了高可用和负载均衡的功能，集中的数据存储为本地灾备及异地灾备提供了扩展空间。
4.2.
云计算中心虚拟化组件
1.
迁移（ VMotion ）
VMotion 使运行中的虚拟机从一台物理服务器实时迁移到另一台物理服务器，同时保持业务的连续运行。实现了零停机时间和连续可用的服务，并能全面保证事务的完整性。是用于创建动态、自动化、自我优化的云机房的关键促成技术。
2.
高可靠性（ HA
）
VMware HA 自动监控物理服务器的可用性。
VMware HA 可检测物理服务器故障，如果检测到故障，可重新在资源池中其他物理服务器上启动虚拟机，整个过程无 需人工干预。该功能组件比传统的双机冷备更具有自动启动的优势。
3.
容错（ FT）
FT 的功能相当于双机热备，但是比传统的双机热备更具有优势，它可以时刻在两个不同的物理服务器上保持两个相同的镜像，其中一台出现故障时，不影响业务的运行，同时自动在另一台物理服务器上建立以特相同的镜像，物理服务器不受硬件型号配置的限制。
4.
动态资源分配（ DRS）
跨资源池不间断地监控利用率，并在多台虚拟机之间智能地分配可用资源，使资源优先用于最重要的应用程序，以便让资源与业务目标相协调。
自动、不间断地优化硬件利用率，以响应不断变化的情况。为业务部门提供专用的虚拟基础结构，同时让 IT 部门能够集中、全面地控制硬件。
执行零停机服务器维护。通过使用分布式电源管理来整合工作负载和关闭集群中
的虚拟机暂时不需要的耗电服务器，从而减少云机房的能耗。
5.
DPM 分布式电源管理
VMware 高可用管理系统中 ,为了在虚拟化环境中能达到节能减排放的作用 ,设置了 DPM 的功能。这是一个高级电源管理功能它可以提供当虚拟化环境中不需要那 么大的运算资源的的时候 ,同过统一管理平台 VCenter DRS 功能管理模块相结合。可以是实现当我们的业务系统在不需要云计算提供那么大的计算能力的时候 ,为了节能减排放. VCenter 会通过自动调度将某些服务器上的虚拟机通过在线迁移的方式自动 迁移到平台中的其它物理服务器中运行 ,将空闲服务器进行下电。
当业务重新增长后 ,需要平台提供大规模计算的时候 ,会重新启动该服务器加入到平台中,为虚拟服务器提供运算支持。
6.
存储迁移（ Storage Vmotion）
全面保证事务的完整性。提供零停机迁移，并全面保证事务的完整性。不会对虚拟环境中运行的业务造成任何终端影响。
互操作性。操作系统和硬件的彻底独立性，允许 Storage VMotion
跨 VMware ESX 所支持的任何类型的硬件和存储设备迁移运行任何操作系统的任何虚拟机。
支持光纤通道 SAN。利用速度最高为 4 GB 的各种光纤通道 SAN 存储系统，实现虚拟机磁盘文件的实时迁移。
7.
统一备份（ VCB ）
VCB 是虚拟化架构面向存储软件设备的驱动，通过任何一个基于虚拟化架构的
节点，以 IP 的方式，利用 VCB 看到虚拟化架构里面的每一个虚拟机下的每一个卷，每一个目录结构和文件，进而支持自由或第三方的备份软件对虚拟化架构进行统一备
份，保证客户既有投资和扩展需要。
8.
快照（ Snapshot）
Snapshot 将现有的状态标记一个结束，只对虚拟机进行增量备份，因此速度快，并能根据需要快速恢复到每一个备份点，对业务中断后提供快速恢复功能保证，进行提高整体系统的连续性。
4.3.
云计算中心的设计
1
整体设计
济南 XXX 局的应用主要是 WEB、OA、数据库等对资源需求不高却需要独立服务器支撑的应用，其中很多应用均为关键应用，若没有冗余的系统保护，极易造成业 务的中断。而若传统采用双机热备的方式，既造成硬件资源的加倍浪费又增加了双机 软件的采购成本；其次集团的所有数据均是采用本地化存储，数据的安全性和统一管 理得不到保证。根据集团的实际业务需求，结合目前具体发展规划，我们提出如下的 IT 架构的方案建议，提供给集团领导和 IT 部门参考。整体解决方案见下面系统拓扑图。
2
系统架构分析
根据济南 XXX 局网络中心的实际业务需求，结合目前具体发展规划，我们建议
采用浪潮 TS850机架服务器构建网络中心的服务器虚拟化平台，服务器均安装虚拟化 软件实现系统的高可用及负载均衡集群，将原来的应用均迁移至新的平台上来，并在
中心机房安装管理中心进行整个系统实现集中监管，实现资源自动调配、虚拟机的自 动迁移、核心业务的 HA 等，从而组建高可靠性、高可用性及负载均衡的信息化平台。
为了实现最先进的服务器虚拟化、自动化应用模式和可视化远程管理，服务器我
们建议配置 8颗E7-8850系列处理器， 256G内存和本地镜像硬盘。
存储方面我们建议：采用 FC存储，保证主业务的高访问速度 ,组建FC-SAN环境。虚拟化技术将高性能物理服务器中的 CPU、内存、存储、网络等资源抽象到虚
拟层中，形成虚拟化系统架构。在虚拟化系统架构基础上，建立虚拟机。将资源从虚 拟层中统一分配给每个虚拟机，每个虚拟机使用的系统资源都是由虚拟架构统一调配，而每一个虚拟服务器，从功能、性能和操作方式上，等同于传统的单台物理服务器，
在每个虚拟服务器上，再安装配置操作系统，进而再安装应用软件，从而大大提高资 源利用率，降低成本，增强了系统和应用的可用性，提高系统的灵活性和快速响应， 完美的实现了服务器虚拟架构的整合。
为了集中管理和监控虚拟服务器、实现系统自动化以及简化资源调配，配置一套
服务器（可以为虚拟机）安装 Window 系统，用于安装虚拟化管理中心软件，对所有物理服务器及其上的虚拟服务器进行统一的管理。
4.3.1. 存储网络架构
为了保证虚拟化平台的高可用及动态资源平衡等特性，服务器通过以光纤链路连接到存储阵列，阵列采用冗余的双控制器，以保障业务的连续性和稳定性。
依托虚拟化架构的优势，虚拟架构系统生产出来的虚拟机的封装文件都存放在
FC-SAN 存储阵列上。通过共享的 FC-SAN 存储架构，可以最大化的发挥虚拟架构的优势，进行在线地迁移正在运行的虚拟机（ VMotion ），实现双机热备（ HA ）、容错（
FT）、进行动态的资源管理（ DRS）和集中的基于虚拟机快照技术的 Lan-Free的整合备份（ VCB）等，而且为容灾备份提供扩展性和打下基础。
根据业务的实际数据存储需求，配置 SAS 盘达到大容量数据存储的要求，实际的磁盘容量配置可以根据整个信息系统的实际需要系统规划进行配置。
4.3.2. 数据保护
方案中实施了 VMware 主机集群系统（
Cluster），通过 HA、FT、DRS 等虚拟化高级功能技术，可以实现集群系统内，任何一个主机系统出现故障，可以自动将该主
机的负载转移至系统内的其他成员。而且方案配置的磁盘阵列采用双冗余控制器，在很大程度上避免了单点故障，提高了整个业务系统的可用性。
为了对数据进行快速备份和恢复，虚拟化平台中采用自带的快照软件对业务数据做快照，按照时间计划自动将数据进行快照，实现短时间点数据保护。快照操作的性
能和效率有极大地提升，可以更好的减少备份和恢复的时间窗口，有效提升 RPO 和
RTO 指标，提升工作效率降低成本。
4.3.3. 网络规划
由于本次网络中心改造主要针对服务器和存储进行优化，并不涉及到太多网络部分的改动，因此无需对现有的网络结构进行变动。
1
提高资源利用率，降低 TCO ：（总所有成本）
传统运行模式下，服务器硬件平均使用效率仅在 5-15%，虚拟化技术可以大幅度提高 XXXXXX 中服务器硬件资源的效率和可用性。通过服务器整合方案 ,可以将服
务器硬件资源使用效率提高到 60-80%以上。
2
节能降耗显著，有效降低运行成本，响应国家政策号召：
服务器整合后，减少了机房设备占地空间，可有效节省相关供电等配套设施的使用，也减少了制冷散热和电力需求，相关管理人员需求也得以明显降低。在一个虚拟
架构中，用户可以把资源看成是专属于他们的，而管理员则可在 XXXXXX 范围内管理和优化整个资源。 VMware 的虚拟架构可以通过增加效率、灵活性和响应能力来降
低 XXXXXX 的 IT 花费。管理一个虚拟架构可以让 IT 部门更快的连接和管理资源，以满足业务所需。
3
业务连续性保障得到增强：
使用虚拟构架， IT 管理员能改进现有业务系统连续性的所有方面，例如：
·
由于主备服务器之间的硬件独立性，使得灾难恢复更快而花费不多
·
排除计划内的硬件宕机，并明显的减少计划内的软件宕机
·
管理所有虚拟机和监控宿主机的单点控制技术
·
为了实现捕捉和恢复，完全的把主机压缩到文件里去
·
简化和可重复的自动程序
为了实现高可用性， XXXXXX 使用过第三方软件例如微软和 Veritas 的集群软件，
把两台服务器绑定在一个热备环境。即使运行在服务器上的应用程序有集群感知能力，万一主服务器遭遇硬件或软件错误，这样的安排仍然会导致非应用程序宕机。冗余能
消除单点失败。
随着 IT 对 XXXXXX 运作而言变得更加重要，越来越多的应用则被要求高度可用。然而，为了实现如上所述的高可用性集群，就像很多服务器运行应用一样，
XXXXXX 需要预备和管理两次。
有了虚拟化， IT 管理员能在运行重要应用的实体机和同等配置的虚拟机上创建集
群。在待机状态下，虚拟机并不消耗计算机资源，并且能以非常高的比例整合到一个 或几个实体平台上去。结果， XXXXXX 无须在硬件数量或管理和安装补丁上投入双倍的人力和物力，从而实现高可用性。冗余的方式将由 2N 变为 N+1。
4
提高运营效率，改善服务水平
经过虚拟化，可以显著加快新服务器和应用的部署，大大降低新业务加载时间，
同时 IT 人员可以主动地规划业务和 IT 资源之间的增长，有效应对变化迅速的业务需求，改善 IT 部门和业务部门之间的关系，
经过虚拟化，硬件维护需要数天 /周的变更管理准备和 1 - 3 小时维护窗口，现在可以进行快速的硬件维护和升级，有效改善服务水平。
5
简化了管理
通过单一虚拟控制平台 VC，可集中管理所有 X86 架构服务器存储系统，包括部署、监视和定义操作。部署更新工作由原来数天 /星期缩短为只需几分钟即可完成； 操作实现自动化；资源统一调度，控制安全访问；并可全面支持现有管理平台，节省
客户投资。
4.3.4.
云计算资源管理平台
云资源管理平台，它分别承载了 4 个子云系统的整合和管理，并可以向外部提供自助式的资源供给服务。该系统采用开放架构，方便于支持各种业务系统的整合。
该系统中间逻辑层主要可以分为资源供应与自服务，业务运营与计费，资源综合管理，自动化分析与调优等几个模块。底层可以是开放式的第三方的虚拟化系统或
者存储系统，通过这些底层系统将物理的计算资源，存储资源和网络资源整合起来，进行池化和资源管理。
资源供应与自助式服务主要是提供按需获取，按量计费的可信赖资源服务，用户可以自助的申请资源，在配额范围内系统可以自动审批并创建该资源；资源综合管
理系统可以对虚拟资源和物理资源进行实时的监控和性能查看，并且记录历史数据；自动化分析与调优则是基于资源综合管理系统的数据，通过自学习算法，自适应算 法等综合系统，去判断系统的性能瓶颈并给出合理化建议，在提前配置的前提下，
可以进行一些自动的性能调优；业务运营与计费系统则是维护用户的资源使用信息 和业务的运营情况，提供报表等数据给用户参考整个云计算的资源使用情况。
资源管理自服务登录界面
自服务主界面：包括对虚拟云机房、服务目录、应用、虚拟机、计费、用户、日志管理
后端管理主界面 :管理后端的物理、虚拟的资源，以及计费、订单、报表等功能
4.3.5.
业务子云系统系统架构
整个 XXX 云系统主要是由 4 大业务子云构成，虽然每个子云的业务系统具有差异性，但是每个子云的的系统架构是一致的。业务子云系统一般也是有计算节点和存 储节点构建，在上层构建业务资源池，例如中间件资源池，网络服务资源池，安全服
务资源池，数据库资源池和各种应用资源池。每个资源池的容量可以根据业务的需要进行动态扩容。对整个系统由管理系统控制，通过网闸让业务用户访问。
中间件资源池
网络服务资源池
安全服务资源池器
数据库资源池
应用资源池
外网管理系统
外网存储系统
SAN网络
网闸 业务用户
第 5章 云计算中心网络层设计
5.1.
设计思路
5.1.1. XXX 云计算网络建设需求
济南 XXX 云计算网络建设的宗旨在于：建设 XXX 云计算网络中心、整合各类社会资源、互联网资源以及自身资源，大力贯彻并推进济南市政府各行业应用云落地， 将济南 XXX 云计算中心建设成为国内外具有影响力的云计算平台之一。
云计算的成功的对外提供服务，其中 IaaS 平台是基础，是建设云计算必不可少
的组成部分。建设一个高性能、高安全、高可靠、易扩展、易管理等云计算基础网络承载平台至关重要。
5.1.2. 云计算网络建设原则
5.1.2.1.
高性能
云计算中心不但要提供高带宽和多业务，而且能随时升级网络以满足将来的业务需要，包括提供多种接入端口，满足不同带宽的专线接入、 XX 业务等。
未来大量的云计算用户的接入将对云计算中心产生巨大的流量负荷，这就要求云
计算中心具备很强的数据吞吐和交换能力，具备应对峰值流量的能力。
考虑到济南 XXX 现有部分网络设备不支持万兆网络端口，方案建议未来根据业 务传输需要对现有网络平台进行相应升级，以满足未来 XXX 云计算万兆主干网络传输需求。
5.1.2.2.
高可靠
网络作为云计算中心的基础设施，应采用高可靠的产品和技术，充分考虑系统的
应变能力、容错能力和纠错能力，确保整个网络基础设施运行稳定、可靠。济南 XXX
云计算中心的核心业务都集中在云机房 ,一旦云机房出现故障，将对云计算业务系统的正常运作造成极大的冲击，带来巨大的损失。一个高可靠的云机房可以帮助云计算在集中资源、提高业务服务水平的同时降低运行成本。
5.1.2.3.
高安全
网络基础设计的安全性，涉及到济南 XXX 云计算中心业务的核心数据安全。应按照端到端访问安全、网络 L2-L7 层安全两个维度对安全体系进行设计规划，从局 部安全、全局安全到智能安全，将安全理念渗透到整个云机房网络中。
5.1.2.4.
易管理
云机房是 IT 技术最为密集的地方，云机房的设备繁多，各种协议和应用部
署越来越复杂，对运维人员的要求也越来越高，单独依赖运维人员个人的技术能力和业务能力是无法保证业务运行的持续性的。因此云机房需要提供完善的运维管理平
台，对云机房 IT 资源进行全局掌控，减少日常的运维的人为故障。同时一旦出现
故障，能够借助工具直观、快速定位。云计算中心网络运维平台可以提供 7×24 不间
断的网络监控、技术服务与支持，标准监控程序每隔 5 分钟会检测网络联接状况，出现问题立即告警并及时通知用户。
5.1.2.5.
标准开放先进
济南 XXX 云云机房将长期支撑云计算中心的业务发展，而网络又是云机房
的基础支撑平台，因此济南 XXX 云计算中心网络的建设需要考虑后续的机会成本，采用主流的、先进的技术和产品（如云机房级设备、虚拟化支持等），保证基础支
撑平台 5～10 年内不会被淘汰，从而实现投资的保护。
5.1.2.6.
绿色节能
云机房能源消耗已经成为云机房在进行建设中需要重点关注的重要内容，计
算虚拟化技术应用可以减少计算服务器的部署数量，网络虚拟化技术可以优化网络结构，减少网络设备的冗余部署，而网络设备的各类绿色设计技术可以减少单台设备的能源消耗，减少设备能耗不仅有助于降低电费开销，更重要的是便于降低设备中器件的工作温度，提高设备的可靠性，从而大大降低设备的使用和维护成本。
5.2.
云计算网络系统整体架构
5.2.1. 整体架构设计思想
1) 结构化设计
结构化的网络设计便于上层协议的部署和网络的管理，提高网络的收敛速度，实现高可靠。云计算云机房网络结构化设计体现在适当的冗余性和网络的对称性两个
方面。如下图所示：
冗余的引入可以消除设备和链路的单点故障，但是过度的冗余同样会使网络过于复杂，不便于运行和维护，因此一般采用双节点双归属的架构设计网络结构的对称，可以使得网络设备的配置简化、拓扑直观，有助于协议设计分析。
在云计算云机房网络设计时，由于引入了冗余和对称的设计，这必将引入网络的环路，可通过如下建设思路消除环路影响：
通过网络虚拟化技术技术对同一层面的设备进行横向整合，将两台或多台设备虚
拟为一台设务，统一转发、统一管理，并实现跨设备的链路捆绑。因此不会引入环路，无需部署 STP 和 VRRP 等协议，简化网络协议的部署，大大缩短设备和链路收敛时间（毫秒级），链路负载分担方式工作，利用率大大提升。
在本方案的设计中，将采用端到端的网络虚拟化部署，满足网络高可靠的同时，简化网络运维管理。
2) 模块化设计
构建云计算云机房基础网络时，应采用模块化的设计方法，将云计算云机房
划分为不同的功能区域，用于实现不同的功能或部署不同的应用，使得整个云计算数据中心的架构具备可伸缩性、灵活性、和高可用性。云计算云机房中的服务器将会
根据服务器上的应用的用户访问特性和应用的功能不同部署在不同的区域中。如下图所示：
云计算云机房网络分为云计算云机房网络接入区、云计算云机房核心交换
区和云计算云机房功能业务接入区三大功能区域，其中网络接入区和服务器接入区依据服务类型的不同，可进行子区的细分。
云计算云机房核心区用于承接各区域之间的数据交换，是整个云计算云机房的核心枢纽，因此核心交换机设备应选用可靠性高的云机房级设备部署。
3) 扁平化设计
云计算云机房的网络架构依据接入密度分为三层架构和二层架构，如下图所示：
传统的云机房网络通常采用三层架构进行组网，三层架构可以保证网络具备很好的扩展性，同一个分区内服务器接入密度高。但三层架构网络设备较多，不便于网络管理，运维工作量大。同时组网成本相对较高。
随着网络交换技术的不断发展，交换机的端口接入密度也越来越高，二层组网的扩展性和密度已经能够很好的满足 XXXXXX 云机房服务器接入的要求。同时在服
务器虚拟化技术应用越来越广泛的趋势下，二层架构更容易实现 VLAN 的大二层互通，满足虚拟机的部署和迁移。相比三层架构，二层架构可以大大简化网络的运维与
管理。
综合上述因素，济南 XXX 云计算云机房的网络设计采用二层扁平化架构，满足扩展性的同时，实现易管理。
5.2.2. 云计算整体架构规划设计
根据济南
XXX 云计算平台建设项目的整体建设需求，初步规划整网的逻辑架构图如下：
如上图所示，云计算整体规划设计逻辑上分为三个中心：本地云机房、本地备
份中心、异地容灾中心。济南 XXX 云计算按照实际的组网结构可以分为四套网：云平台中心内网、云计算中心外网、图像专网、 XX 业务专网。每台网络根据功能的不同采用模块化分区的设计，网络区域规划说明如下：
1、云计算中心内网：核心交换区、云资源池区、功能测试区、运维管理区、外联安全接入区、本地备份区、异地容灾区、权属单位接入区、省级云计算中心（省级建设项目）。
2、云计算中心外网：核心交换区、云资源池区、功能测试区、运维管理区、外联安全接入区、 Internet 接入区、本地备份区、异地容灾区、权属单位接入区、公众云接入区（省级建设项目）。
3、图像专网：核心交换区、云资源池区、功能测试区、运维管理区、外联安全接入区、本地备份区、异地容灾区、权属单位接入区。
4、XX 业务专网：安全接入区、核心交换区、服务器资源区。
5.2.3. 云计算内网网络系统设计
云计算内网网络系统整体拓扑结构如上图所示，整个内网网络系统可以分为以下几个部分：
云计算中心内网网络
整个云计算内网网络系统的最核心部分，构建支撑所有云应用业务的网络传输平台。
云计算内网接入网络
提供各权属单位的接入，实现各权属单位通过云接入内网进行 XXX 内网业务的访问。
云计算内网本地备份中心网络
对云计算内网的存储数据进行本地备份，实现业务数据的备份级容灾。云计算内网容灾中心网络
作为云计算内网本地备份系统的补充，实现在云计算中心发生灾难的情况下，实现应用级容灾，保证业务数据的完整性和一致性。
5.2.3.1.
云计算中心内网网络设计
云计算中心内网网络整体结构如图所示，整个结构采用模块化分区设计思想，根据不同功能将整个网络分为如下几个区域：
核心交换区：实现云计算中心内网的高速数据转发，保证整个云计算中心内网网络的传输性能和效率。核心交换区同所有分区相连，因而在核心交换区需重点考虑处理性能、网络虚拟化应用以及各个分区之间安全访问控制；
云资源池区：云资源池区对外提供虚拟主机资源、存储资源，并实现 各权属单位 XXX 云应用以及未来其他各类应用云的部署，因而在云资源池区要充分考虑网络性能，并且网络要能够对基础硬件资源的虚拟化应用提供适应性的能力，同时云资源池区的安全隔离、负载均衡访问也是这个区域的设计重点；
功能测试区：在功能测试区将进行各类新增应用的在线测试，因而要求该区域的网络系统同核心交换机提供良好的连通性；
运维管理区：运维管理区提供对整个云计算中心网络的统一管理，除了考虑基础设备管理之外，应用服务管理、运维管理也是该区域的系统需要实现的目标；
外联安全接入区：实现通过云接入内网同提供各个权属单位的接入入口；外联安全接入区设备应具备大容量缓存特性，满足小数据、多条目数据流的存储及查询需求，同时相关设备应可动态调整存储
容量，做到外联接入区数据存储和查询的随进随入。
所有的功能分区均同核心交换区互联，各个分区之间保持独立，实现整个设计架构的松耦合特性，提供良好的系统扩展性。
5.2.3.2.
云计算中心网络设计详细说明云计算中心核心交换区
核心交换区是各个云计算中心的中心，在济南 XXX 整个云计算结构而言，等同于各子云计算的汇聚设备，又作为各子云计算的核心设备，所有分区均同核心交换
区相连，因此核心交换区需要重点关注传输性能和效率。
核心交换区的设备由两台核心交换机组成，本方案设计中考虑采用业界高性能的云机房级交换机。
为了适应云计算环境下中心平台大量设备部署所带来的网络压力和部署复杂度，网络虚拟化技术成为目前在云计算中心进行网络规划时重点考虑的应用技术。
如图所示为核心交换区的交换机应用网络虚拟化技术之后实现的效果，在逻辑层面上两台核心交换机呈现成为一台更高性能的核心交换机，提供统一的转发表项，可
以进行统一的设备管理和配置管理，采用网络虚拟化技术对网络优化带来的优势如下：
简化了逻辑结构，原本两台核心交换设备呈现为一台设备形态，在逻辑上简化了网络的连接结构，在二层结构上避免了环路的产生，无需进行生成树协议的部署，在三层结构上减少了路由节点，节约了路由地址和路由网段的划分，因而无论是网络结构还是网络协议的部署都
得到了大大的简化；
提升了网络的性能，当两台核心设备作为一台核心设备使用时，实现了核心设备的双机复用，并且实现了同其他功能区域的多链路复用，因而网络传输性能和处理性能都得到了提升；
在本方案中核心交换区设备选用上考虑的另一个重要技术要点是核心交换机的缓存处理能力。由于核心交换区是整个云计算中心的重中之重，因而在核心交换区对转发处理能力、设备可靠性、安全防护能力、网络虚拟化优化能力、突发流量处理能力等方面进行了全面的考虑和设计，以便为整个云计算中心内网提供高可用保证。
云计算中心云资源池区
云资源池区通过新增部署设备系统为各单位提供统一的计算资源、存储资源，实现资源共享，并且进行各类应用云的部署，因此云资源池区的网络部署上除了以太网
的部署之外还需要考虑用于存储资源的 FC 网络的部署，本节不对 FC 网络的部署多做陈述，重点说明支撑数据传输的以太网结构的设计要点。
云资源池区服务器数量较多，需要重点考虑网络传输的性能，网络虚拟化的优化支撑能力，网络安全的融合支撑能力，因此云资源池区的接入层交换机推荐采用插槽式交换设备。
云资源池区在安全设计上建议增加考虑在资源共享情况下服务器访问的负载均衡应用，因此本方案在云资源池区的接入层规划考虑部署负载均衡板卡或设备，使
得对服务器的访问能够合理的分发到各台服务器上，以保证云中心平台对外服务的响应速度和业务连续性。
网络虚拟化技术起到了横向整合的作用，通过虚拟化技术网络设备可以做设备的
链路聚合，消除 STP 环路，从逻辑上将全互联的网状拓扑整合为无环路的树状拓扑，整合后的虚拟化设备具备跨设备链路聚合功能，所有链路都参与以太帧转发，对分带 宽提高。
所以网络虚拟化技术更适合云计算云机房构建大二层网络的技术，更适合服务器虚拟机的迁移。
云计算中心功能测试区
在功能测试区将进行各类新增应用的在线测试，因而要求该区域的网络系统同核心交换机提供良好的连通性，在具体的网络设计上，功能测试区要求提供全千兆的接入能力，在一期实施阶段考虑千兆连接到核心交换区，但是设备要能够提供后续的万兆扩展能力，并且部署网络虚拟化技术，实现网络结构的优化和传输性能的提升。
云计算中心运维管理区
在运维管理区提供对整个云计算中心网络的统一管理，除了考虑基础设备管理之外，应用服务管理、运维管理也是该区域的系统需要实现的目标，同时整个云计算平
台的系统管理也部署在这个区域。运维管理区的网络系统要求同功能测试区基本相同，在网络结构和设备选型考虑上同功能测试区保持一致，同时在运维管理区将部署整个
云计算内网的管理系统服务器，提供对整个平台的统一管理。具体详见云计算平台管 理体系建设内容。
外联安全接入区
外联安全接入区是整个云计算中心同各个权属单位通过云接入内网访问云计算中心的出口，在这个位置考虑到出口设备需要连接各个权属单位，因此考虑采用路由器设备，同核心交换区采用万兆链路互联，并在设备的功能特性上，考虑具有如下特性：
作为云计算中心同各个权属单位的连接出口，要求设备具有高可靠的设备级特性，能够支持关键部件的冗余设计（包括电源、引擎、风扇等），并且接口板卡可以支持热插拔，这样在出现故障进行更换时可以保持整个设备无需断电，实现访问业务的连续性可用；
出口设备要能够提供高性能的处理能力和丰富的应用接口，在接口形 态上能够支持各种广域网接口包括 CPOS、万兆等接口能力，在转发架构上实现转发平台和控制平台的分离，采用业务底板 +接口板卡的技术架构，通过业务底板的独立处理硬件实现数据的转发处理和业务 板本地的表项查找和 QoS 控制（提供丰富的队列调度算法和分层 QoS），并且在广域网接口处能够提供大的 ACL 表项和端口缓存能力；
考虑到各个权属单位都接入到云中心平台，因而在接入区要考虑出口的安全隔离和访问控制，在本方案设计中建议采用网络安全融合的方案，在出口路由设备上安装防火墙插卡，通过这样的部署方式实现云中心平台市级出口的安全接入控制；
5.2.3.3.
云计算内网接入网络设计
云计算内网接入网络的结构如图所示，各权属接入单位通过云接入内网连接到云
平台中心的外联安全接入区，实现对云计算中心部署的 XXX 云业务和单位自身业务系统的访问，同时后期可通过外联接入区上行至省级云计算中心节点。
云接入内网将采用专线的方式实现各权属单位同云计算中心的连接，在云计算中心外联安全接入区部署高端路由或安全设备作为统一的访问出口，各权属单位接入侧部署单独的接入设备实现专线的连接。各权属单位的接入将分阶段进行，第一阶段的
接入单位以新上业务系统和 XXX 局信息中心业务为主，其他各单位视自身情况接入。
现有各个单位进行系统内上下级连接时都是采用专线和专门的设备，这样分散的连接方式带来总线路租用费用、总线路维护成本、总设备采购成本都相对较高。随着各权属单位设备系统的迁入到云计算中心，将考虑在云计算中心建设上联接入区，将各权属单位现有的上下级连接出口迁移到云计算中心的上联接入区，这样通过云计算中心整体进行专线链路租用，并进行系统维护，相对于分散部署方式可以大大降低整体成本。
各权属单位同其垂直系统的上下级连接和数据传输将出现两种形式：
在云计算建设初期保持现有分散部署的方式，各权属单位通过已有的系统内部专线实现同上下级机构的连接，进行数据访问和交互，并将交互得到的业务数据通过云计算内网接入网络传送到云计算中心； 随着各权属单位专线出口的集中建设，未来各权属单位将通过云计算中心上联接入区同垂直系统的专线联通，访问系统内的数据，各权属单位通过云计算内网接入网络到云计算中心进行数据访问；
5.2.3.4.
云计算内网本地备份中心网络设计
在济南 XXX 云计算中心建设第一阶段将考虑内网本地备份中心的建设，本地备份中心主要实现云计算中心的云资源池内的关键业务数据的本地备份，提供数据级的保护。在本地备份中心主要放置存储设备，前端网络部署两台接入交换机同云计算中心互联，本地备份中心的交换设备考虑采用盒式交换机，提供千兆面板接口，支持万兆上行链路，并且统一部署网络虚拟化技术，实现网络结构的整体优化。
5.2.3.5.
云计算内网容灾中心网络设计
在济南市
XXX 云计算中心建设的后期计划完成内网容灾中心的建设，内网容灾中心将选择建设在同云计算中心不同的地理区域，以实现当云计算中心在火灾、电力故障等事故发生时，云计算提供的各项云应用业务能够正常运转，内网容灾中心最终将建设成为应用级灾备等级。为达到应用级灾备的建设效果，内网容灾中心将部署同
云计算中心相同或类似的系统结构，因此在网络结构上将采用二层网路架构，提供核心-接入的两层网络结构体系，在设备的选用上当选择等同于云计算中心网络设备等级的产品。
内网容灾中心将考虑同云计算中心通过裸光纤进行直连，并且同本地备份中心也进行连接，实现两地三中心的保护模式，实现云计算数据的有效性保护和各类云应用业务的连续性开展。
5.2.3.6.
云计算内网网络系统设计总结
云计算内网网络系统包含四大网络区域（云计算中心网络、云计算内网接入网络、云计算内网本地备份中心网络和云计算内网容灾中心网络），整个系统设计遵从模块
化的设计原则，保持系统内各个区域的松耦合特性，同时在整个网络系统设计中保持 对以下方面的整体关注：
高性能保证
云计算内网网络各个子系统的网络建设均考虑采用高性能的网络处 理设备，在云计算中心采用高性能网络设备构建整个系统的核心交换区以保证整个网络中心的高性能处理，在各个子区域的网络设备选用上也均采用千兆或万兆连接，并且具有万兆上行能力的网络设备，在部分重要区域（云资源池区）考虑采用万兆上行，以保证关键区域的访问效率。同时整个网络系统统一采用网络虚拟化技术，以保证整个网络系统的整个架构优化，传输性能提升。
高可靠性设计
整个网络系统基于高可靠设计的原则进行了冗余上行链路，关键设备冗余部署等方面的考虑，在设备选用方面，整个网络系统均部署网络虚拟化技术提升网络传输的系统可靠性，并且在设备选用上也进行了专门设计，如核心交换区的交换设备采用交换网板和处理引擎分离的先进架构，进一步提升了核心层的系统可靠性。
融合安全考虑
在整个网络系统的设计过程中，安全始终贯穿设计的各个角度，后文会对系统的安全设计进行全面描述，本段重点要说明的是在本方案设
计过程中全面采用网络安全融合的技术，在重点考虑安全防护的区 域可采用网络设备上集成安全板卡的部署方式，这样一方面扩展了
安全防护的范围，另一方面也大大降低了单独部署安全设备所带来的故障点增多和网络结构复杂性等问题。
易扩展性考虑
网络系统采用模块化的设计思想，以功能来划分分区，很容易扩展新的功能区域，同时在设备选用方面，充分考虑设备在处理性能、业务槽位、端口密度、端口带宽、业务内置等方面的扩展性，以及对未来应用的扩展能力。
可管理性考虑
在设计过程中对整个系统的可管理性进行了充分考虑，将在运维管理区部署专门网络系统管理工具，除了关注基础网络设备，还对于云平台的链路业务分析、应用系统管理、系统运维管理等方面提供相应的管理手段。
节能减排考虑
考虑到云计算中心的资源集中化部署，系统的能源消耗巨大，因此在网络系统的设计过程中也对系统的节能能力进行了相关的考虑，选择具有低功耗结构和先进散热设计的网络设备，建设绿色节能云计算网络支撑系统。
5.2.4. 云计算外网网络系统设计
云计算外网网络系统整体拓扑结构如上图所示，整个外网网络系统可以分为以下几个部分：
云计算中心外网网络
整个云计算外网网络系统的最核心部分，构建支撑外网云应用业务的网络传输平台。
云计算外网接入网络
提供各权属单位的接入，实现各权属单位通过云接入外网进行外网业务的访问。
云计算外网本地备份中心网络
对云计算外网的存储数据进行本地备份，实现业务数据的备份级容灾。云计算外网容灾中心网络
作为云计算外网本地备份系统的补充，实现在云计算中心发生灾难的情况下，实现应用级容灾，保证业务数据的完整性和一致性。
云计算中心外网网络整体结构如图所示，整个结构采用模块化分区设计思想，根据不同功能将整个网络分为如下几个区域：
核心交换区：实现云计算中心外网的高速数据转发，保证整个云计算中心外网网络的传输性能和效率。核心交换区同所有分区相连，因而在核心交换区需重点考虑处理性能、网络虚拟化应用以及各个分区之间安全访问控制；
云资源池区：云资源池区对外提供虚拟主机资源、存储资源，并实现各权属单位业务云应用以及未来其他各类应用云的部署，因而在云资源池区要充分考虑网络性能，并且网络要能够对基础硬件资源的虚拟化应用提供适应性的能力，同时云资源池区的安全隔离、负载均衡访问也是这个区域的设计重点；
Internet 接入区：该区域通过连接运营商 Internet 网络向公众发布各类 XXX 云应用服务；
对外服务测试区：在对外服务测试区将进行各类新增应用的在线测
试，该区域的网络系统连接在 Internet 接入区划分出来 DMZ 区位置；运维管理区：运维管理区提供对整个云计算中心网络的统一管理，除
了考虑基础设备管理之外，应用服务管理、运维管理也是该区域的系统需要实现的目标；
外联安全接入区：实现通过云接入外网同提供各个权属单位的接入入口；
所有的功能分区均同核心交换区互联，各个分区之间保持独立，实现整个设计架构的松耦合特性，提供良好的系统扩展性。
云计算外网整体网络结构以及各功能区域的具体网络设计同云计算内网网络基本相同，在对应区域的网络特性分析和设备选用上保持一致，这里不再重复说明，需要单独分析的是云计算外网的 Internet 接入区。
Internet 接入区是整个云计算外网连接运营商 Internet 网络的出口，通过该出口对外发布各类公众云服务，因而该区域需要重点设计安全层次上的保护，在网络设备结
构上考虑采用路由器或安全设备作为网络出口，同核心交换区采用万兆链路互联。在安全层次性保护上，可考虑采用网络安全融合的思路在路由器设备上配置防火墙和
IPS 模块，提供网络层面 L2~L7 的安全保护，基于防火墙模块，划分出 DMZ 区，用来连接对外服务测试区。同时考虑到云计算中心外网的管理人员和其他各权属单位接
口人员可以通过 Internet 访问到云计算中心外网，因而在出口配置 SSL VPN 模块，提供用户的外部 SSL VPN 接入访问。考虑未来会有多根 Internet 链路，因而建议在 Internet 接入区的出口部署单独的链路负载均衡设备提供 Internet 链路的负载均衡访问。
5.2.5. 云计算图像专网网络系统设计
云计算图像专网同时存储数据、视频和图像，网络系统整体拓扑结构如上图所示，整个外网网络系统可以分为以下几个部分：
云计算图像专网网络
整个云计算图像专网网络系统的最核心部分，构建支撑图像专网云应用业务的网络传输平台。
云计算图像专网接入网络
提供各权属单位的接入，实现各权属单位通过云接入图像专网进行图像专网业务的访问。
云计算图像专网本地备份中心网络
对云计算图像专网的存储数据进行本地备份，实现业务数据的备份级容灾。
云计算图像专网容灾中心网络
作为云计算图像专网本地备份系统的补充，实现在云计算中心发生灾难的情况下，实现应用级容灾，保证业务数据的完整性和一致性。
云计算中心图像专网网络整体结构如图所示，整个结构采用模块化分区设计思想，根据不同功能将整个网络分为如下几个区域：
核心交换区：实现云计算中心图像专网的高速数据转发，保证整个云平台中心图像专网网络的传输性能和效率。核心交换区同所有分区相连，因而在云计算图像专网核心交换区需重点考虑处理传输设备的
高性能、高吞吐以及各个分区之间安全访问控制；
云资源池区：云资源池区对外提供虚拟主机资源、存储资源，并实现各权属单位业务云应用以及未来其他各类应用云的部署，因而在云资源池区要充分考虑网络性能，并且网络要能够对基础硬件资源的虚拟化应用提供适应性的能力，同时云资源池区的安全隔离、负载均衡访问也是这个区域的设计重点；
功能测试区：在功能测试区将进行各类新增应用的在线测试，承担
VPN 专网对外联单位服务提供前的系统测试；
运维管理区：运维管理区提供对整个云计算中心网络的统一管理，除了考虑基础设备管理之外，应用服务管理、运维管理也是该区域的系统需要实现的目标；
外联安全接入区：实现通过云接入图像专网同提供各个权属单位的接入入口；
所有的功能分区均同核心交换区互联，各个分区之间保持独立，实现整个设计架构的松耦合特性，提供良好的系统扩展性。
云计算图像专网整体网络结构以及各功能区域的具体网络设计同云计算内网网
络基本相同，在对应区域的网络特性分析和设备选用上保持一致，这里不再重复说明。
5.2.6.
XX 业务专网云计算网络系统设计
XX 业务专网云计算网络系统作为一套单独的系统主要设计目标是为权属单位提供包括主机资源分配、机位机柜分配、应用业务访问服务，针对不同的权属单位提供
符合该单位要求的个性化的应用服务，因而 XX 业务专网网络系统的云计算同内网和外网物理分离，进行单独设计考虑。
如图所示， XX 业务专网网络云计算的结构分为二层架构，在具体设计中考虑以下因素：
核心部件冗余设计， 在核心层部署两台核心交换机保证 XX 业务专网网络系统的高可靠运行，并且接入层到核心层均为双链路上行，这 样从接入到核心全部进行冗余可靠的设计考虑；
在网络结构中采用网络虚拟化技术，通过网络虚拟化技术的应用简化网络逻辑架构和设备配置复杂度，提升网络故障收敛速度，提升网络应用性能；
在网络出口进行综合安全设计考虑，主要是因为 XX 业务平台通过
ISP 同外部互联，因此要考虑对来自外部网络的综合安全威胁的防护；
XX 业务网络系统主要面向各权属单位提供主机资源分配等服务，因此在整个系统还是需要进行综合的管理设计考虑，但是侧重运维管理和基础设备管理；
综上所述，在本方案设计中，建议核心交换机采用插槽式设备，接入层部署千兆 接入设备，同核心层之间采用千兆光纤链路互联，在关键的出口安全设计考虑上，采 用出口综合部署防火墙和 IPS 设备的方式，本方案中可延续网络安全融合的整体设计
思路，在核心交换机上部署防火墙和 IPS 插卡来提供网络层 L2~L7 层的安全保护。
5.2.7.
云计算网络关键技术支撑
5.2.7.1.
网络虚拟化技术
网络虚拟化技术是当前云计算云机房领域的关注焦点，采用虚拟化来优化 IT
架构、提升 IT 系统运行效率是当前云机房云计算技术发展的方向。
对于服务器或应用的虚拟化架构，
IT 行业相对比较熟悉：在服务器上采用虚拟化软件运行多台虚拟机
(VM---Virtual Machine) ，以提升物理资源利用效率，可视为 1:N 的虚拟化；另一方面，将多台物理服务器整合起来，对外提供更为强大的处理性能(如负载均衡集群 )，可视为 N:1 的虚拟化。
对于基础网络来说，虚拟化技术也有相同的体现：在一套物理网络上采用 VPN或 VRF 技术划分出多个相互隔离的逻辑网络，是 1:N 的虚拟化；将多个物理网络设备整合成一台逻辑设备，简化网络架构，是 N:1 虚拟化。网络虚拟化技术属于 N:1整合型虚拟化技术范畴。
5.2.7.2.
分布式大缓存与流量调度技术
网络带宽已经跨过了 10M/100M/1000M ，当前的 10G、N*10G 的高速带宽正成为网络建设的基本规格。随着 >8*10G 性能的需求日趋强烈，超高速网络 (40/100G 平台)技术已经开始在当前的云机房部署使用。
云计算网络的性能要求超过常规应用云机房，这样的要求使得网络平台构建上
性能的考虑区别于传统的认识，深入认识云的底层特质。网络的交换容量和网络浪涌的吸收容量即是云计算 (或大型云机房
)网络的性能关注点要同时关注的两方面。
云计算是前所未有的性能密集型 IT 业务模式已经是不争的事实，云计算的发展将直接依托于超高速网络，并依赖于超高速交换技术实现服务交付。然而超高速交换 本身还不足以解决所有问题，围绕超高速网络环境下的多种关键技术还有待于无缝集
成。
5.2.7.3.
云机房接入层虚拟交换机技术
对于云计算云机房新技术的发展方向，在本次云计算服务系统的建设中进行充
分的考虑，其中包括基于无丢包以太网技术标准族（ 802.3Qau、802.1Qbb、802.1Qaz、
Data Center Bridging Exchange Protoco）l 实现数据中的统一交换架构，在一个交换平
台上有效支撑业务的前端访问、服务器高速互联、存储访问。另外服务器虚拟化之后，上连的网络交换机也在进行 EVB 边缘接入控制技术的探讨，相关的技术标准
802.1Qbh 和 802.1Qbg 等也即将在未来两年陆续发布，因此本次系统建设中，对这部分前沿技术也进行了充分的考虑。
5.2.7.4.
构建大二层网络
5.2.7.4.1.
虚拟化技术构建大二层网络
1.
通过网络虚拟化技术实现以太网跨设备链路聚合
网络虚拟化技术可将多台网络设备（成员设备）虚拟化为一台网络设备（虚拟设备），并将这些设备作为单一设备管理和使用。网络虚拟化成员设备在本地记录自己已知的拓扑信息，拓扑信息通过网络虚拟化互联端口传递，经过一段时间的收集，所有设备上都会收集到完整的拓扑信息。
2.
通过网络虚拟化构建无 STP 的云机房二层网络
网络虚拟化不仅使多台物理设备简化成一台逻辑设备，同时网络各层之间的多条链路连接也将变成两台逻辑设备之间的直连，因此可以将多条物理链路进行跨设备的链路聚合，从而变成了一条逻辑链路，增加带宽的同时也避免了由多条物理链路引起的环路问题。
5.2.7.4.2.
网络虚拟化与 TRILL 的综合对比
网络虚拟化技术 TRILL
技术成熟度 5 2
配置管理复杂性 5 3
二层网络规模（分值大代表规模大） 3 5
与传统 STP 网络的无缝连接能力 5 4
现网设备对该技术的支持能力 4 0
* 注：满分为 5，分值越接近 5，表示该项技术参数越优良。
计算虚拟化技术以及大规模集群技术的广泛应用，必然会使云机房内的二层网
络范围不断扩大。网络虚拟化与 TRILL 都是解决无 STP 大二层网络的方案，通过本文的比较分析可以看出， TRILL 的优势在于可构建超大规模的二层网络（应用于大
规模集群计算），但 TRILL 的问题在于技术尚未成熟，而且传统以太网交换机不能
通过软件升级支持该特性。反观网络虚拟化，其技术成熟度、配置简易性以及对现网
设备支持能力都要强于 TRILL 。另外，从云机房业务系统的架构来看，超大规模 二层网络集群计算环境并不多见，所以就近期的网络技术及应用架构的发展趋势来看，网络虚拟化无疑是最为合适的构建无 STP 大二层网络的技术。
5.2.8.
虚拟网络规划
5.2.8.1. vSphere Distributed Switch
vSphere Distributed
Switch 就像是所有关联主机之间的一个交换机。这使您能够 设置跨所有成员主机的网络配置，并使得虚拟机可在跨多个主机进行迁移时保持其网 络配置一致。，每个 vSphere Distributed Switch 也是虚拟机可以使用的网络集线器。分布式交换机可以在虚拟机之间进行内部流量转发或通过连接到物理以太网适配器
（也称为上行链路适配器）链接到外部网络。还可向每个分布式交换机分配一个或多个分布式端口组。分布式端口组将多个端口分组到一个公共配置下，并为连接到带标记网络的虚拟机提供稳定的定位点。每个分布式端口组都由一个对于当前云机房唯 一的网络标签来标识。 VLAN ID 是可选的，它用于将端口组流量限制在物理网络内
的一个逻辑以太网网段中。利用网络资源池，可以按网络流量的类型来管理网络流量。
5.2.8.2.
如何添加分布式端口组
将分布式端口组添加到 vSphere Distributed Switch 来为虚拟机创建分布式交换机网络。
步骤
1
登录 vSphere Client，然后选择网络清单视图。
2
选择清单 > vSphere Distributed Switch
> 新建端口组。
3
输入新的分布式端口组的名称和端口数。
4
选择 VLAN 类型。
5
单击下一步。
6
单击完成。
目标虚拟机名称 vlan ID
先进视讯服务器 网管 2
执法办案 101
派综警综 web 服务器刑侦系统刑警
足迹识别 for 刑警 2
情报研判智能轨迹情报研判动态管控入侵检测
运行管理平台 1 web
运行管理平台 2 省厅 6
集群管理 集群安全管理网络管理
数据抽取 5
数据交换平台数据交换
老警综比对（未用）
新警综练习服务器 4
集成通讯实时交互
漏洞扫描（ XXX 部每月一次 通报 ）绩效考核服务器（省厅）
防毒中心 瑞星入侵检测
市局主页前台（老）
市局主页后台（老）数据库金山毒霸
WEB 服务器(省厅图像平台
) DB/VAS( 省厅图像平台 )
CMV/CUI( 省厅图像平台 ) 3
VTDU( 省厅图像平台 ) PUI(省厅图像平台 ) NRU( 省厅图像平台 )服务之窗服务器
RA 认证(证书目录服务器 PKI) RA 认证(证书目录服务器 PMI)
人事处人事系统
指挥部服务器
指挥部系统（ web 网页）国资应用 Tomcat weblogic
装财主页、公司查询、修车系统 6
新短信平台 5
第 6章 云计算中心安全层设计
6.1.
云计算安全建设需求
从―云计算 ‖的概念提出以来。关于其数据安全性的质疑就一直不曾平息，这里的安全性主要包括两个方面：一是自己的信息不会被泄露，避免造成不必要的损失，二是在需要时能够保证准确无误地获取这些信息。总结起来，用户在选择云计算服务时主要关注的安全风险有以下几方面：
资源聚合技术的应用使得计算、存储、网络资源高度集中：用户数据存储、处理、网络传输等都与云机房密切相关如果发生故障造成的；后果较传统云机房更
为严重。
虚拟化等技术的应用使得传统物理安全边界缺失：传统网络安全设施与防御机制在防护能力、响应速度等方面越来越难以满足日益复杂的安全防护要求，用户信息安全、用户信息隔离问题在共享物理资源环境下的保护更为迫切。
数据传输安全：通常情况下，云机房保存有大量的 XXX 云计算私密数据，这 些数据往往代表了济南 XXX 云计算的核心业务能力，如 XXX 关键业务流程等等。在云计算模式下，将数据通过网络传递到济南 XXX 云计算云机房进行处 理时，面临着几个方面的问题：一是如何确保济南 XXX 云计算的数据在网络传输过程中严格加密不被窃取 ;二是如何保证济南 XXX 云计算云机房在得到数据 时不将绝密数据泄露出去 ;三是在济南 XXX 云计算云机房处存储时，如何保证 访问用户经过严格的权限认证并且是合法的数据访问，并保证济南 XXX 云计算在任何时候都可以安全访问到自身的数据；
数据存储安全：济南 XXX 云计算的数据存储是非常重要的环节，其中包括数据
的存储位置、数据的相互隔离、数据的灾难恢复等。在云计算模式下，济南 XXX
云计算云机房在高度整合的大容量存储空间上，开辟出一部分存储空间提供给
各权属单位计算使用。但相关单位并不清楚自己的数据被放置在哪台服务器上， 甚至根本不了解这台服务器放置在哪个机柜；济南 XXX 云计算云机房在存储
资源所在处是否会存在信息安全等问题，能否确保济南 XXX 云计算数据不被泄露;同时，在这种数据存储资源共享的环境下，即使采用了加密方式，济南 XXX
云计算云机房是否能够保证数据之间的有限隔离 ;另外，即使济南 XXX 云计算
用户了解数据存放的服务器的准确位置，也必会要求服务单位作出承诺，对所托管数据进行备份，以防止出现重大事故时，单位的数据无法得到恢复；
数据审计安全：济南 XXX 云计算进行内部数据管理时，为了保证数据的准确性往往会引入第三方的认证机构进行审计或是认证。但是在云计算环境下，济南
XXX 云计算云机房如何确保不对其他涉密数据计算带来风险的同时，又提供
必要的信息支持 .以便协助第三方机构对数据的产生进行安全性和准确性的审计，实现济南 XXX 云计算的合规性要求。
6.2.
云计算安全建设思路
我们建议根据业务应用特点及平台架构层的特性，在采取传统安全防护基础上，进一步集成数据加密、 VPN 、身份认证、安全存储、虚拟化安全、安全防御设施和资源云化等综合安全技术手段，构建面向应用的纵深安全防御体系。主要体现如下的四个方面：
1、底层结构安全，主要保障虚拟化、分布式计算等平台架构层面安全；
分布式计算平台的服务器安全，主要参考传统安全防护体系进行保护，主要包括操作系统安全、交换机 VLAN 划分、以及集群下存储安全及服务器双机热备，保障可靠性等；
服务器虚拟化安全：虚拟机管理器安全：服务最小化原则、内核模块完整性、补
定管理机制等；虚拟机安全：虚拟机安全隔离、访问控制、恶意虚拟机防护（ 防地址欺骗、 VM 端口扫描等 ）、虚拟机资源限制等；
网络虚拟化安全：虚拟交换机：采用 VLAN 划分虚拟机组、对端口限速，禁止
混杂模式进行网络嗅探等；虚拟防火墙：设置安全访问控制策略，建立逻辑安全边界；
存储安全：需要支持存储空间的负载均衡、冗余保护等；
高可用性要求：支持虚拟机的 HA( 冷备 ) 、 FT （热备）、备份恢复等，实现故障虚拟机的重新启用或快速切换，保障高可用性；
容灾备份：提供虚拟机层级的异地容灾服务；
虚拟化安全管理：支持宿主机资源监控、虚拟机资源监控、安全移及回退机制、负载均衡、资源预留等；
2、基础设施安全，保障云机房基础设施的稳定性及服务连续性
基础网络安全：重点是安全域划分：部署隔离设备、防火墙，划分物理网络、逻辑安全域，实施安全边界防护；异常流量监测与攻击防范：进行流量实施监控，部署 DDoS 攻击防御系统或使用相关攻击防护服务；采用负载均衡设备，实现承载网络应支持设备级、链路级的冗余备份，
主机及管理终端安全：主机
/ 终端系统安全加固：补丁管理、安全配置；安全防护：控制蠕虫 / 病毒
/
木马在云计算平台内传播，非法入侵监测；
安全基础设施资源池化：采用安全云技术提升安全基础设施服务效能，构建安全服务资源池；
应急响应：建立完善的应急响应机制，提高对异常情况和突发事件的应急；
3、数据安全，尤其保障数据信息的 CIA （可用性、保密性和完整性）物理隔离：通过不同的业务访问规模部署多套物理隔离的系统网络云； 数据隔离：通过虚拟化层安全机制实现虚拟机间存储访问隔离；
数据访问控制： 数据访问控制：
数据访问控制： 数据访问控制： 设置虚拟环境下的逻辑边界安全访问控制策略，实现虚拟机、虚拟机组间的数据访问控制；
数据存储安全 ：为用户可选提供加密存储服务；虚拟机服务则建议用户对重要
的数据信息在上传、存储前进行加密处理；
数据传输安全：采用 SSH 、 SSL 等方式保障维护管理信息的安全；支持采用数据加密、 VPN 等保障用户数据信息的网络传输安全；
剩余信息保护：存储资源重分配之前进行完整的数据擦除；数据删除后，对应的
存储区进行完整的数据擦除或标识为只写；数据备份与恢复：支持文件级完整和增量备份；映像级恢复和单个文件的恢复；
4、运营管理安全，积极提高运营管理安全的水平和质量，实现集中地安全事件监控和管理，完善安全审计追溯机制；
安全监控：通过部署集中的安全管理平台，运用多种技术、手段，收集和分析各类安全事件，并运用实时关联分析技术、智能推理技术和风险管理技术，实现对
安全事件的深度挖掘，快速做出智能相应，实现对济南 XXX 云计算安全风险台式的统一监控和预警处理；
运营安全：制定安全运营策略及安全维护规章要求；制定云机房运营维护 SLA
指标要求；制定云机房安全事件应急响应机制及流程，包括安全事件的等级划分、处理流程、事件上报等规范要求。
4A 安全（帐号、认证、授权、审计）：用户管理 用户管理 用户管理 用户管理 ：对用户帐号进行集中维护管理，为集中访问控制、集中授权、集中审计提供可靠
的原始数据；访问认证：应建立统一、集中的认证和授权系统，以提高访问认证的安全性；安全审计 ：建立安全审计系统，进行统一、完整的审计分析，通过
对操作、维护等各类日志的安全审计，提高对违规溯源的事后审查能力；采用 ―分区分域、重点保护
‖的建设原则，和 ―综合防御、积极防范 ‖的建设思路，结合信
息系统实际的网络环境，遵循方案的整体设计原则，为济南 XXX 云计算数据中心建设一个安全、稳定、可靠、实用高效的网络安全基础平台。
在充分的分析和理解了上述体系设计思路后，济南 XXX 云计算平台安全系统的建设方案中，按照 ―横向分域，纵向分类 ‖的方式进行设计和建设，横向上采取分域的办法，并基于安全域详细分析各个区域的重要程度，采取不同级别的安全防护系统，
满足信息系统的安全集成需求；纵向上按照不同类型的技术手段，针对信息系统的特点和需求，分别进行部署和策略的设计，提升系统的抗攻击能力，使系统能够更好地支撑上层各类应用，形成纵深防御系统。
6.3.
云计算安全系统总体设计
济南 XXX 市云计算中心本着打造成 ―行业云 ‖、―安全云 ‖的原则，是一个集多个层面为一体的大型云计算中心，不仅提供 XXX 云服务服务、同时还对外提供一系列的如民众访问、企事业查询等云服务，所以建立一整套完善的安全体系是整个云计算中
心的安全保障。济南 XXX 云安全平台体系架构如下：
云 网络安全
算 边界、 DDoS攻击、窃听 ...
相 数据安全
关 存储、完整性、保密 ...
标
准 平台环境
律 虚拟化、系统、物理环境 ...
法 用户终端
接入、身份认证 ...
内外网出口安全防护体系
计
解 算
云机房区安 安
全防护体系 全
案 管
理
终端接入安全防护体系
云计算安全运行体系
云计算中心安全遵循内网云计算、外网云计算、图像云计算、 XX 业务专网云平台物理隔离的原则，分开设计。每个云区安全整体架构分为：互联网与专网接入安全
防护设计、云机房安全防护设计、云终端接入安全设计。
6.4.
云计算安全防护详细设计
在本次济南 XXX 云计算安全系统防护设计中，根据终端接入、外网 /专网接入、云机房、及安全管理体系四个层面来设计，其中这四个层次包括了物理层、链路传
输层、网络层、系统层、应用层、管理层六个层面的风险安全。
根据内外网和其他专网安全的特点，建立纵深、立体的网络安全体系。
数据显示
防火墙抗DoS 入侵防护漏洞扫描
人员管理平
台
形成报告
访问控制攻击分析安全审计风险分析
设备资产管理平台
调度解决
安 安
全 全
管 管
理 理
中 平
心 台
信息网络管理平台
6.4.1. 平台层安全
平台层的安全基于每个子云进行独立建设。
6.4.1.1.
云中心抗 DDOS 攻击安全防护
云机房遭受 DDOS 攻击常有发生，时时都有受到攻击的威胁。当前济南 XXX
云计算中心非常大的安全隐患是来自互联网的拒绝服务攻击（ Denial of Service Attacks），包括以 SYN Flood 和 Ping Flood 为主的技术，其主要方式是通过使关键系统资源过载，导致网络或服务器的资源被大量占用，甚至造成网络或服务器的全面 瘫痪。
因此通过在济南 XXX 外网云计算部署抗拒绝服务攻击设备，实现 DDOS 攻击防范，或者向运营商购买抗 DDOS 服务来防范 DDOS 攻击。其中流量分析系统位于互
联网接入区，采用路由器 /交换机输出网络流量的统计数据的方法，路由器 /交换机对 通过其的 IP 数据包进行统计和分析，并上报给采集器，网流采集器把搜集的数据包
及统计数据传送到分析器，经合并处理后存入数据库，并进行进一步的分析处理。
6.4.1.2.
漏洞扫描
由于前端核心出口有大量的网络设备，必不可少的存在大量的漏洞，往往黑客可借助漏洞扫描工具，发现这些漏洞，然后再进行攻击，对于对数据保密性和安全性要
求较高的云计算中心，如何做到在黑客扫描到漏洞发起攻击之前，先扫描到自己的漏 洞，进行相关的措施，是云计算中心需要解决的一个问题。漏洞扫描主要有如下过程：漏洞检测、漏洞审计、漏洞预警、漏洞修复、漏洞管理。
建议在
XXX 内网云计算、外网云计算分别部署漏洞扫描硬件设备，并通过虚拟化的补丁服务器，实现各云系统主机的漏洞发现和补丁升级。
6.4.1.3.
入侵防护设计
针对接入区域的边界防护，通过防火墙实现了基本的访问控制，但由于防火墙的一些功能限制，使得那些伪装类的攻击仍然可以穿越防火墙而进入互联网与专网接入区域区的信息网络内，因此也有必要引入入侵检测系统。
入侵防护系统作用于互联网与专网接入区域，将为保护接入区域发挥以下的安全作用：
防范网络攻击事件
入侵防御系统采用细粒度检测技术，协议分析技术，误用检测技术，协议异常检 测，可有效防止各种攻击和欺骗。针对端口扫描类、木马后门、缓冲区溢出、 IP 碎片攻击等，入侵防御系统可在网络边界处进行监控和阻断。
防范拒绝服务攻击
入侵防御系统在防火墙进行边界防范的基础上，工作在网络的关键环节，能够应 付各种 SNA 类型和应用层的强力攻击行为 ,包括消耗目的端的各种资源如网络带宽、
系统性能等攻击，主要防范的攻击类型有 TCP Flood， UDP Flood，SYN Flood，Ping Abuse 等；
审计、查询策略
入侵防御系统能够完整记录多种应用协议（ HTTP、FTP、SMTP、POP3、TELNET
等）的内容。记录内容包括，攻击源 IP、攻击类型、攻击目标、攻击时间等信息，并按照相应的协议格式进行回放，清楚再现入侵者的攻击过程，重现内部网络资源滥用时泄漏的保密信息内容。同时必须对重要安全事件提供多种报警机制。
网络检测策略
在检测过程中入侵防御系统综合运用多种检测手段，在检测的各个部分使用合适的检测方式，采取基于特征和基于行为的检测，对数据包的特征进行分析，有效发现网络中异常的访问行为和数据包；
监控管理策略
入侵防御系统提供人性化的控制台，提供初次安装探测器向导、探测器高级配置向导、报表定制向导等，易于用户使用。一站式管理结构，简化了配置流程。强大的日志报表功能，用户可定制查询和报表。
异常报警策略
入侵防御系统通过报警类型的制定，明确哪类事件，通过什么样的方式，进行报警，可以选择的包括声音、电子邮件、消息。
阻断策略
由于入侵防御系统串联在保护区域的边界上，系统在检测到攻击行为后，能够主动进行阻断，将攻击来源阻断在安全区域之外，有效保障各类业务应用的正常开展，这里包括数据采集业务和信息发布业务；
在线升级策略
入侵防御系统内置的检测库是决定系统检测能力的关键因素，因此应定期进行在线升级，确保入侵检测库的完整性和有效性。
入侵防御系统（ IPS）能够深入数据内部，分析漏洞特征和攻击代码特征，过滤有害数据流，丢弃有害数据包，并进行记录，以便事后分析。可提供的功能包括：
（1） 高精度、高效率的入侵检测引擎
（2） 全面、及时的攻击特征库
（3） 实用、强大的业务增值功能
（4） 基于应用的带宽管理
（5） 客户定制的 URL 过滤
（6） 强大的时间特性
建议在内网云计算、外网云计算、图像专网的核心网络前端部署入侵防护设备，并根据各权属单位的互访控制需求弹性部署入侵防御。针对每套网络核心，部署一套
入侵检测系统，进行数据深度分析。
6.4.1.4.
安全审计
对于云计算服务区，还应当有效记录其受到的访问情况，并提供给信息系统的系统管理人员进行事后的分析。
安全审计系统是根据跟踪检测、协议还原技术开发的功能强大的安全审计系统为网上信息的监测和审查提供完备的解决方案。它能以旁路、透明的方式实时高速的对进出云计算服务区的访问数据包和传输信息等进行数据截取和还原，并可根据用户需求对通信内容进行审计，提供高速的敏感关键词检索和标记功能，从而为防止内部网络敏感信息的泄漏以及非法信息的传播，它能完整的记录各种信息的起始地址和使用者，为调查取证提供第一手的资料。
安全审计系统为云计算服务区的管理也提供了有效协助，信息系统的系统管理人员正是通过对审计记录的深入分析，来掌握网络的活动状态，也能够通过分析来深入发掘系统可能存在的深层次安全隐患，为不断地加固云计算服务区提供有力协助。
实现协议审计
业务审计系统能够对部署在云计算服务区的 SQL Server/Oracle/MySQL 等数据库进行审计，能够有选择地记录通过网络对数据库进行的操作，特别是云计算服务区应
用系统对数据库的各类操作，包括 INSERT、UPDATE 、SELECT、DELECT 等；实现操作行为审计
业务审计系统作用于云计算服务区，能够实时监测并智能地分析、还原云计算服
务区各类应用服务器对数据库的操作，解析应用服务器对数据库的登录、注销、插入、删除、执行存储过程等操作，还原 SQL 操作语句；跟踪客户端操作请求执行结果；
实现操作内容审计
业务审计系统的审计内容包括登录客户、数据库名、表名、字段名（在 SQL 语句中明确含有的字段名）及关键字（字段内容）等内容，并能够根据上述审计要素进
行多种条件组合的规则设定，形成灵活的审计策略；实现灵活的记录查询
对于云计算服务区内的各类记录，业务审计系统提供了多种记录的查询方式，包括源 IP、源端口、目的 IP、目的端口、引擎名、客户名、帐户、规则名、时间等因素，并可通过查询因素的组合进行深度查询；
审计报表
业务审计系统能够将记录的内容，通过多种形式的报表提供给系统管理人员，报表包括数据库访问量统计、服务器对数据库操作行为统计、单个客户对数据库操作行为统计、数据库访问历史统计等；
实现取证和追溯
系统管理人员利用业务审计系统，可以很清晰的了解到对数据库操作的全过程，并且还能够通过关键字技术，分辨出那些存在问题的访问，和对数据的非法访问，为安全事件的时候取证提供协助。
建议通过在各云计算平台部署统一的安全审计系统，实现事件跟踪、内容审计等系统的不可否认性。
6.4.1.5.
云终端接入安全设计
对于云计算来说，其对外开展业务是开放的，我们如何在保证云资源获取的便利性的同时，确保云用户身份的合法性和云资源访问权限的可控性，如何确保业务的安全性，如何防止来自互联网对云计算的攻击和入侵，将会是阻碍用户放心的迁移业务的关键因素。我们在接入终端安全提出端到端的 SSL VPN 接入解决方案。
云终端接入安全是云计算中心需要解决的一个重点的问题。其主要需要考虑的有：身份安全、终端安全、传输安全、权限安全。
身份认证安全：
许多部署在局域网内重要的应用都是采用最简单的用户名密码进行验证。使用单一用户名密码进行验证存在帐号密码遭人盗用而导致越权访问的问题，尤其对于重要的应用系统如财务、用户信息等限定在特定部门、特定人员访问的核心系统，一旦遭遇用户名密码被盗窃，其后果所造成的威胁将是不可估量的。
通过 SSL VPN 技术，支持多种认证方式的多因素组合认证，除了最基本的用户
名密码认证之外，还支持 LDAP/AD 、Radius、CA 等第三方认证，支持 USB KEY 、硬件特征码、短信认证（短信猫和短信网关）、动态令牌卡等加强认证方式。
单一的认证方式容易被暴力破解，为了进一步提高身份认证的安全性，我们创新
性提出混合认证，针对以上认证方式可以进行多因素的 ―与‖、―或‖组合认证。
―与‖组
合认证可实现多达 5 种以上认证方式的捆绑，必须同时满足才能够接入 SSL VPN 系统。―或‖组合认证可对于以上几种认证方式进行或组合，只要通过一种认证方式即可
接入到 SSL VPN 系统中。
通过多因素组合认证大大加强认证安全的强度，确保接入 SSL VPN 的用户的身份的确认性。
动态令牌
CA认证
因此，方案建议可在云计算内网、云计算外网部署 SSL VPN 系统设备，以保障内外网平台数据访问的安全性。
权限安全
由于云计算中心，是一个复杂的体系，所以其对接入权限的管理就越细，可以通过控制用户对不同业务的访问权限，确保用户只能访问自己身份对于的应用资源，甚至可以对应用划分至 URL 级别。
针对不同的业务系统， SSL VPN 具有细致化的访问权限控制能力，保证不同的
用户只能访问相匹配的资源，对于具有多个权属单位接入协同作业的济南 XXX 云计算来说，是最好的安全保障方案。
与 CA 系统的联动认证
网络是个开放的环境，在网络上通讯的双方无法有一种很好的方式确定对方的身
份，所以，引入第三方的权威机构 CA，通讯的双方都认为 CA 就如 XXX 局一样是绝对可信任的。然后由 CA 给通讯的双方颁发证书（身份证），通讯的双方在接受到 对方的这个证书的时候，就验证是否是 CA 签发的，若是
CA （XXX 局）签发的，就说明该身份证是可靠的，上面的身份信息是准确无误的，从而达到在开放的网络环境
中确认对方身份的目的。
CA(Certificate Authority) 是数字证书认证中心的简称，是指发放、管理、废除数 字证书的机构。 CA 的作用是检查证书持有者身份的合法性，并签发证书（在证书上
签字），以防证书被伪造或篡改，以及对证书和密钥进行管理。 CA 是基于非对称加密体系的。
世界上的 CA 认证中心不止一家，同根 CA 下的 CA 认证中心的关系如下图：
由于济南 XXX 云计算整体采用了 XXX 厅下发的 CA 认证证书，方案建议可通过将 SSL VPN 的接入与第三方的 CA 认证结合，加强整个云系统终端接入安全。
6.4.1.6.
边界访问控制的安全防护
互联网与专网接入区域，需要在网络出口处采取必要的强制访问控制措施，比如防火墙设备，但主要目的是限制对其他安全区域的的非法访问，特别是限制对业务应用服务区与云计算服务器区访问，且主要提供网络层防火墙。
在互联网与专网接入区域的边界部署两台高性能防火墙设备，并在防火墙上配置
访问控制策略，通过源地址、目标地址、协议、端口号、用户、时间等因素，限制互联网与专网接入区域的终端对外部的访问。
建议防火墙采用双机的方式，与内外网后其他专网接入区域原有的双链路环境配合，确保系统的高可用性，并解决以下的安全问题：
保护脆弱的服务
过滤不安全的服务，防火墙可以极大地提高网络安全。例如，防火墙可以禁止终端通过 NIS、NFS、FINGER 等方式访问应用服务器，包括一些攻击常常采用的高端口类访问，尽管这些服务在服务器上没有被及时关闭；此外，防火墙还可以拒绝源路由和 ICMP 重定向封包等安全威胁，如果互联网与专网接入区域内的终端发出了这
些访问请求，部署在互联网与专网接入区域边界的防火墙将自动阻断此类访问；
控制对系统的访问
防火墙可以提供对系统的访问控制，根据访问控制规则，限制了外部终端可以访问的目标主机，例如，防火墙只允许互联网与专网接入区域终端访问到业务应用服务区与云计算服务器区的指定服务器，访问特定的应用系统；
集中的安全管理
防火墙对内部网实现集中的安全管理，在防火墙定义的安全规则可以运用于整个内部网络系统，而无须在内部网每台机器上分别设立安全策略。如在防火墙可以定义不同的用户，而不需在每台机器上分别安装特定的认证软件。内部用户也只需要经过口令认证即可通过透明代理访问外部网；
保护网络拓扑
使用防火墙可以阻止攻击者获取攻击网络系统的有用信息，这里部署的防火墙可 限制外部通过 PING、FINGER 等方式来访问互联网与专网接入区域，从而使得外部攻击者无法了解到互联网与专网接入区域的真实 IP 分配情况，以及网络拓扑情况，更有效地保护了互联网与专网接入区域；
记录和统计网络日志
防火墙可以记录和统计通过防火墙的网络通讯，提供关于网络使用的统计数据并对非法访问作记录日志，从防火墙或专门的日志服务器提供统计数据，来判断可能的攻击和探测，利用日志可以对入侵和非法访问进行跟踪以及事后分析。
方案建议在 XXX 内网云计算、外网云计算的接入边界、云计算资源区前端以及其他云计算的接入边界部署防火墙设备，并根据各权属单位的互访控制需求弹性部署边界防护设备，通过虚拟防火墙技术，实现各云中区域间的边界互访控制。
同时，可考虑在 ESXi Server 和虚拟主机之间部署防火墙软件刀片，通过防火墙刀片与虚拟化平台的无缝接合，实现虚拟主机之间的互访控制，以及增强虚拟化环境
之外用户访问的安全性。
具有虚拟化功能的软件刀片主要优点：
灵活性 –以最正确的投资提供最正确的保护。
可管理性 –便于快速地部署安全功能，并通过集中管理软件刀片提高生产率。整体安全性 –在所有执行点和全部网络层提供适当的安全等级。
较低的总体拥有成本 - 通过强化和利用现有的基础架构，以提供投资保护。
性能保证 –针对刀片启用性能设置，以确保提供性能保证。
安全网关软件刀片除包含防火墙功能外，可弹性扩展 IPsec VPN、IPS、Web 安全、网址过滤、防病毒和防恶意软件、防垃圾邮件和电子邮件安全、高级网络（高级
路由、 QOS）、加速和集群、网络电话 VOIP 等功能刀片
,从而实现虚拟化层的整体安全防护。
6.4.1.7.
安全隔离网闸
网闸（ GAP）全称安全隔离网闸。安全隔离网闸是一种由带有多种控制功能专用硬件在电路上切断网络之间的链路层连接，并能够在网络间进行安全适度的应用数据交换的网络安全设备。
内网处理单元：包括内网接口单元与内网数据缓冲区。接口部分负责与内网的连
接，并终止内网用户的网络连接，对数据进行病毒检测、防火墙、入侵防护等安全检测后剥离出 ―纯数据 ‖，作好交换的准备，也完成来自内网对用户身份的确认，确保数据的安全通道；数据缓冲区是存放并调度剥离后的数据，负责与隔离交换单元的数据交换。
外网处理单元：与内网处理单元功能相同，但处理的是外网连接。
隔离与交换控制单元：是网闸隔离控制的摆渡控制，控制交换通道的开启与关闭。控制单元中包含一个数据交换区，就是数据交换中的摆渡船。对交换通道的控制的方 式目前有两种技术，摆渡开关与通道控制。摆渡开关是电子倒换开关，让数据交换区 与内外网在任意时刻的不同时连接，形成空间间隔 GAP，实现物理隔离。通道方式是在内外网之间改变通讯模式，中断了内外网的直接连接，采用私密的通讯手段形成 内外网的物理隔离。该单元中有一个数据交换区，作为交换数据的中转。
安全隔离网闸的两类模型：
在内外网处理单元中，接口处理与数据缓冲之间的通道，称内部通道 1，缓冲区与交换区之间的通道，称内部通道 2。对内部通道的开关控制，就可以形成内外网的 隔离。模型中的用中间的数据交换区摆渡数据，称为三区模型；摆渡时，交换区的总
线分别与内、外网缓冲区连接，也就是内部通道 2 的控制，完成数据交换。
还有一种方式是取消数据交换区，分别交互控制内部通道 1 与内部通道
2，形成二区模型。
二区模型的数据摆渡分两次：先是连接内、外网数据缓冲区的内部通道 2 断开，
内部通道 1 连接，内外网接口单元将要交换的数据接收过来，存在各自的缓冲区中，
完成一次摆渡。然后内部通道 1 断开，内部通道 2 连接，内外网的数据缓冲区与各自的接口单元断开后，两个缓冲区连接，分别把要交换的数据交换到对方的缓冲区中，
完成数据的二次摆渡。
内部通道一般也采用非通用网络的通讯连接，让来自两端的可能攻击终止于接口单元，从而增强网闸的隔离效果。安全隔离网闸设计的目的，是隔离内外网业务连接的前提下，实现安全的数据交换。也就是安全专家描述的：协议落地，数据交换。
建议在统一管理平台与各子云网络连接链路上，采用网闸做安全隔离，管理平台与各设备之间单向数据抓取、管理。
6.4.2. 主机层安全
6.4.2.1.
服务器负载均衡
服务负载均衡可以有效地均衡 IP 应用的负载，优化网络性能，可以监视所有的用户请求并在可用的应用主机之间进行智能化的负载分配，从而可以提供应用系统极 好的容错、冗余、优化和可扩展性能。
提高应用系统的高可靠性。
通过专用的服务器负载均衡设备自动的网络应用可用性检查，保证网络应用的 7x24 小时的持续性服务。能支持多种健康检查的方式，例如，三层的 ICMP、四层的 TCP/UDP 端口、七层的 URL 和内容等，可以根据实际网络环境和应用的不同选
择不同的健康检查方法。
提高网络应用的高可用性：
摆脱单机服务器工作带来的压力影响，让所有的应用服务器全部参与到负载均衡群组中，达到 100%的服务提供率，彻底消除因单台服务器带来的压力。并配合负载均衡技术来提高网络应用的性能。
提高网络应用的高可管理性
负载均衡设备必须具有高管理性，可以很好的维护业务调度系统，能够根据实际的运行情况及时维护和适时调整系统。具有强力有效的管理手段，使系统保持良好的运行状态。
业务系统具有高可扩展性：
负载均衡设备要求在业务处理能力，升级能力等方面具有较强的可扩展性，并具备在不改动系统结构的基础上满足业务不断发展的需要。
为了确保系统应用的可靠性，采用以下几种手段：
健康检查：可靠的健康状况检查可以保证用户获得最佳的服务。可以监视服务器在 IP、TCP、UDP、应用和内容等所有协议层上的工作状态。如果发现故障，用户即被透明地重定向到正常工作的服务器上。这可以保证用户始终能够获得他们所期望的信息。
设备自身的冗余：提供设备间的完全容错，以确保网络最大的可用性。两个设备 通过网络相互检查各自的工作状态，为其所管理的应用保障完全的网络可用性。它们 可工作于 ―主用-备用‖模式或 ―主用-主用‖模式，在 ―主用-主用‖模式下，因为两个设备都处于工作状态，从而最大限度地保护了投资。并且所有的信息都可在设备间进行镜 像，从而提供透明的冗余和完全的容错，确保在任何时候用户都可以获得从点击到内 容的最佳服务。
智能的服务器服务恢复：将重新启动的服务器应用到服务中时，避免新服务器因突然出现的流量冲击导致系统故障是非常重要的。所以，在将新服务器引入服务器组
时， AD 将逐渐地增加分配到该服务器的流量，直至达到其完全的处理能力。从而不仅保证用户在服务器退出服务时，同时还保证服务器在启动期间以及应用程序开始时，均能获得不间断服务。
通过负载均衡优化服务器资源：执行复杂的负载均衡算法，在多个本地和远程服
务器间动态分配负载。这些算法包括循环、最少用户数、最小流量、 Native Windows NT 以及定制代理支持。除了这些算法，还可以为每个服务器分配一个可以配置的性
能加权，从而提高服务器组的性能。
建议在各云计算关键应用服务器前端部署冗余的服务器负载均衡设备，满足海量用户访问云计算应用服务器时的负载分担。
6.4.2.2.
虚拟机 VM 之间访问安全
建设完成后的济南市云计算中心内运行着多个部门的业务系统，业务系统之间我们通过虚拟防火墙或虚拟安全网关等技术，实现虚拟机间的安全隔离。
虚拟防火墙本身是一个虚拟机，结合虚拟化环境下虚拟交换机的使用，在一台或多台物理服务器下，形成了虚拟防火墙与虚拟交换机搭建的虚拟的三层网络结构，与
传统的防火墙、交换机部署功能类似。一个虚拟防火墙可以管理一台或者多台虚拟机，为虚拟机提供安全防护和访问控制功能。通过部署虚拟防火墙，逻辑上云机房的整
体结构域传统模式没有变化，使得虚拟化部署不复杂化网络结构的同时，使安全管理更为简单明了。
虚拟防火墙安全功能实现过程，如下图，当一个终端对云内 VM 进行访问的时候，数据包会经过虚拟防火墙进行安全检测，检测符合访问规则的数据将会转发至虚
机上，非法访问的数据将被阻断。同样，虚机之间的访问，数据流也会通过虚拟防火
墙进行过滤，符合策略的访问才能被运行。
针对 XXX 云计算中心，我们可以在各子云内以业务系统为单位或者是使用部门为单位进行安全域的划分，每个业务系统或者部门的虚拟机同处于一个虚拟防火墙之下的安全域，针对整体做安全策略。对数据的安全使用和访问建立一道屏障。
建议在各子云内部署虚拟防火墙保护虚机的安全。
6.4.3. 数据层安全
6.4.3.1.
数据库的双机部署
目前常见的数据库双机部署模式有 oracle RAC 和 SQL SERVER 双机热备。
6.4.3.1.1.
Oracle RAC 模式
Oracle RAC 主要支持 Oracle9i、10g、11g 版本，可以支持 24 x 7 有效的数据库应用系统，在低成本服务器上构建高可用性数据库系统，并且自由部署应用，无需修
改代码。在 Oracle RAC 环境下， Oracle 集成提供了集群软件和存储管理软件，为用户降低了应用成本。当应用规模需要扩充时，用户可以按需扩展系统，以保证系统的 性能。 RAC 具有以下特点：
(1) 多节点负载均衡 ;
(2) 提供高可用：故障容错和无缝切换功能，将硬件和软件错误造成的影响最小
化;
(3)
通过并行执行技术提高事务响应时间 ----通常用于数据分析系统 ; (4)通过横向扩展提高每秒交易数和连接数 ---- 通常对于联机事务系统 ;
(5)
节约硬件成本，可以用多个廉价 PC 服务器代替昂贵的小型机或大型机，同时节约相应维护成本
;
(6) 可扩展性好，可以方便添加删除节点，扩展硬件资源。
建议核心业务系统部分采用 oracle 数据库的，实施 RAC 部署，为业务系统告诉稳定运行提供保障。
6.4.3.1.2. SQL SERVER 双机热备
SQL SERVEER 双机热备特指基于高可用系统中的两台服务器的热备（或高可
用），通常实现方式有 windows server 企业版自带的集群功能和第三方的双机软件。
双机高可用按工作中的切换方式分为：主
-备方式（ Active-Standby 方式）和双主机方式（ Active-Active 方式），主 -备方式即指的是一台服务器处于某种业务的激活状态
（即 Active 状态），另一台服务器处于该业务的备用状态（即 Standby 状态)。而双主机方式即指两种不同业务分别在两台服务器上互为主备状态（即
Active-Standby 和 Standby-Active 状态）。
当双机系统中发生单台应用程序、操作系统或者硬件故障，通过双机的仲裁机制
会智能检测到故障机的主从状态，如 Active 机器发生上述故障，则发生系统迁移，将 Standby 机器激活，接管应用系统。
建议核心业务系统部分采用 SQL SERVER 数据库的，实施双机热备部署，为业务系统告诉稳定运行提供保障。
6.4.3.2.
数据库的多副本保存
数据备份是系统、数据容灾的基础，也是低端容灾的实现，是高端容灾（实时数据保护）的有力保障。目前备份技术主要有快照备份、离线备份、异地存储备份。备份系统通过备份策略，对计算机信息系统的操作系统、文件系统、应用程序、数据库系统等数据集，实现某一时间点的完整拷贝，拷贝的数据处在非在线状态，不能被立刻访问，必须通过相应操作 ,如恢复等方式使用备份数据。这也解决了高端容灾（实时数据保护）不能解决的问题：人为误操作、恶意性操作等，这类操作，计算机系统是不能区分的，一旦执行，将造成云机房、灾备中心同时修改；对于数据库系统，
在日志方式下，可以通过回滚方式修改，对于文件系统、操作系统等其他配置信息是不能回滚的，将造成毁灭性的结果。
建议定期对数据库进行备份，保存数据库的多个副本，防止发生灾难故障时候数据库损坏造成数据的全部丢失。
6.4.4. 业务系统层安全
云 平 台 安 全 层 采 用 Symantec ? Endpoint
Protection ， Symantec ? Endpoint Protection 以 Symantec Insight? 为后盾，是一款快速而强大的端点安全解决方案。
它实现了高级防御功能，可帮助物理和虚拟系统防御各种类型的攻击。通过将您所需的基本安全工具无缝融入一个采用单一管理控制台的高性能代理中， Endpoint
Protection 可以在不影响系统运行速度的前提下提供世界一流的防护。
6.4.4.1.
云计算防病毒产品主要优势无可匹敌的安全
可以比单独基于特征或行为的解决方案更快速、更准确地检测到新的威胁。
Insight 利用遍布 200 多个国家或地区超过 1.75 亿系统的集体智慧识别新威胁和零日威胁。
实时 SONAR 主动防护技术在程序运行时对其进行检查，识别并阻止恶意行为，即便是新的和以前未知威胁的恶意行为也不例外。
利用赛门铁克全球情报网络， Endpoint Protection
可提供新威胁信息并自动采取措施应对新威胁。
经证明可比其他任何同类解决方案检测和删除更多的威胁。 Endpoint Protection 与 McAfee? 、Trend Micro? 或 Microsoft? 提供的产品相比可检测出更多的威胁。
引人瞩目的性能
实现了非常快的运行速度，以致用户感觉不到它的存在。
Endpoint Protection 中融入了 Insight 技术，与传统解决方案相比，该技术可减少高达 70% 的扫描工作量。
将安全的文件与那些有风险的文件分开，以加快扫描速度，减少扫描次数，
使扫描更智能化。
新的智能型扫描引擎在计算机空闲时工作。
在扫描速度、内存使用和总体性能影响方面，远远超出了其同类的所有其他
产品。
针对虚拟环境而构建
功能增强了，可为您保护虚拟基础架构助一臂之力。
将大部分扫描移出各虚拟机，减少扫描工作量高达 70%，减少磁盘输入 /输出 90% 之多。
防止在虚拟环境中同时扫描和更新。
自动识别和管理虚拟机，从而使创建特定的虚拟机策略轻松易行。扫描脱机映像。
6.4.4.2.
云计算防病毒产品主要功能主动检测威胁
Insight 和 SONAR 主动防护技术可检测新的威胁和快速变异的恶意软件，阻止恶意行为，其中包括新的和以前未知威胁的恶意行为。
病毒和间谍软件防护
防御病毒、蠕虫、特洛伊木马、间谍软件、僵尸、零日威胁和 rootkit 。网络威胁防护
基于规则的防火墙引擎、浏览器防护和一般漏洞利用禁止功能 (GE) 可防止系统遭受偷渡式下载和基于网络的攻击。
融合多种技术于单一代理
将防病毒、反间谍软件、桌面防火墙、入侵防御、设备和应用程序控制以及网络准入控制融入单一代理中。
智能管理
集中式管理和流程自动化有助于更深入地了解威胁，提高威胁响应速度。
Symantec Insight
有了 Insight，恶意软件编写者可以在 Catch-22 中被捕获。如果变异微乎其微，他们将被基于特征的防护所捕获；如果变异过于繁多，他们将被 Insight 所捕获。 Insight 可检测通过其他方式检测不到的新威胁和未知威胁。
关联了用户、文件和网站之间存在的数百亿种关系，可快速识别只有少数几
个系统中存在的变异威胁。
将扫描工作量减少了
70% 之多，因为它只扫描存在风险的文件。
变异和加密恶意软件难逃检测或无法围绕其进行编码。
将存在风险的文件与安全的文件区分开来，可提高恶意软件的检测速度和准确性。
实时 SONAR 3 第三代主动行为防护
在程序运行时对其进行检查，识别并阻止恶意行为，即便是新的和以前未知威胁的恶意行为也不例外。
浏览器主动防护
扫描偷渡式下载和以浏览器漏洞为目标的攻击。针对虚拟环境而构建
保护虚拟基础架构：
Virtual image
exception：通过将标准虚拟机映像中的文件加入到白名单中来优化扫描。
资源分级：使扫描和更新安排随机化，防止资源使用量骤增。
共享 Insight 缓存：在虚拟机中集中共享扫描结果，减少带宽和延迟
虚拟客户端标记： Symantec Endpoint Protection Manager可自动识别和管理虚拟客户端。
脱机映像扫描：查找脱机虚拟机映像中的威胁。速度更快的中央控制台
针对数据库进行了优化，可提高响应速度。智能调度程序
在计算机处于空闲状态时执行非关键安全任务，因此不会妨碍您的正常工作。增强的客户端部署
改进了向导，增加了部署选项，从而使初次安装和升级与以往相比速度更快，也更轻松。
6.4.4.3.
云计算防病毒产品的详细介绍客户端软件功能参数
病毒防护能力
防病毒引擎在所有 Windows 平台上均通过权威的病毒公告牌 VB100% 病毒检测的认证。
在传统的病毒码匹配和启发式扫描技术的基础上，具备多种云安全技术进行病毒检查，包含文件信誉评级、 Web 信誉评估、实时行为检测技术，有效应对每天出现的大量未知威胁。
对于已经扫描安全或文件信誉评级良好的文件可以自动进行扫描排除，以减少不必要的重复扫描，加快扫描速度，降低系统资源占用。
在同一个管理平台下，各客户端之间可以共享文件扫描结果。
防火墙能力
可以提供网络适配器的动态策略 (VPN, 拨号, 无线网卡 , 以太网卡等
)，动态地采取不同的安全策略以消除和网络连接方式 (以太网、拨号、无线网络、 VPN) 相关的威胁。
既可以基于数据包进行检测，也可控制应用程序（程序指纹）的网络行为。
防火墙策略设定包含主机名、域名、 MAC 地址、 IP 地址、
IP 地址段、 IP 子网段、指定月、指定日、时、分、秒、星期、工作日、休息日、特殊天、屏幕保护程序等多
种条件。
入侵防护能力
能够防止
DOS/DDOS 攻击，防止 IP 地址欺骗，防止 MAC 地址欺骗，自动禁止攻击者的 IP 地址。
能够防止外部和内部攻击者利用操作系统和 IE 等浏览器系统漏洞对主机进行攻 击；可以锁定 IE 设置，防止流氓软件劫持 IE 浏览器；可以锁定注册表、系统目录、进程，阻止木马或者流氓软件试图更改这些设置；提供对入侵防御的不同方向管理， incoming、outgoing 或者是双向的不同。
应用程序控制能力
能对自动学习的应用程序搜集应用程序名、版本号、程序描述字段、工作路径、文件大小、指纹、修改时间等。
对应用程序和进程可以根据不同用户进行分组管理。
可以设置应用程序对进程、文件、文件夹、注册表的访问（读或者写）的行为动作反应，如忽视、允许、阻止、结束应用程序。
支持白名单管理模式。只允许系统运行白名单中列举的应用程序。
支持黑名单管理模式。不允许系统允许黑名单中列举的应用程序。外设管理能力
能够对系统中硬盘、光驱、软驱、 USB 设备、PCMCIA 设备、红外、 1394 火线、
SCSI、并口、串口等设备和接口进行管理和控制。
能够识别和控制系统中使用 3G 上网卡、 CDMA 1X 上网卡、智能手机进行互联网访问行为。
对移动存储设备的读、写、运行三种权限进行灵活的分配和控制。
能够识别移动存储设备的 ID，并能够根据设备 ID 设置访问和使用控制。客户端系统资源
可自动灵活的分配客户端扫描优先级别，提供至少三种调节方式（最佳扫描性能，平衡性能和最佳应用程序性能），调节扫描占用的 CPU 资源, 在机器繁忙时自动降低手动或调度扫描对机器资源的占用。
当计划扫描任务启动后，扫描引擎可设置成当系统处于 ―IDLE‖（系统空闲）才进行扫描任务的智能模式，从而能有效降低对系统使用者的工作干扰。
当笔记本电脑上客户端启动 ―计划扫描 ‖任务时，需判断主机是否使用电池还是电源供电。如果是电池供电，则暂停或推迟 ―计划扫描 ‖任务，以降低笔记本电脑的电力消耗。
客户端策略管理
具有位置感应功能，可以自动检测计算机所处的位置（办公室、家、 vpn 等）在不同的位置执行不同的防护策略。
支持就近升级策略，可在局域网中指定一台机器为本组的就近升级服务器，该客户端从管理服务器升级病毒定以后，其它客户端可从此机器进行病毒定义的升级，减少对广域网带宽的占用。
服务器管理软件功能：
支持中央集中式管理，支持基于 Web 的管理方式，集中管理所有终端安全防护组件。
支持软件实现（不依赖于硬件服务器的数量）的分级、分权管理，可将某些客户端委派给某个管理员进行管理，包括至少包括策略定义、客户端状态查看、报表等权限。
管理员身份认证支持系统内置用户名 /口令和 RSA Secure ID 认证。管理软件具有工作组和域管理客户端的功能，可对不同的组实施不同的
病毒防护策略。支持组下划分子组，不限制子组的层次（即支持组内嵌套）。
管理软件能集中管理和配置防病毒策略、防火墙策略、入侵防护策略、外设管理策略、应用程序控制策略。
支持安全策略导入、导出。
支持对客户端与管理服务器之间通讯机制的设定，可设定 | ―推‖模式还是
―拉‖模式，并能设定客户端和管理服务器之间的通讯时间间隔。
提供报告门户，能在一个 Portal 内完整展现全网病毒定义状况、安全风险状况、计算机在线状态、当前互联网上首要的安全威胁及互联网安全 威胁状况。可调度生成详细的报告报告。
提供管理数据库的备份和恢复工具，支持数据库自动备份机制。
第 7章 云计算云机房整体方案拓扑
7.1.
内网资源整合规划
7.1.1.
网络拓扑
核心A
CISCO 6509E
网口 4
管理口
G3-1 入侵检测天阗 IDS
网口 3
网口 5
核心B
CISCO 6509E
三根级联线
H3C S5100 H3C S5100
千兆以太网
三条千兆以太网线千兆以太网
8Gb光纤
7.1.2.
硬件配置信息
市局采用
10 台浪潮 TS850 八路服务器整合成资源池提供计算资源，前端通过两 台 48 口千兆以太网交换机连接至核心交换机 CISCO 6509E，两台 48 口千兆以太网
交换机采用冗余架构。 TS850 配置 6 个千兆以太网口， eth0/eth1/eth2 连接至 48 口千
兆以太网交换机 A， eth3/eth4/eth5 连接至 48 口千兆以太网交换机 B， eth0/eth3 做网卡绑定，作为管理网格， eth1/eth2/eth4/eth5 作网卡绑定，作为业务网格。 .两台 40 口 8Gb/s 光纤交换机组成双链路冗余，后端连接 8Gb 光纤存储设备。 TS850 两块本地硬盘做 Raid 1，vSphere5.0 安装在 TS850 本地硬盘上，所有虚拟机都在后端挂载的光纤 存储存上创建。
网络 设备编号
设备名称
主机名 安装软件 root/administrat or 口令
1
浪潮
TS850
2
浪潮
TS850
3
浪潮
TS850
4
浪潮
TS850
内网 5 浪潮
TS850
6
浪潮
TS850
7
浪潮
TS850
8
浪潮
TS850
9
浪潮
TS850
10
浪潮
TS850
Jnga-nw-TS85 0-01
Jnga-nw-TS85 0-02
Jnga-nw-TS85 0-03
Jnga-nw-TS85 0-04
Jnga- nw-TS850-05
Jnga- nw-TS850-06
Jnga- nw-TS850-07
Jnga- nw-TS850-08
Jnga- nw-TS850-09
Jnga- nw-TS850-10
vSphere 5.0 企业增强版
vSphere 5.0 企业增强版
vSphere 5.0 企业增强版
vSphere 5.0 企业增强版
vSphere 5.0 企业增强版
vSphere 5.0 企业增强版
vSphere 5.0 企业增强版
vSphere 5.0 企业增强版
vSphere 5.0 企业增强版
vSphere 5.0 企业增强版
Vmware1!
Vmware1! Vmware1! Vmware1! Vmware1! Vmware1! Vmware1! Vmware1! Vmware1!
Vmware1!
7.1.4.
项目实施明细
1) VMWARE 虚拟架构的网络配置
2) 存储连接
3) 服务控制台连接与 Vmotion 连接
4) VC 的安装配置
5) VMWRE 虚拟架构搭建过程
6) 搭建虚拟集群的准备工作
7) 创建添加 ESX 服务器
8) 添加 ESX 服务器的 License
9) 添加 ESX 服务器的共享存储
10) ESX 服务器的网络配置
11) ESX 集群的配置
12) 添加 ESX 服务器到集群（ Cluster）
13) HA 的配置
14) 虚拟机应用管理模式
15) 物理机到虚拟机的在线迁移
7.1.5.
未来发展规划
此次建设的是云计算中心的准备中心，在新的办公地点将规划新的网络和虚拟化的实施架构，但是此次准备中心的建设将可以无缝的迁移到新的办公地点，搬迁之后的网络架构图如下：
7.2.
部门间共享网资源整合规划
7.2.1.
网络拓扑
|
前
|
后
|
前
|
后
|
|
端
|
端
|
端
|
端
|
|
安
|
安
|
安
|
安
|
|
全
|
全
|
全
|
全
|
|
网
|
网
|
网
|
网
|
|
络
|
络
|
络
|
络
|
千兆以太网交换机 C
8口光纤交换机 A 8口光纤交换机 B
7.2.2.
硬件配置信息
市局采用 4 台浪潮 NF8560M2 四路服务器整合成部门间共享网计算资源池，前端通过两台千兆以太网交换机连接至前端安全设备。后通过两两台 8Gb FC-SAN 存储网络，通过双链路冗余保证链路可靠性。每台 NF8560 配置 4 个千兆以太网口，把
eth0/eth1 设置成网卡绑定，作为管理网络，把 eth2/eth3 设置成网卡绑定，作为业务
网络。
NF8560 两块本地硬盘做 Raid 1， vSphere5.0 安装在 NF8560 本地硬盘上，所有虚拟机都在后端挂载的光纤存储存上创建。
网络 设备编号
设备名称 主机名 安装软件 root/administrator 口令
vSphere 5.0
部门间共享网
1 NF8560M2 Jnga-gxw-TS850-01
2 NF8560M2 Jnga-gxw-TS850-02
3 NF8560M2 Jnga-gxw-TS850-03
4 NF8560M2 Jnga-gxw-TS850-04
企业增强版
vSphere 5.0
企业增强版
vSphere 5.0
企业增强版
vSphere 5.0企业增强 版
vmware1!
vmware1!
vmware1!
vmware1!
7.2.4.
项目实施明细
1) VMWARE 虚拟架构的网络配置
2) 存储连接
3) 服务控制台连接与 Vmotion 连接
4) VC 的安装配置
5) VMWRE 虚拟架构搭建过程
6) 搭建虚拟集群的准备工作
7) 创建添加 ESX 服务器
8) 添加 ESX 服务器的 License
9) 添加 ESX 服务器的共享存储
10) ESX 服务器的网络配置
11) ESX 集群的配置
12) 添加 ESX 服务器到集群（ Cluster）
13) HA 的配置
14) 虚拟机应用管理模式
15) 物理机到虚拟机的在线迁移
7.3.
图像网资源整合规划
7.3.1.
网络拓扑
千兆以太网交换机 C
千兆以太网交换机 A 千兆以太网交换机 B
7.3.2.
硬件配置信息
市局图像网采用 2 台浪潮 TS850 八路服务器整合成资源池提供计算资源， TS850配置 6 个千兆以太网口， eth0/eth1 作网卡绑定，连接至千兆以太网交换机 C，作为管理网络。 eth2/eth3/eth4/eth5 作网卡绑定，连接至千兆以太网交换机 C，作为业务网络。
后端采用 IP-SAN 网络，利用两台 IP 交换机组成链路冗余。 TS850 两块本地硬盘做
Raid 1，vSphere5.0 安装在 TS850 本地硬盘上，所有虚拟机都在后端挂载的 IP-SAN
存储存上创建。
7.3.3.
基础环境配置信息
网络 设备编号
设备名称 主机名 安装软件 root/administrator 口令
图像网
1
浪潮 TS850 jnga-txw-T
S850-01
2
浪潮 TS851 jnga-txw-T
S850-02
vSphere 5.0
企业增强版
vSphere 5.0
企业增强版
vmware1!
vmware1!
7.3.4.
项目实施明细
1) VMWARE 虚拟架构的网络配置
2) 存储连接
3) 服务控制台连接与 Vmotion 连接
4) VC 的安装配置
5) VMWRE 虚拟架构搭建过程
6) 搭建虚拟集群的准备工作
7) 创建添加 ESX 服务器
8) 添加 ESX 服务器的 License
9) 添加 ESX 服务器的共享存储
10) ESX 服务器的网络配置
11) ESX 集群的配置
12) 添加 ESX 服务器到集群（ Cluster）
13) HA 的配置
14) 虚拟机应用管理模式
15) 物理机到虚拟机的在线迁移
7.3.5.
未来发展规划
图像网是 XXX 项目未来发展的重要组成部分，目前业务较少，但是会有较多应用和业务，由于采取了虚拟化技术，可以进行弹性扩展。
7.4.
云计算整体发展规划
除了本次项目建设的图像网、部门间共享网、内网业务，未来还有互联网、警务
专网等业务子网将纳入云计算管理的规划中，巩固 IAAS 层的整体发展，并依托 IAAS
层的发展，向上延伸至 PAAS 和 SAAS 平台，网络规划如下：
公安网子云
卷
外网子
云 X86计算资源池
SAN
数据卷数据卷
安全接入平
X86 虚
拟化区域
主机服务
14 区域
计算资源池
警务专网子云资源池
整体云 SAN 算云机房子云结构设计
计 存 专计 存
数据卷
A 共
资 资 资 资
算 源 源 源 源
储 图像专网子云资源池
算
数据卷
资资
数
据卷
源源源源
共
享存储A共享存
储B
存储资源池
数据
存储资源池
警
务
专 子 SAN
网
云 数据卷
共享存储 A 共享存储 B
存储资源池
公安内网云：运行公安内部传统业务系统
公安外网云：部署门户网站、互联网应用的业务系统
图像专网云：监控数据平台，部署平安城市的监控应用及海量数据存储部门警种业务专网云：服务于各警种业务，目前部署网警网安业务系统
像计
内网子云资源池 源
图
网资 X86储资计算资源池
子外网子云资SAN池
济南市公 云安 云
算 储 共计享存计存储 存
算 存储储资源池
-第 95页 -
第 8章 业务系统应用迁移
虚拟机迁移技术为服务器虚拟化提供了便捷的方法。目前流行的虚拟化工具如 VMware，Xen， HyperV ，KVM 都提供了各自的迁移组件。尽管商业的虚拟软件功
能比较强大，但是开源虚拟机如 Linux 内核虚拟机 KVM 和 XEN 发展迅速，迁移技术日趋完善。介绍了虚拟机迁移的三种方式 P2V、V2V 和 V2P，及他们在内核虚拟机 KVM 上的实现方法，分成五个部分。本文是第一部分，全面介绍了虚拟机迁
移的各种方法和相应的迁移工具系统的迁移是指把源主机上的操作系统和应用程序
移动到目的主机，并且能够在目的主机上正常运行。在没有虚拟机的时代，物理机之
间的迁移依靠的是系统备份和恢复技术。在源主机上实时备份操作系统 和应用程序的状态，然后把存储介质连接到目标主机上，最后在目标主机上恢复系统。随着虚拟 机技术的发展，系统的迁移更加灵活和多样化。
旧有服务器及其上的旧应用很适合进行虚拟化，但是将这种虚拟后的服务器迁移到新硬件时存在挑战。 在新硬件上虚拟旧有操作系统可以让系统更有效、更可靠、更节省成本。但当你移动旧服务器到新硬件时，虚拟化硬件支持、设备驱动和虚拟服务器迁移与安装过程全都袭来，让你措手不及。
8.1.
系统迁移工具简介
VMware vSphere 是系统虚拟平台，当 VMware vSphere 基础架构搭建好后，如何把现有跑在物理机上的应用迁移到虚拟机上，如何将其他平台的虚拟机迁移到
VMware vSphere 上，或者将其他格式的系统迁导入到 VMware vSphere 上， VMware
提供了解决方案
VMware vCenter Converter
工具，此工具可以实现 P2V（物理机在线
或离线迁移到虚拟机）、 V2V（ VMware 各虚拟机产品之间或和 hyper-V 之间的转 换），以及把第三方的备份镜像迁移入虚拟机（ Symantec backup exec System Recovery的备
份文件）。
vCenter Converter 分 Enterprise 和 Standalone 2 个版本，前者属于 vSphere Enterprise
授权，后者是免费版； 2 者功能上几乎相同，前者安装后所有操作界面集成在 vCenter中，后者则是单独的操作界面；后者支持迁移最新的 Windows Server 2008 R2 和 windows 7
vCenter Converter Enterprise 版还有一个可引导的光盘版，用于离线冷迁移使用；
vCenter Converter Enterprise 安装文件集成在 vCenter 安装包里， Standalone 可在官方免费下载；
vCenter Converter 安装包主要分以下 3 个组件：
vCenter Converter 服务器端：实现整个迁移过程的核心组件，执行虚拟机格式装换和重新配置等关键任务；
vCenter Converter 客户端：用户操作界面，用于连接服务器端执行相关任务；
vCenter Converter Agent：在迁移过程中安装在源机器上，用于数据抓取和传送，迁移结束后会自动卸载；
Center Converter Enterprise 是一种在线迁移的 P2V 工具,可以实现物理服务器转换为虚拟服务器的在线迁移工具 ;因为在线迁移的过成是一个实时复制的过程 ,如果 迁移大型的应用或数据库的话 ,迁移速度比较慢成功几率也比较底。所以建议在线迁
移只适合一些小的应用服务器 ,或者使用冷迁移
(关闭服务器后进行的数据迁移
)
8.2.
为什么要迁移服务器
迁移服务器可以为用户节省管理资金、维护费用和升级费用。以前的 x86 服务器，体积比较 ―庞大‖；而现在的服务器，体积已经比以前小了许多，迁移技术使得用
户可以用一台服务器来同时替代以前的许多台服务器，这样就节省了用户 大量的机房空间。另外，虚拟机中的服务器有着统一的 ―虚拟硬件资源
‖，不像以前的服务器有
着许多不同的硬件资源（如主板芯片组不同，网卡不同，硬盘， RAID 卡，显卡不同）。迁移后的服务器，不仅可以在一个统一的界面中进行管理，而且通过某些虚拟机软件，
如 VMware 提供的高可用性工具，在这些服务器因为各种故障停机时，可以自动切换到网络中另外相同的虚拟服务器中，从而达到不中断业务的目的。总之，迁移的优势在于简化系统维护管理， 提高系统负载均衡，增强系统错误容忍度和优化系统电源管理。
8.3.
虚拟迁移的性能指标
一个优秀的迁移工具，目标是最小化整体迁移的时间和停机时间，并且将迁移对
于被迁移主机上运行服务的性能造成的影响降至最低。当然，这几个因素互相影响，实施者需要根据迁移针对的应用的需求在其中进行衡量，选用合适的工具软件。虚拟机迁移的性能指标包括以下三个方面：
整体迁移时间：从源主机开始迁移到迁移结束的时间
停机时间：迁移过程中，源主机、目的主机同时不可用的时间
对应用程序的性能影响：迁移对于被迁移主机上运行服务性能的的影响程度。
8.4.
迁移的步骤及方法
P2V 指迁移物理服务器上的操作系统及其上的应用软件和数据到 VMM （Virtual Machine Monitor ）管理的虚拟服务器中。这种迁移方式，主要是使用各种工具软件， 把物理服务器上的系统状态和数据 ―镜像‖到
VMM 提供的虚拟机中，并且在虚拟机 中―替换‖物理服务器的存储硬件与网卡驱动程序。只要在虚拟服务器中安装好相应的
驱动程序并且设置与原来服务器相同的地址（如 TCP/IP 地址等），在重启虚拟机服务器后，虚拟服务器即可以替代物理服务器进行工作。
手动迁移：手动完成所有迁移操作，需要对物理机系统和虚拟机环境非常了解。
关闭原有的物理机上的服务和操作系统，并且从其他媒质上启动一个新的系统。比如从 LiveCD 上启动一个新的光盘系统。大部分的发行版都会带有 LiveCD 。
把物理机系统的磁盘做成虚拟机镜像文件，如有多个磁盘则需要做多个镜像，并且拷贝镜像到虚拟主机上。
为虚拟机创建虚拟设备，加载镜像文件
启动虚拟机，调整系统设置，并开启服务。
半自动迁移：利用专业工具辅助 P2V 的迁移，把某些手动环节进行自动化。比如将物理机的磁盘数据转换成虚拟机格式，这一向是相当耗时的工作，你可以选择专 业的工具来完成这个步骤。这里有大量 的工具可以使用，如 VMware 的迁移工具 Converter 等。
P2V 热迁移：迁移中避免宕机 。大部分 P2V 工具也有一个很大的限制：在整
个迁移过程中，物理机不可用。在运行关键任务的环境或有 SLA（服务水平协议）
的地方，这种工具不可选。幸运的是随着 P2V 技术的发展，
VMware vCenter Converter
和 Microsoft Hyper-V 已经能够提供热迁移功能，避免宕机。目前， P2V 热迁移仅在 Windows 物理服务器可用，未来将添加对 Linux 的支持。
虚拟机所呈现出来的虚拟硬件通常与原始服务器上的物理硬件不同。 P2V 迁移工具是这样解决这个问题的：
VMware vCenter Converter：支持从诸如物理机、 VMware 和 Microsoft 虚拟机格式以及某些第三方磁盘映 像格式的源进行转换。他替代了旧的迁移工具 VMware Workstation Importer 和 VMware P2V Assistant。VMware vCenter Converter 可以支持和识别大多数服务器硬件类型。 VMware vCenter Converter 提供以下两种克隆机制：
热克隆（实时迁移）和冷克隆（使用 BootCD 的克隆）。使用热克隆时， VMware vCenter Converter 直接与源物理机上运行的操作系统通信，因此没有直接的硬件级别依赖性；
使用冷克隆时， VMware vCenter Converter BootCD 提供一个可支持最新硬件的
Windows PE 引导环境，因此可以识别大多数物理服务器系统硬件。目前只支持基于
Microsoft Windows 的物理机迁移。
8.5.
基于 VMware Converter 的 P2V 迁移
我们建议优先采用 Vmware 专业的迁移工具 Converter 进行迁移 , 所有迁移过程将不破坏原有的应用。并建议迁移后的虚拟系统先工作在独立的网段中测试一段时间， 待工作稳定之后再逐渐的替换原硬件上 OA 应用的工作。这样做的好处是可以最低限
度的降低系统迁移的风险。目前最新版本的 VMware Converter 已包含对主流 linux 的支持
使用 VMware vCenter Converter，可以自动化和简化物理机到虚拟机以及虚拟机格式之间的转换过程。使用 VMware vCenter Converter 直观的向导驱动界面，可将物理机转换为虚拟机。
在几分钟内将物理机转换为虚拟机
VMware vCenter Converter 可以在多种硬件上运行，并支持最常用的 Microsoft
Windows 操作系统版本。通过这一功能强大的迁移工具，您可以：
快速而可靠地将本地和远程物理机转换为虚拟机，而不会造成任何中断或停机。通过集中式管理控制台和直观的转换向导同时完成多个转换。
将其他虚拟机格式（如 Microsoft Virtual PC 和 Microsoft Virtual Server ）或物理机的备份映像（如 Symantec Backup
Exec System Recovery或 Norton Ghost 12）转换为 VMware 虚拟机。
将虚拟机的 VMware Consolidated Backup
(VCB) 映像恢复到运行中的虚拟机。作为灾难恢复计划的一部分，将物理机克隆并备份为虚拟机。
8.6. Converter Standalone 迁移详细方法
1) 准备源计算机。
Converter Standalone在源计算机上安装代理，该代理创建源卷的快照。
2) 在目标计算机上准备虚拟机。
Converter Standalone在目标计算机上创建了一个虚拟机，然后代理将源计算机中的卷复制到目标计算机中。
3) 完成转换过程。代理会安装所需的驱动程序来允许操作系统在虚拟机中引导，并且会对虚拟机进行自定义（例如，更改 IP 信息）。
4) 从源计算机卸载该代理（可选）。虚拟机准备在目标服务器上运行。
8.7.
业务迁移安排
为保证业务安全稳定运行，建议全部业务迁移分期进行，原有业务迁移至云计算云机房后，关闭原业务相关业务使用服务器网络设备，使用云计算云机房业务提 供给外部访问。如稳定运行无故障后，下架原有下备。如云计算云机房业务运行出现故障，立即启动原有设备以提供访问。
8.7.1. 需要迁移的系统：
vlan ID 网络 迁移应用
操作 IP 地址 迁移后目标虚拟机名称系统
根据以往实施经验，系统迁移后需要多天观察，排除各种故障，所以以周为单位进行多次观察处理，硬件调试完毕后，计划：第一周、第二周搭建虚拟化环境，第三周进行虚拟化环境调试，第四周开始业务迁移。
|
日程
|
|
主要工作
|
|
1
|
准备虚拟化环境，基础架构性能调优
|
|
|
2
|
虚拟化环境调试
|
|
|
3
|
业务迁移
|
|
全部业务分期迁移计划：第一次业务迁移范围：
vlan ID 网络 迁移应用 操作系统
IP 地址 迁移后目标虚拟机名称
第二次业务迁移范围：
vlan ID 网络 迁移应用
操作 IP 地址 迁移后目标虚拟机名称系统
第三次业务迁移范围：
vlan ID 网络 迁移应用
操作 IP 地址 迁移后目标虚拟机名称系统
第四次业务迁移范围：
vlan ID 网络 迁移应用
操作
系统 IP 地址 迁移后目标虚拟机名称
第五次业务迁移范围：
vlan ID 网络 迁移应用
操作 IP 地址 迁移后目标虚拟机名称系统
第六次业务迁移范围：
vlan ID 网络 迁移应用
操作 IP 地址 迁移后目标虚拟机名称系统
每期迁移后，迁移至云计算云机房业务无故障运行 10 个工作日后再进下期业务迁移
8.7.2. 主机迁移步骤：
a) 完整备份源物理机上的系统和数据（可选）
b) 检测备份数据的恢复有效性（可选）
c) 整理源物理机上所需要数据，清理不必要的数据
d) 在工作机上安装、配置 VMware Converter Standalone
e) 启动 P2V 进程，针对前一对象经过一系列的定制化工作
f)
推送 Agent 到源物理服务器上
g) 并行开始迁移动作，视数据量大小、网络环境状况、服务器和载机性能等因素速度千兆网络大概为 30MB/s
h) 清理源物理机上的 Agent
i)
完成整个迁移动作
j)
安装 VMware Tools 工具
k) 调整目标虚拟机的 vCPU 个数
l)
调整目标虚拟机的资源预分配
m)
移除不再使用的硬件（业务无故障运行 20 个工作日后）移除原硬件管理软件（比如
DELL OpenManage， HP SIM 等等）（业务无故障运行 20 个工作日后）
8.7.3. 迁移后的测试和验证
a) 确认目标虚拟机的名称
b) 确认系统硬件是否有兼容性问题，测试硬件配置状态
c) SCSI 控制器类型是否正常
d) 确认目标虚拟机的硬件设备包括 NIC、CPU、RAM 和虚拟磁盘的大小确认目标虚拟机的网络是否可通 ,测试网络访问
e) 确认目标虚拟机的应用程序是否能正常运行，并检测应用程序日志是否异常
f)
检测一段时间内，目标虚拟机的资源使用是否异常
g) 如位于 Cluster 里的主机，测试 Vmotion 和 HA
8.7.4. 迁移后的优化
与任何持续流程一样，你在开始把用户和服务迁移到新平台上时，一定要密切关注虚拟化项目的运行情况，这是至关重要的。应当建立性能和使用方面的一些准则及阈值，并评估这些衡量标准对将来的调整及改进而言意味着什么。必要时，还要考虑调整硬件配置、网络设置或者增加带宽。可以肯定，一旦完成最后的启动、成功进入虚拟化操作系统，并不是说你就大功告成了，后边还有很多工作要做。由于物理环境与虚拟环境还是存在一定的差异性，我们需要不断监控、评估、调整及改进，来达到
最终的迁移效果。
8.7.5. 业务迁移应急处理方法
如业务迁移至云计算云机房后运行出现故障 ,立即启有原有设备提供业务访问。
8.8.
机房搬迁概述
本次机房搬迁的工程 ,新老机房的对接也将体现本次工程的水准 .
针对 XXX 局的本次机房搬迁业务 ,通过对现有应用的摸底调查 .决定采用大应用系统为保证其数据安全与应用保护决定采用物理搬迁的方式进行迁移。对部分较小的 应用系统可以采用在钱迁移的方式进行 ,但为了保证数据迁移有效性。建议一条物理 线路的迁移不能同时存在 3 个以上应用迁移。部分中型应用迁移建议采用冷迁移或重新部署的方式进行搬迁。因此，必须协调好各单位人员的关系，齐心协力才可能在预 定时间内完成搬迁工程。
本方案是以尽量不影响日常工作或将影响降低到最低为前提的情况下制定的，即在休息日前开始搬迁工作，到工作日以前完成整个服务器、网络设备的搬迁、安装及测试。并且在开机以后，继续跟踪系统的运行情况，随时处理系统运行的异常情况。当然，在各方面人员的充分协调及配合下才能完成本次搬迁任务。
8.8.1. 搬迁规划
1.
实施流程：
现场勘察
与XXX技术人员 确定实施方案
对所有设备进行分析，制定应急
方案
2.
流程主要根据搬迁前的需要制定，主要详细了解当前系统设备情况，系统运行情况。针对所了解情况制定详细搬迁方案以及应急方案。
3.
专业工程师了解用户现在机房的现状以及搬迁后的具体要求。充分考虑在实施过程中可能出现的各种情况，定制详细可行性的迁移实施计划，将机房迁移工作对用户的影响降至最小。
4.
编制搬迁前及搬迁后的物理布置表、连接表、线缆号表。可根据用户情况分为多个系统进行分类。
5.
在搬迁过程中需要技术人员密切配合。
6.
为保证搬迁工作顺利、有序、安全的进行将制定详细的搬迁流程，进行细致的分
工，具体工作安排到人，责任到人。搬迁工作中的每项工作原则最少安排 1 人，以保证工作的准确性。
8.8.2. 详细实施方案
1. 实施流程：
备品备件工具准
备
设备关机
新机房现场检查
目的机房检查表
设备下架
设备标记
设备端口标记表
设备搬运
数据备份
数据备份表
设备连接
设备端口标记表
设备开机 功能测试 完成
本次设备搬迁我们将尽量细化任务安排保证工作顺利进行。为了搬迁能按时顺利进行，并且在搬迁后能够保证设备正常运行，我们制定了一系列简单明了的工作表，帮助工程实施人员确定各种搬迁工作中要执行的工作是否完成。避免工作失误，避免造成搬迁工作的延误。
2. 目的机房的要求：
需要在搬迁前检查目的机房的必要设备设施是否符合要求，本工作表是保证搬迁后设备能否稳定正常运行的先决条件，在搬迁前由搬迁负责人同相关人员填写确认单。
8.8.3. 设备关机搬迁前准备工作
设备搬迁前的准备工作是非常重要和必要的，因为根据我们的经验，设备在长时间开机后关机会有意外故障导致不能开机或其他硬件故障情况发生。同时也有可能由于网络连接错误导致服务器启动后不能对客户正常服务。所以数据备份，连接端口标识，地址规划，备件准备都是非常必要的。
1. 数据备份
数据备份需要搬迁负责人和系统管理人员在设备搬迁前进行备份。这次备份是搬迁前的最后一次备份，是必须认真完成的一项工作。是在设备出现故障后能否快速恢复的保证。备份包括服务器的数据备份。网络设备的配置文件备份等。
2. 设备标记
如果设备没有名称，需要为设备编制名称，并在每台设备上用标签打印纸标记名称，对设备没有详细标记情况下纪录。如有网络管理员有详细标记，替换此表。此表主要用于设备搬迁后的快速连接，避免由于连接错误导致的服务不能正常访问，延误搬迁事件等情况的发生。
3.设备的关机下架搬运
设备关机需要按照正常规则正常关机， PC 服务器需要先停服务后关机的要注意先停服务再关机。小型机磁盘阵列按照操作规程按顺序执行每步操作完成关机。
在关机后所有设备按从上到下的顺序拆卸，下架人员为我公司有多年施工经验的专业人员。要求下架时先将所有线缆拆除，所有设备要轻拿轻放，以免造成不必要的损失，设备下架后放在指定区域由搬运人员运送到目的机房。
搬运过程如果要用小推车等运输工具要在车上和设备间加垫缓冲物，以免在运输过程中震动过大，造成设备配件松动。
4.设备上架
设备上架按照下架相反程序操作。
上架要按照双方提前设计好的位机柜布置图上架，布置图需要设计合理，节省空间，便于维护，美观。
8.8.4. 云计算云机房搬迁方法
方案选用基于磁盘阵列的远程镜像技术实现远程数据搬迁。远程镜像技术是容灾的关键技术，它是在两个磁盘或磁盘子系统上产生同一个数据的镜像视图的信息存储
过程，一个叫主镜像系统，另一个叫从镜像系统。本项目采用 4 套 AS1000G6 存储作为主镜像和从镜像系统。本项目采用同步镜像技术，同步镜像技术是指通过远程镜像
软件，将本地数据以完全同步的方式复制到异地，每一本地的 I/O 事务均需等待远程复制的完成确认信息，方予以释放。同步镜像使远程拷贝总能与本地机要求复制的内
容相匹配。当搬迁计划明确时，停掉物理服务器设备将存储和业务迁移到远端服务器上，从而完成搬迁。
第 9章 云计算中心的容灾设计
9.1.
容灾设计规划
为避免单点故障，也为保证数据的安全，本方案选用基于磁盘阵列的远程镜像技术实现远程数据灾备。远程镜像技术是容灾的关键技术，它是在两个磁盘或磁盘子系统上产生同一个数据的镜像视图的信息存储过程，一个叫主镜像系统，另一个叫从镜
像系统。本项目采用 4 套 AS1000G6 存储作为主镜像和从镜像系统。本项目采用同步镜像技术，同步镜像技术是指通过远程镜像软件，将本地数据以完全同步的方式复制
到异地，每一本地的 I/O 事务均需等待远程复制的完成确认信息，方予以释放。同步镜像使远程拷贝总能与本地机要求复制的内容相匹配。当主站点出现故障时，用户的 应用程序切换到备份的替代站点后，被镜像的远程副本可以保证业务继续执行而没有
数据的丢失。
2. 高级数据应用功能介绍数据卷隔离映射功能
数据卷隔离映射功能可以为浪潮 AS1000G6 存储系统创建最多 64 个逻辑映射关系和最多 2,048 个卷（ LUN）。它支持不同的主机，这样就允许在多平台环境中实现存
储统一。这种灵活性可以让具有不同容量、不同性能以及不同数据保护需求的一系列
主机有效地共享单一存储系统。并且数据卷隔离功能基于存储系统实现的功能规定在控制器层对数据卷进行访问，充分保证数据存储的独立性、一致性、完整性。
数据快照功能
基于存储系统的数据快照功能可对存储系统中的卷创建即时的逻辑拷贝，可实现数据复用，用于备份、应用测试或开发、信息分析或者数据挖掘等，它能够让辅助服务器访问生产数据的快照版本。
这种高容量效率的快照卷作为一种完整拷贝，可有效节省磁盘空间。
该功能亦是在线数据备份与恢复的优选方案，可实施快速数据恢复。
数据复制功能
Server A
数据远程同步功能
做出优化。
Server B
数据复制功能可在存储系统内部为已有的数据卷创建一个克隆卷（完整物理拷贝）。这个克隆卷可以分配给任何主机，作为原始卷的数据副本使用，对该克隆卷的读写操作不对原始卷的性能和数据安全性
产生任何影响，是数据复用、数据迁移等进阶应用的最佳解决途径。
数据复制功能创建克隆卷过程，可灵活调校各种参数，可充分保证原始卷的可访问性能。
数据远程同步功能通过将本地数据连续地复制或镜像到远程存储系统中去，以形成副本的方式实现对数据的保护，也是构建异地备份、异地容灾的最佳存储解决方案。
数据远程同步功能支持非常多的同步选项，具备充分的操控灵活性，允许存储系统管理员对数据同步操作
数据远程同步功能支持同步、异步等模式，并可在多种模式间做动态的模式切换，数据同步功能亦能与数据快照功能有效结合，扩展信息服用模式与价值。
AS1000G6存储系统所提供的高级数据应用功能，在 AS1000g6 的高性能、高可用的硬件平台上为用户提供更大的信息存储价值。
3.
系统容灾设计方案
1. 方案设计
当云机房发生毁灭性故障时，希望整个系统可以自动的切换到另一个容灾端的云机房，所以在云机房的方案中可以选用容灾方案。
2 .SRM 软件介绍
VMware SRM（Site Recovery Manager ）是一套虚拟化基础架构的站点容灾解决方案。构建、管理和执行可靠地灾难恢复计划
作为 VMware vSphere 的重要组成部分， VMware vCenter Site Recovery
Manager
可以帮助用户：
通过自动化加快恢复虚拟环境
通过支持无中断测试确保可靠的恢复
通过省去复杂的手动恢复步骤和集中管理恢复计划来简化恢复流程加快恢复速度
通过自动化恢复流程，确保能够满足您的恢复时间目标 (RTO) 。
VMware vCenter Site Recovery Manager 省去了耗时的手动恢复步骤，将与传统灾难恢复相关的复杂纸质运行手册恢复模式转变为虚拟基础架构管理的集
成部分模式。
确保可靠的恢复
消除恢复期间常见的故障原因，从而轻松、全面地测试您的恢复计划。
通过自动化恢复过程， VMware vCenter Site Recovery Manager 省去了恢复流程中容易出错的手动步骤，从而确保恢复流程始终如一地按预期执行。 VMware vCenter Site Recovery Manager 还可以轻松地在隔离的测试环境中对恢复计划
执行无中断测试，从而能够确保恢复计划保持最新并成功执行。
简化灾难恢复过程
简化并集中进行恢复计划创建、更新和管理。
VMware vCenter Site Recovery Manager 可指导用户完成构建、管理和执行灾难恢复计划的流程。它与 VMware Infrastructure 和 VMware vCenter Server无缝集成，从而极大地简化了恢复计划的管理和更新。它还可以方便地与来自领
先存储供应商的存储复制软件集成，从而简化高级复制软件与 VMware vSphere
的协作。
3.基于 SRM 的虚拟化容灾解决方案
图：解决方案拓扑
在本地机房和异地机房分别构建两套基于 VMware Vsphere 的虚拟化基础架构，并用来支撑虚拟机应用运行，本地各有一套浪潮 AS1000g6 来存放虚拟机和数据，并建立各自的虚拟机管理中心（ vCenter ）。
借助于 AS1000G6 磁盘阵列的数据远程复制功能，本地阵列上的数据 LUN 能够直接与异地云机房中的 AS1000G6 进行同步，因此， VMFS卷及其上的虚拟机文
件都能够不断的同步至容灾云机房。
借助于 VMware vSphere 及 VMware vCenter 上安装部署的 SRM 软件，可以方便的建立起本地和异地两套虚拟机站点，并实现以下功能：
灾难恢复管理
直接从 VMware vCenter Server 创建和管理恢复计划。
利用经存储供应商认证的集成，发现并显示受其存储复制软件保护的虚拟机。利用自定义脚本扩展恢复计划。
监控远程站点的可用性，并在发生可能的站点故障时向用户发出警告。
通过 VMware vCenter Server 存储、查看和导出测试结果，以及执行故障切换过程。
利用基于角色的精细访问控制来控制对恢复计划的访问。
利用基于 iSCSI 、FibreChannel 或 NFS 的存储复制解决方案。将多个站点恢复为一个共享的恢复站点。
利用 VMware vSphere 中的最新功能和技术。无中断测试
使用存储快照功能执行恢复测试，而不会造成复制数据的丢失。将虚拟机连接至现有的隔离网络，以便进行测试。
自动执行恢复计划测试。
针对测试方案自定义恢复计划的执行。完成测试后自动清理测试环境。
自动化故障切换
只需单击一个按钮，即可在 vCenter Server 中启动恢复计划的执行过程。
使用主要存储供应商针对各自复制平台创建的适配器，自动提升复制的数据存储，以便用于恢复。
执行用户定义的脚本并可在恢复过程中暂停。
重新配置虚拟机的 IP 地址，以与故障切换站点的网络配置匹配。在 VMware vCenter Server 中管理和监控恢复计划的执行。
9.2.
数据备份
备份系统建设是一个统筹规划、分步实施，结合业务发展整体策略分阶段演进的系统。备份的演进要结合业务的建设计划，分步骤进行，并充分保护现有投资，充分考虑现有资源的利用，充分考虑系统的持续演进需求，前期建设要为后期能力提升做好基础工作。
通常而言，我们可以将硬件或者系统失效称为硬错误；将人为错误、软件程序错误、病毒 /黑客破坏称为软错误或者逻辑错误。因此，我们需要防范的数据丢失原因分为如下三类：
硬错误 (44%)
软错误/逻辑错误
(53%)
灾难(3%)
济南XXX 局云计算系统采用了 SAN存储和先进的虚拟化架构，在很大程度上能够避免硬错误的发生，例如 1个硬盘的损坏并不会导致数据的丢失，但是如果没有集中统一的、自动化的软件对备份进行统一管理，这将会对整个信息系统的数据安全造成 隐患。因此，我们认为必须采取如下措施：
构建一个完整的数据统一备份系统，将整个平台中的所有关键业务数据进行集中备份，建立统一的备份策略，自动备份数据。针对上述服务器的所有数据实现在线备份
制定合适的恢复演练策略
采取快照技术，提高恢复性能，作为备份的补充。
这样，我们完善的备份保护，能够避免 97%以上的数据丢失风险。
9.3.
备份设计保护
虚拟化技术有助于整合服务器、提高硬件利用率，并且减小云机房的耗电量和
占用场地。但是，虚拟化也带来了全新的管理难题， 对整个企业在数据保护、存储、网络消耗 及易管理性等方面提出了挑战。随着服务 器和应用继续整合到虚拟机环境中，如何 进行有效的数据保护和恢复仍将是一项长 期的挑战。虚拟机环境下的数据保护需要考虑以下几方面：
? 物理服务器负荷和资源消耗：随着虚拟
服务器与物理服务器的比率继续提高，虚拟实体之间会出现严重的资源争夺现 象—— 争夺有限的物理服务器和网络资 源。基于服务器的传统数据保护操作只会加剧这种资源争夺现象和系统负荷。
? 虚拟机无计划部署：随着虚拟服务器成 为默认服务器策略，分配新的虚拟机
又 很容易，这往往会造成虚拟机散乱的现 象。若要用有限的管理资源来应对这种 增长，势必需要利用一组一致的策略， 运用自动、简化的机制来保护和恢复这些虚拟
机上的数据。
? 不同的恢复要求：任何数据保护操作都 必须能够提供一步到位的备份过程， 同 时又允许多种恢复方案：包括从灾难恢 复所需的整个虚拟机恢复，到数据丢失 所需的细粒度单文件恢复。
备份存储优化：虚拟机数据保护具有的独特性决定了它要消耗大量的备份存储
资源。值得信赖的解决方案要有这种内 置功能：既能优化静态的数据和存储资 源，又能优化传输中的数据和存储资源。
? 应用程序保护：随着虚拟机中运行的应 用程序变得更加重要，数据保护解决 方 案需要提供一套一致的恢复方法，不仅 仅恢复虚拟机，还能恢复在虚拟机里面 运行的应用程序。
我们选择两种备份方式：一、使用传统的数据备份方式来对虚拟机或者物理机内
部的数据进行备份，此种方式与传统应用方式相同，二、使用通用虚拟服务器代理软
件的通用虚拟服务 器 代 理， 有 助 于 应 对 基 于 VMware 虚 拟 基 础 架构、 VMware 虚 拟 服 务 器、 微 软 Hyper-V 服 务 器和微软虚拟服务器等虚 拟机环境中的挑 战。该代理位于虚拟机外部的其他代理服 务器上，可作用于虚拟服务器，即代理主机备份。不需要虚拟机上有本地代理。通用 虚拟服务器代理充分利用了虚拟化平台的 内置工具 (VMware 整合备份 [VCB]) ，执行块级增量镜像备份、
卷级备份或文件级备份。每种备份类型都 提供了众多的恢复方案，既有整个虚拟机 恢复，又有细粒度单文件恢复。同时还提 供了从
VMware 到微软的跨平台恢复， 以支持迁移或用于测试。把 备
份 操 作 从 虚 拟 机 转 移 到 VMware VCB代 理 服 务 器 或 微 软 服 务 器 Hyper-V 上， 缓 解 了 资源争夺现象，而且不需要虚拟 机上有代理
? 面 向 保 护 和 恢 复 VMware 虚 拟 化 平 台 的 多
种 备份和恢复方案，满足保护和恢复方面的服务级别协议
?
和保护
?
可自动发现虚拟机并添加至默认 的保护策略，从而加强了对虚拟 机的管理
使用内嵌重复数据删除功能、更 智能的管理策略、功能强大的检 索功能以
及随机磁盘访问，可在
降低存储占用空间的同时，管理 及保留磁盘或磁带上的更多恢复 副本
? 使用嵌入式重复数据删除功能， 识 别 及 消 除 运 行 VMware 的 物 理和 虚 拟 环 境 中备份和归档数据的重复内容
? 面对物理和虚拟服务器，充分利 用集成了备份、归档、复制和存 储资源管理等功能的单一解决方 案，通过简化数据和资源的管理、 提高易用性，提供了不受限制的 扩展性和高效率。一切可从单一 控制台加以管理
? 充分利用无缝、一致的应用程序 保护和数据挖掘工具，通过备份 集执行应用程序对象的细粒度恢 复，从而确保应用程序受到保护、 易于恢复
? 为所有环境、应用程序、位置和 时间点实施具有成本效益的灾难 恢 复 战
略。P2V 或 V2P 复 制 以 恢复数据和应用程序，并且迅速
而有效地在不同设备上重建备份 环境
? 使 用 自 动 化 的 数 据 生 命 周 期 管 理，把最新的关键数据保留在主存储器上，同时把遗留和过期数 据归档到不太昂贵的二级存储器 上，从而易于实施分层存储
代理备份主机
? VCB API
? 通用虚 拟 服 务 器 iDA
UVS iDA
MA
装载
虚拟机 1 虚拟机 2 虚拟机 3
9.4.
数据容灾
济南 XXX 局云计算中心日常数据量大，信息种类繁多，还要保持每天 24 小时不间断更新。庞大的数据量使得一旦数据破坏或丢失、就会给云计算系统造成不可估
量的损失，所以有效的应用级容灾建设对于集团信息系统来说至关重要。 但是由于容灾中心的建设需要一定周期，本次方案中暂不包含此部分。