新华网SAN实施方案

罗毅

----新华网最初称为新华通讯社网站,它是我国最大的新闻网站之一。它的主要业务内容是新闻发布、免费电子邮件和门户搜索。为了满足这些方面以及进一步开展电子商务和其他信息处理业务的需求,新华网不仅需要很强的计算能力来及时处理大量的业务数据,同时,由于电子商务本身的特殊性,还需要整体系统具有极强的稳定性和可管理性,使系统能够长时间安全可靠地正常运转。对于信息系统来说,其稳定可靠性根本上还取决于数据存储系统的性能。因此,新华网需要一个能保证数据安全性、可管理性、可访问性和可扩展性的存储解决方案。最近,新华网进行了大规模的技术改造,网站性能得到很大提高,接入Internet的带宽由原来的2Mbps一跃而升为100Mbps。同时,在网络系统内部也采用了许多新技术,比如在系统存储方面,采用了新兴的存储区域网络(SAN)技术就是一个很好的实例。

存储管理系统设计原则

----新华网根据对关键业务数据资料的存储管理需求,确定下述主要原则。

----1. 安全性原则
----电子商务服务系统及其他信息服务系统要求保证7×24小时不间断工作,所以必须从设备选型和方案设计上保证系统的安全性和高可用性。应用系统需要安全性能极好的群集高可用热备份软件,该软件应具有应用广泛、切换迅速、用户界面友好和配置方便等特点。在任何应用环节出现故障的情况下,群集软件能够做到不停机切换,确保系统平衡运行。此外,存储方案应该具有数据自动备份机制。备份系统应考虑到大容量电子邮箱的特点。针对该特点进行设计和提供解决方案。

----2. 可管理性与系统高效原则
----为保证数据存储的可管理性,方案设计要减少管理的复杂性,最好能利于多台服务器共享集中管理的磁盘阵列存储器。要能够保证系统的高可用性,不仅做到当某台服务器的应用出现故障时能立即自动将应用切换到其他服务器,而且当一台服务器运行多个应用中出现一个故障时,能够做到只将该应用切换到其他服务器,而其他应用仍可在原服务器上继续运行。要有针对应用系统的实时监测功能,当硬件数据出现故障时,能及时向系统管理人员报告。要能实现应用数据的在线检索等等。同时,电子商务和关键应用要求系统对数据具有高速访问和可持续访问的能力,因此数据系统的设计首先要建立一套高效的存储系统机制,包括采用先进的存储技术和先进的存储系统软件。

----3. 可扩展性原则
----除了系统硬件要符合技术潮流外,与之相配的软件也需采用先进技术,以利于整个系统的平滑升级。硬件可配置稳定性高、易扩充的磁盘阵列,适应升级以保护现有投资,并保证应用的连续运行。应采用先进的SAN存储技术,将存储网独立于应用系统,建立合理的存储布局,以使数据在得到高度共享和高速访问的同时,也实现了集中管理和无限扩展。应采用光通道存储设备,主机和设备之间采用SAN互联方式,从而具有极强的可扩展性,能最大限度地保护现有投资。

----4. 系统完整性原则
----一个完整的数据系统应包括: (1)多机热备份系统; (2)虚拟磁盘管理和高效文件系统; (3)数据备份系统; (4)磁盘子系统和光纤交换网络; (5)站点的异地容灾系统。作为新华网系统的数据存储系统的组成部分,本系统的各项设计应从整体考虑,各子系统应构成完整的数据系统。

方案搭建

---- 在比较了不同厂家产品的特性和性能以后,最终选择了Veritas Software公司提供的存储解决方案。在这个完整的系统中,由Veritas群集服务器(Veritas Cluster Server,VCS)、Veritas交卷管理系统(Veritas Volume Manager,VVM)和Veritas文件系统(Veritas File System,VFS)构成的软件系统起着核心作用。

----新华网存储系统的总体结构设计如附图所示。
附图

----该系统有3个业务子系统: 电子邮件子系统、搜索引擎子系统和BBS子系统。根据业务要求,我们确定采用5台应用服务器,其中电子邮件应用子系统2台、搜索引擎应用子系统2台和BBS应用子系统1台。系统的结构说明如下。

----1. 采用光纤的SAN构架,各服务器与磁盘阵列子系统的连接采用双路冗余光纤交换网络连接。交换网络的核心是2台Vixel 8100光纤交换机。采用冗余交换网络设计的目的是: 当一台光纤交换机出现单点故障(诸如单侧光纤故障等一类的故障)时,系统能够迅速把数据传送至别一侧光纤网络,确保数据通路永不中断。

----2. 采用容量为1TB的美国LSI Logic公司的MetaStor 4766光通道磁盘阵列。该磁盘上有2个对外的光纤接口,分别接2台光纤交换机上。

----3. 从系统整体考虑,一旦建立数据备份系统,可采用STK 9714的磁带库,通过FC Bridge连接光通道交换机,接入SAN网,并建立光通道共享磁带机备份系统,备份软件采用Veritas的Netbackup+Shared Storage Option,这是目前数量不多的支持共享磁带机直接备份的软件产品。

----4. 所有服务器上均配置VCS、VVM和VFS。作为多机系统的热备份软件,VCS可保证一旦任何系统应用出现故障,该应用会迅速切换到其他服务器上去。

软件的核心作用

----在该存储系统中,起核心作用是VCS、VVM和VFS,它们保证了整个系统具有稳定的高性能。

----1. VCS是基于应用级的高可用性多机应用软件,可以使多台服务器协同工作,保证访问者能随时存取应用和数据。当一台服务器的应用出现故障时,VCS能立即将应用切换到其他服务器; 如果一台服务器运行多个应用,只有一个应用出现故障,VCS可以只将出现故障的那个应用切换到预先定义的服务器,其他应用仍可在原服务器上继续运行; VCS能将一台服务器上的多个应用切换到不同的服务器上。在SAN环境下,VCS可以支持多达32个节点的群集系统。

----2. VVM是一个功能强大的在线存储管理软件。作为虚拟磁盘管理工具,VVM成功地将应用系统和数据系统分开,使得应用系统不需要考虑物理存储的设计。

----3. VFS是一个日志式文件系统,它支持快速恢复功能,可以将未完成的操作记录在事件日志中,当系统发生意外时,能让系统迅速、完全地得到恢复。VFS提供文件系统的复制功能,保证了数据的在线备份; 提供文件系统的在线伸缩并提高了I/O吞吐率。

----新华网的SAN存储解决方案实现了较好的性能和较高的存储效率,可用性和可管理性强,不仅能够满足新华网在目前的存储要求,而且具有良好的可扩展性。◎

----责任编辑:杜飞龙 du_feilong@ccw.com.cn
----责任美编:刘王月 liu_yue@ccw.com.cn