超大型系统的特点为：
1.处理的用户数一般都超过百万，有的还超过千万，数据库的数据量一般超过1TB;
2.系统必须提供实时响应功能，系统需不停机运行，要求系统有很高的可用性及可扩展性。
为了能达到以上要求，除了需要性能优越的计算机和海量存储设备外，还需要先进的数据库结构设计和优化的应用系统。
一般的超大型系统采用双机或多机集群系统。下面以数据库采用Oracle 8.0.6并行服务器为例来谈谈超大型数据库设计方法：
·确定系统的ORACLE并行服务器应用划分策略
·数据库物理结构的设计
·系统硬盘的划分及分配
·备份及恢复策略的考虑
二、Oracle并行服务器应用划分策略
Oracle并行服务器允许不同节点上的多个INSTANCE实例同时访问一个数据库，以提高系统的可用性、可扩展性及性能。Oracle并行服务器中的每个INSTANCE实例都可将共享数据库中的表或索引的数据块读入本地的缓冲区中，这就意味着一个数据块可存在于多个INSTANCE实例的SGA区中。那么保持这些缓冲区的数据的一致性就很重要。Oracle使用 PCM( Parallel Cache Management) 锁维护缓冲区的一致性，Oracle同时通过I DLM( 集成的分布式锁管理器)实现PCM 锁,并通过专门的LCK进程实现INSTANCE实例间的数据一致。
考虑这种情况：INSTANCE1对BLOCK X块修改，这时INSTANCE2对BLOCK X块也需要修改。Oracle并行服务器利用PCM锁机制，使BLOCK X从INSTANCE 1的SGA区写入数据库数据文件中，又从数据文件中把BLOCK X块读入INSTANCE2的SGA区中。发生这种情况即为一个PING。PING使原来1个MEMORY IO可以完成的工作,变成2个DISK IO和1个 MEMORY IO才能够完成,如果系统中有过多的PING，将大大降低系统的性能。
Oracle并行服务器中的每个PCM锁可管理多个数据块。PCM锁管理的数据块的个数与分配给一个数据文件的PCM锁的个数及该数据文件的大小有关。当INSTANCE 1和INSTANCE 2要操作不同的BLOCK，如果这些BLOCK 是由同一个PCM 锁管理的,仍然会发生PING。这些PING称为FALSE PING。当多个INSTANCE访问相同的BLOCK而产生的PING是TRUE PING。
合理的应用划分使不同的应用访问不同的数据，可避免或减少TRUE PING;通过给FALSE PING较多的数据文件分配更多的PCM锁可减少 FALSE PING的次数，增加PCM锁不能减少TRUE PING。
所以, Oracle并行服务器设计的目的是使系统交易处理合理的分布在INSTANCE实例间，以最小化PING，同时合理的分配PCM锁，减少FALSE PING。设计的关键是找出可能产生的冲突，从而决定应用划分的策略。应用划分有如下四种方法:
1.根据功能模块划分，不同的节点运行不同的应用
2.根据用户划分，不同类型的用户运行在不同的节点上
3.根据数据划分，不同的节点访问不同的数据或索引
4.根据时间划分，不同的应用在不同的时间段运行
应用划分的两个重要原则是使PING最小化及使各节点的负载大致均衡。
三、数据库物理结构的设计
数据库物理结构设计包括确定表及索引的物理存储参数，确定及分配数据库表空间，确定初始的回滚段，临时表空间，redo log files等，并确定主要的初始化参数。物理设计的目的是提高系统的性能。整个物理设计的参数可以根据实际运行情况作调整。
表及索引数据量估算及物理存储参数的设置
表及索引的存储容量估算是根据其记录长度及估算的最大记录数确定的。在容量计算中考虑了数据块的头开销及记录和字段的头开销等等。表及索引的initial和next存储参数一般设为相等，pctincrease设为0。
表空间的设计
Oracle数据库的表和索引是透过表空间tablespace存储在数据库中的。在tablespace设计时一般作以下考虑：
1、一般较大的表或索引单独分配一个tablespace。
2、Read only对象或Read mostly对象分成一组，存在对应的tablespace中。
3、若tablespace中的对象皆是read only对象，可将tablespace设置成read only模式，在备份时，read only tablespace只需备份一次。
4、高频率insert的对象分成一组，存在对应的tablespace中。
5、增、删、改的对象分成一组，存在对应的tablespace中。
6、表和索引分别存于不同的tablespace。
7、存于同一个 tablespace中的表(或索引)的extent 大小最好成倍数关系，有利于空间的重利用和减少碎片。
DB BLOCK SIZE
超大型数据库DB BLOCK SIZE一般在4KB 至 64KB，而最常用的是8KB、 16KB或32KB。选用较大的DB BLOCK SIZE可使INDEX的高度降低，也会提高IO效率。
Redo Log Files
Oracle进程redo log writer (LGWR)将日志写入日志文件。一般日志文件最好建在专用的镜像盘上。日志文件组的个数及文件的大小的设定与系统交易量的大小有关。ORACLE并行服务器中每个INSTANCE使用各自的一组rego log files。一般的每组日志文件的个数为3-7个，每个的大小为200MB-500MB。
数据文件大小
建议用标准的文件大小，如200M、1GB、2GB、4GB、8GB等，可简化空间的维护工作。
回滚段
回滚段一般建在专用的表空间中。每一个INSTANCE实例拥有各自的回滚段。设置回滚段的一般原则是： initial 及 next 存储参数的值是相等的，同时还是DB BLOCK SIZE的倍数。每个回滚段的minextents设为20，optimal参数的值保证回滚段缩小时不低于20个extents。
临时表空间
临时表空间一般建在专用的表空间中。每一个INSTANCE实例拥有各自的临时表空间。这样使用临时表空间时不会有PING。设置临时表空间的initial=next。
四、系统硬盘的划分及分配
在多机集群环境下，Oracle并行服务器通过操作系统提供的DRD服务来共享同一个数据库。每一个INSTANCE对数据库的数据文件的访问都是通过该数据文件所在的DRD服务进行的。
考虑以下情况：主机1上有DRD服务1，该服务对应的数据文件有1、2、13、35、67等，这时如果主机2上的INSTANCE2需要读取数据文件13，通过DRD服务调度，主机1通过DRD服务访问磁盘阵列上的数据文件13，把INSTANCE2需要的数据读到内存，然后通过MEMORY IO把数据传到主机2的INSTANCE2。写操作是读操作的逆过程。
通过以上分析可知，系统硬盘的划分及分配的原则是尽量减少MEMORY IO。
文章来源于领测软件测试网 https://www.ltesting.net/
