www.599.net

RAID 6级分歧用奇偶校验
日期:2019-09-09    访问量:

  对于磁盘镜像,若是正正在对两张磁盘上不异的块进行写操做时发生电源毛病问题,可能导致两个块处于不分歧的形态。

  随机拜候(random access)模式:接踵的请求会请求随机位于磁盘上的块,每次请求都需要一次磁盘寻道,数据传输率较着低于挨次拜候模式。

  拜候时间(access time):从发出读写请求到数据起头传输之间的时间。拜候时间是寻道时间和扭转期待时间的总和;

  RAID通过把数据拆分到多张磁盘上,能够提高峻数据量拜候的吞吐率;通过引入多张磁盘上的冗余存储,能够显著提高靠得住性。

  所有上述动做通过闪存转换层(flash translation layer)完成,这一层上供给取磁盘存储器不异的面向页/扇区的接口。

  缓冲区替代策略(buffer replacement strategy):当缓冲区中没有残剩空间时,正在新块读入缓冲区之前必需把一个块从缓冲区中移除。可采用改良的比来起码利用(LRU)策略。

  潜正在毛病(latent ilure)/位腐(bit rot):个体扇区先前成功写入的数据可能丢失的毛病。

  正在设备端点后将丢失所有内容。正在存储介质条理布局中,从main memory向上的存储系统都是易失性存储,从存储器之下的存储都易失性存储。

  若是需要,可将其他块移出从存储器为新块腾出空间(移出的块仅当它自比来一次写回磁盘后被点窜过才被写回磁盘);

  由于数据以块为单元正在磁盘存储器和从存储器之间传输,所以才去用一个零丁的块包含相联系关系的记实的体例,将文件记实分派到分歧的块中是可取的。若是可以或许仅利用一次块拜候就能够存取想要的多个记实,就能节流磁盘拜候次数。由于磁盘拜候凡是是数据库系统机能的瓶颈,所以细心设想块中记实的分派能够获得显著的机能提高。

  设块的逻辑编号从0起头,对于n张磁盘的阵列,块级拆分将磁盘阵列逻辑上第i个块存储到第(i mod n)+1张磁盘上(即用第[i/n]个物理块存储逻辑块i)。

  文件头(file header):正在文件的起头出分派必然数量的字节做为文件头,包含相关文件的各类消息。

  处理法子:先写一个拷贝,再写别的一个,两个拷贝中有一个老是分歧的,并正在电源从头启动后做一些额外的动做以从不完全的写操做中恢复。

  通过连系奇偶校验位和磁盘拆分思惟能够较低价格供给数据冗余,具有分歧成本和机能衡量的替代方案可分为若干RAID级别(RAID level)。

  磁盘节制器(disk controller):计较机系统和现实磁盘驱动器硬件之间的接口,正在磁盘驱动单位内部实现。

  损耗平衡(wear leveling):正在物理块中平均分布擦除操做的准绳。包含多个删除页面的块将会按期断根,并留意先复制这些块中未删除的页面到其他块(并正在转换表中进行更新),擦除多次的物理页面被标识表记标帜为很少更新的“冷数据”,没有擦除多次的页用于存储屡次更新的“热数据”。

  若是插入一笔记录,正在空闲空间尾部给这笔记录分派空间,将包含这笔记录大小和未知的条目添加到块头中,并点窜块头中空闲空间末尾指针;

  RAID 4级:块交叉的奇偶校验组织布局。块级拆分,并正在一张磁盘上为其他N张磁盘对应的块保留一个奇偶校验块;

  选择RAID级别招考虑的要素:所需额外磁盘存储带来的破费、I/O操做数量方面的机能需求、磁盘毛病时的机能、数据沉建过程中的机能。

  柱面(cylinder):由于所有盘片上的读写头一路挪动,所以当某一个盘片的读写头正在第i条磁道上时,所有其他盘片的读写头也都正在各自盘片的第i条磁道上。所有盘片的第i条磁道合正在一路成为第i个柱面。

  块级拆分(block-level striping):将磁盘阵列看做一张零丁的大磁盘,将块拆分到多张磁盘并对块进行逻辑编号。

  平均修复时间(mean time to repair):替代发生毛病的磁盘而且恢复这张磁盘上的数据所破费的平均时间。

  散列文件组织(hashing file organization):正在每笔记录的某些属性上计较一个散列函数,散列函数的成果确定记实应放到文件的哪个块中。

  预读(read-ahead):当一个磁盘块被拜候时,不异磁道的持续块也被读入内存缓冲区找阿谁,即便没有针对这些块的即将到临的请求;(挨次拜候模式下可削减块的拜候时间)

  块的强制写出(forced output of block):正在某些环境下,虽然不需要一个块所占用的缓冲区空间,但必需把这个块写回磁盘的写操做。

  可用奇偶校验位判断哪个扇区犯错,通过计较其他磁盘上对应扇区的对应位的奇偶值来恢复被扇区上的位。

  RAID 1级供给最好的写操做机能,正在数据库系统日记文件的存储等使用中利用普遍,适合中等存储需乞降高I/O需求的使用;

  被钉住的块(pinned block):当一个块上的更新操做正正在进行时,大大都恢复系统不答应将该块写回磁盘。该特征对从解体中恢复十分主要。

  镜像(mirroring):实现冗余最简单、高贵的方式,一张逻辑磁盘由两张逻辑磁盘构成,每一次写操做都要正在两张磁盘上施行。采用镜像手艺的磁盘的平均毛病时间依赖于单张磁盘的平均毛病时间和平均修复时间。

  关于关系的统计数据和描述数据(e.g. 每个关系中元组的总数、每个关系所利用的存储方式);

  平均毛病时间(Mean Time To Failure, MTTF):平均可期望系统无毛病持续运转的时间量,是磁盘靠得住性的怀抱尺度。

  空闲列表(free list):可正在文件头中存储被删除的第一个记实的地址(指针),用这个记实来存储第二个可用记实的地址,顺次类推,被删除的记实构成一条链表。

  寻道时间(seek time):为拜候磁盘上指定扇区的数据,磁盘臂沉定位(挪动以定位准确磁道)的时间。依赖于目标刺刀距离磁盘臂的初始距离,随磁盘臂挪动距离的增大而增大;

  日记磁盘(log disk):一种特地用于写挨次日记的磁盘,对日记磁盘的所有拜候都是挨次的。支撑日至磁盘的文件系统称做日记文件系统(journaling file system)。

  每个物理也都有一个小的存储区域以保留其逻辑地址。逻辑到物理页面的映照被复制到内存的转换表(translation table)中。

  磁头-磁盘安拆(head-disk assembly):安拆正在转轴上的所有磁盘盘片和安拆正在磁盘臂上的所有读写头的统称;

  擦除块(erase block):写入时闪存的页面不克不及间接笼盖,必需先擦除再沉写,一次擦除操做可正在多个页面施行,称为擦除块。

  挨次拜候(sequential access)模式:持续的请求会请求取处于不异或相邻磁道上持续的块;

  大对象凡是不取记实中其他短属性存储正在一路,而是存储到一个特殊文件或文件的调集中,并正在包含该大对象的记实中存储一个指向大对象的逻辑指针。

  多表聚簇文件组织加快了对特定毗连的处置,何时利用多表聚簇依赖于数据库设想者所认为的最屡次的查询类型。

  RAID 3级和RAID 2级一样好,但更节流额外磁盘的开销,因而正在现实中并晦气用RAID 2。

  比特级拆分(bit-level striping):数据拆分的最简单形式,将每个字节按比特分隔,存储到多个磁盘上。

  擦洗(scrubbing):为削减数据丢失的可能性,优良的RAID节制器会正在磁盘空闲期间对每张磁盘的每一个扇区进行读取,若是发觉某个扇区无法读取,则数据从RAID组织的其余磁盘中进行恢复,并写回到扇区中。

  扭转期待时间(rotational latency time):读写头达到所需磁道后期待磁盘扭转曲到拜候的指定扇区呈现正在读写头下的时间。磁盘的平均扭转期待时间是磁盘扭转一周时间的1/2;

  RAID 5级和RAID 4级一样好,但正在不异成本下供给了更好的读写机能,因而再现实中并晦气用RAID 4;

  e.g. 取正在单一文件中存储单一关系的策略比拟,多表聚簇文件布局中SELECT * FROM department查询需要拜候更多的块。可用指针把多表聚簇文件布局中所有department关系的记实链接起来。

  文件(file):一个数据库被映照到多个分歧的文件,由底层操做系统。一个文件正在逻辑上组织成为记实的一个序列,这些记实映照到磁盘块上。

  RAID 3级:位交叉的奇偶校验组织布局。正在RAID 2级的根本上改良,可用单一的奇偶校验位进行检错纠错。

  读写头(read-write head):用于将消息磁化存储到扇区。每个盘片的每个面都有一个读写头,正在盘片上挪动以拜候分歧磁道;

  RAID 6级:P+Q冗余方案。雷同RAID5级,但存储了额外的冗余消息以应对多张磁盘发生毛病的环境。RAID 6级不合用奇偶校验,而利用雷同Reed-Solomon码的纠错码。

  闪存系统通过映照逻辑页码到物理页码,了慢擦除速度和更新的影响。逻辑页更新时辰从头映照到任何已擦除的物理页,本来的标识表记标帜为已删除,可随后擦除。

  软件RAID(software RAID)可正在不改变硬件层,只点窜软件的根本上实现的RAID。而具有公用硬件支撑的系统称为硬件RAID(hardware RAID)系统。

  削减磁盘拜候数量的一种方式是正在从存储器中保留尽可能多的块。由于正在从存储器中保留所有的块是不成能的,所以需要为块的存储而办理从存储器中可用空间的分派。

  分歧的RAID组织形式具有分歧的成本。机能和靠得住性特征。最常用的是RAID 1级和RAID 5级。

  可记实一次(不成沉写)的光盘(CD-R、DVD-R和DVD+R)适合于数据归档,存储不该更改的消息;可多次沉写的光盘(CD-RW、DVD-RW、DVD+RW和DVD-RAM)也可用于数据归档。

  NAND快闪:读取时需要将整个数据页取到从存储器中,比NOR快闪廉价、存储容量高,采用NAND快闪建立的存储系统供给取磁盘存储器不异的面向块的接口。

  挪动记实以占领被删记实所空间的做法不抱负,可采用让随后插入的新记实沉用被删除记实空间的做法。

  缓冲区(buffer):从存储器中的一部门,用于存储磁盘块拷贝。每个块总有一个拷贝存放正在磁盘上,但正在磁盘上的拷贝可能更旧。

  属性ID、name和dept_name为变长字符串,属性salary为定长数值用8个字节存储;

  多表聚簇文件组织(multitable clustering file organization):一种正在每一块中存储两个或多个关系的相关记实的文件组织。该文件组织答应利用一次块的读操做来读取满脚毗连前提的记实。

  对于记实中的变长属性,正在记实的初始部门中存储一个对(偏移量,长度)值,此中偏移量暗示正在记实中该属性的数据起头的,长度暗示变长属性的字节长度,然后正在定长部门后持续存储。

  数据传输率(data-transfer rate):从磁盘获得数据或向存盘存储数据的速度。对于磁盘的内侧磁道,数据传输率较着低于最大传输率;

  插入一条新记载时,利用文件头所指向的记实,并改变文件头的指针以指向下一个可用记实。若是没有可用空间,则将新记载添加到文件末尾。

  块(block):数据正在磁盘和从存储器之间以块为单元传输。一个块是一个逻辑单位,包含固定命目标持续扇区。

  空位图(null bitmap):用于记实哪个属性是空值。正在一些暗示中空位图存储正在记实开首,而且对于空属性不存储数据。

  对于大量数据传输,比特级拆分(RAID 3级)取块级拆分(RAID 5级)的数据传输率同样好;

  每个块起头处有一个块头,包含消息1. 块头中记实条目标个数;2. 块中空闲空间的末尾处;3. 一个包含记实和大小的记实条目构成的数组。

  缓冲区办理器把请求的块从磁盘读入缓冲区,将这个块正在从存储器中的地址传回给请求者。

  对于插入操做,正在文件中定位按搜刮码挨次处于待插入记实之前的一笔记录,若是该记实所正在块中有一条空闲记实(删除后留下的空间)则间接插入新记载,不然将新记载插入到一个溢出块中。调整指针,使其能按搜刮码挨次链接记实。

  热互换(hot swapping):正在不堵截电源的环境下将犯错磁盘用新的磁盘替代。(削减了平均恢复时间)

  若是存储正在溢出块中的记实较多,会搜刮码挨次和物理挨次之间的分歧性,降低挨次处置效率。此时文件该当沉组(reorganized),使其再一次正在物理上挨次存放。沉组价格很高,必需正在系统负载很低时施行。

  缓冲(buffering):从磁盘读取的块临时存储正在内存缓冲区中,以满脚未来的要求;

  从动光盘机(jukebox):存储大量光盘的设备,可按需求从动将光盘拆载到少量驱动器中的一个上。

  对于计较department关系和instrutor关系的毗连的查询,可设想一个高效施行涉及department天然毗连instructor查询的文件布局,该文件布局中,每个系的instructor元组存储正在具有响应dept_name的department元组附近,因而将两个关系的元组夹杂正在一路,答应对毗连的高效处置。

  夹杂硬盘驱动器(hybrid disk drive):连系了小容量闪存存储器的硬盘系统,对屡次拜候的数据做为缓存利用。

  存储介质的靠得住性由两个要素决定:电源毛病或系统解体能否导致数据丢失,存储设备发生物理毛病的可能性有多大。

  若是删除一笔记录,它占用的空间,并将它的条目设置成被删除形态(e.g. 大小设置为-1),挪动块中被删除记实之前的记实,并点窜块头中空闲空间末尾指针。

  挨次文件(sequential file):用于高效处置按某个搜刮码的挨次排序的记实。通过指针把记实链接起来,每笔记录的指针指向搜刮码挨次陈列的下一跳记实,并正在物理上按搜刮码挨次或尽可能接近按搜刮码挨次存储记实。

  安排(scheduling):若是所需的块正在统一柱面上,可按块颠末读写头的挨次发出拜候块的请求;若是所需的块正在分歧柱面上,按照使磁盘臂挪动最短距离的挨次发出拜候块的请求。

  e.g. 记实中有4个属性,因而该记实的空位图只占1个字节。记实中若是salary是空值,则空位图的第41,存储正在12~19字节的salary值将被忽略。

  文件组织(file organization):按取预期数据的拜候体例最接近的体例来组织磁盘上的块以削减块的拜候时间;

  平均寻道时间(average seek time):寻道时间的平均值,通过正在一个平均分布的随机请求序列上计较获得;

  磁带只能进行挨次存取,不克不及供给随机拜候。次要用于备份存储不经常利用的数据、将数据从一个系统转到另一个系统的脱机截止。

  硬件RAID可利用非易失性RAM正在施行写操做之前记实它们,若是发生电源毛病,系统恢复时辰从非易失性RAM中获得相关未完成的写操做的消息并完成。

  冗余(redundancy):处理靠得住性问题的方式,存储一般环境下不需要的额外消息,可正在磁盘毛病时用于沉建丢失的消息。

  磁盘安排算法(disk-arm-scheduling)将对磁道的拜候按能添加能够处置的拜候数量的体例排序。

  RAID 5级:块交叉的分布奇偶校验位的组织布局。正在RAID 4的根本上改良,将数据和奇偶校验位分布到所有的N+1张磁盘中,而不是正在N张磁盘上存储数据并正在一张磁盘上存储奇偶校验位。

  若是此中一张磁盘发生了毛病,可从其他磁盘中读出字节的其余位和相关的纠错位,并用于沉建被的数据;

  凡是每个关系的记实用一个零丁的文件存储。但正在多表聚簇文件组织(multitable clustering file organization)中,几个分歧关系的记实存储正在统一个文件中。

  RAID5级比拟1具有较低存储负载,但写操做时间开销更高,适合经常进行读操做而很少进行写操做的使用。

  留意奇偶校验块不克不及和其所对应的数据块存储正在统一张磁盘上,不然磁盘发生毛病时导致数据和奇偶校验位的丢失。

  RAID 2级:内存气概的纠错码(Error-Correcting-Code, ECC)组织布局。每个字节有都有一个取之联系的奇偶校验位,字节拆分存储到多张磁盘上,纠错位存储正在其余磁盘中。

  堆文件组织(heap file organization):一笔记录可放正在文件中的任何处所,只需阿谁处所有空间存放这笔记录。记实是没有挨次的,凡是每个关系(记实的调集)利用一个零丁的文件;

  关于每个关系的每个索引的消息(e.g. 索引的名字、被索引关系的名字、正在其上定义索引的属性、构制的索引的类型)。



友情链接:

Copyright 2019-2022 http://www.szqsly.com.cn 版权所有 未经协议授权禁止转载