ISO/TR 17797:2014
(Main)Electronic archiving — Selection of digital storage media for long term preservation
Electronic archiving — Selection of digital storage media for long term preservation
ISO/TR 17797:2014 gives guidelines on a selection of the most appropriate storage media for use in long-term electronic storage solutions. It includes a discussion on magnetic, optical, and electronic storage.
Archivage électronique — Sélection d'un support de stockage numérique pour une préservation à long terme
General Information
Standards Content (Sample)
TECHNICAL ISO/TR
REPORT 17797
First edition
2014-10-01
Electronic archiving — Selection of
digital storage media for long term
preservation
Archivage électronique — Sélection d’un support de stockage
numérique pour une préservation à long terme
Reference number
©
ISO 2014
© ISO 2014
All rights reserved. Unless otherwise specified, no part of this publication may be reproduced or utilized otherwise in any form
or by any means, electronic or mechanical, including photocopying, or posting on the internet or an intranet, without prior
written permission. Permission can be requested from either ISO at the address below or ISO’s member body in the country of
the requester.
ISO copyright office
Case postale 56 • CH-1211 Geneva 20
Tel. + 41 22 749 01 11
Fax + 41 22 749 09 47
E-mail copyright@iso.org
Web www.iso.org
Published in Switzerland
ii © ISO 2014 – All rights reserved
Contents Page
Foreword .v
Introduction .vi
1 Scope . 1
2 Normative references . 1
3 Terms and definitions . 1
4 Methodology . 1
5 Choice of storage system/media . 2
6 Hard disk drive . 3
6.1 General . 3
6.2 Reasons for failure . 3
6.3 Quality indicators . 4
6.4 Technical arrangements . 7
6.5 Control tools . 8
7 Magnetic tape . 9
7.1 General . 9
7.2 Reasons for failure . 9
7.3 Quality indicators .10
7.4 Technical arrangements .10
7.5 Control tools .11
8 Solid state drive (SDD), flash memory .11
8.1 General .11
8.2 Reasons for failure .12
8.3 Quality indicators .12
8.4 Technical arrangements .12
8.5 Control tools .13
9 Optical discs (recordable and rewritable) .14
9.1 General .14
9.2 Reasons for failure .14
9.3 Quality indicators .14
9.4 Technical arrangements .15
9.5 Control tools .16
10 General requirements for long-term preservation .17
10.1 General .17
10.2 Media traceability .17
10.3 Optimal storage identification .17
10.4 Duplication of storage .17
10.5 Media stocktaking .17
10.6 Periodic inspection .18
11 Selection of media .18
11.1 General .18
11.2 Volume of information .18
11.3 Size of individual items .18
11.4 Retention period of the information .19
11.5 Capacity of the media .19
11.6 Technology already in use within the organization .19
11.7 Retrieval and accessibility requirements .19
11.8 Exposure to threats to media .20
11.9 Costs .20
11.10 Records management, regulatory, and discovery .20
11.11 Technology refresh cycle/software migration .20
11.12 Industry acceptance and maturity .20
Annex A (informative) RAID .21
Annex B (informative) SMART .23
Bibliography .24
iv © ISO 2014 – All rights reserved
Foreword
ISO (the International Organization for Standardization) is a worldwide federation of national standards
bodies (ISO member bodies). The work of preparing International Standards is normally carried out
through ISO technical committees. Each member body interested in a subject for which a technical
committee has been established has the right to be represented on that committee. International
organizations, governmental and non-governmental, in liaison with ISO, also take part in the work.
ISO collaborates closely with the International Electrotechnical Commission (IEC) on all matters of
electrotechnical standardization.
The procedures used to develop this document and those intended for its further maintenance are
described in the ISO/IEC Directives, Part 1. In particular the different approval criteria needed for the
different types of ISO documents should be noted. This document was drafted in accordance with the
editorial rules of the ISO/IEC Directives, Part 2 (see www.iso.org/directives).
Attention is drawn to the possibility that some of the elements of this document may be the subject of
patent rights. ISO shall not be held responsible for identifying any or all such patent rights. Details of
any patent rights identified during the development of the document will be in the Introduction and/or
on the ISO list of patent declarations received (see www.iso.org/patents).
Any trade name used in this document is information given for the convenience of users and does not
constitute an endorsement.
For an explanation on the meaning of ISO specific terms and expressions related to conformity
assessment, as well as information about ISO’s adherence to the WTO principles in the Technical Barriers
to Trade (TBT) see the following URL: Foreword - Supplementary information
The committee responsible for this document is ISO/TC 171, Document management applications,
Subcommittee SC 1, Quality.
Introduction
A significant proportion of digital information generated by different human activities will need to be
stored for a long period of time and in some cases for as long as it is possible. Where ‘long-term’ is used
in this Technical Report, a storage period of not less than the anticipated life of the storage media is
assumed.
The media currently used to store digital information for the long-term have not been analysed and
manufactured for this purpose but mainly developed to maximize transfer rates, density recording, and
access time. All these parameters have to be taken in perspective when long-term preservation is the
requirement, not just simple backup purposes.
In general, current information management systems might not be conducive to the satisfactory
achievement of long-term preservation. For long-term preservation, there needs to be the development
of special resources and complex procedures with often increased costs when compared with ‘normal’
information management systems (duplication of files, refreshing storage, equipment redundancy,
monitoring systems, heavy maintenance, frequent and risky migration, high energy consumption, etc.).
Even when a system is designed for long-term preservation, the day-to-day requirements for access and
management of the stored digital information needs to be taken into consideration.
When designing systems for long-term preservation, it is necessary to have specific pathways with the
objective of providing qualified storage media on criteria such as reliability and stability; this would
ensure that the sustainability of digital information leads to optimize the solution for both long-term
preservation and access to digital information.
The context of the requirement for long-term digital preservation needs to establish conditions and
recommendations for media that is specially manufactured with a guaranteed potential of stability and
reliability.
The main criteria involved in the long-term preservation of digital information can be summarized as
follows:
a) intrinsic stability of storage media;
b) stability of physical and/or chemical modifications of media produced by record processing;
c) quality and reliability of recording process;
d) preservation of access path to information and metadata;
e) preservation of access tools (i.e. any special software needed to use digital items that have not been
migrated to a long-term or standardized format);
f) quality of information;
— compliance with format specification;
— data integrity.
Only the first three criteria from the list above are considered as part of this Technical Report.
It is noted that the objective is not to make rules or specifications for use on information management
systems as several International Standards, such as ISO 14641-1, ISO 15489-1, and ISO/TR 15489-2, fill
this role.
vi © ISO 2014 – All rights reserved
TECHNICAL REPORT ISO/TR 17797:2014(E)
Electronic archiving — Selection of digital storage media
for long term preservation
1 Scope
This Technical Report gives guidelines on a selection of the most appropriate storage media for use
in long-term electronic storage solutions. It includes a discussion on magnetic, optical, and electronic
storage.
2 Normative references
The following documents, in whole or in part, are normatively referenced in this document and are
indispensable for its application. For dated references, only the edition cited applies. For undated
references, the latest edition of the referenced document (including any amendments) applies.
ISO 12651-1, Electronic document management — Vocabulary — Part 1: Electronic document imaging
3 Terms and definitions
For the purposes of this document, the terms and definitions given in ISO 12651-1 and the following
apply.
3.1
refreshment
data migration where the media is replaced with equivalent media such that all storage hardware and
software functionality is unchanged
Note 1 to entry: Refreshment cycles are based on the predicted life span of the medium.
[SOURCE: ISO 13008:2012]
3.2
migration
process of moving digital information, including their existing characteristics, from one hardware or
software configuration to another without changing the format
Note 1 to entry: Migration can also include converting to a more current computing environment, involving
changes to hardware/software configurations.
[SOURCE: adapted from ISO 13008]
3.3
storage medium
device on which digital information can be recorded
Note 1 to entry: Device can designate a support, a combined support and media player, or a set recorder.
4 Methodology
The characteristics required for storage media should be clearly established regarding the following
criteria:
— reliability;
— anticipated longevity;
— sensitivity to environment (operating or storage), internal and external conditions;
— obsolescence of hardware and software.
A part of this Technical Report describes methods or guidelines which lead to the identification of
appropriate media based on criteria specified, such as the following:
— control strategies;
— media evaluation process (procedures, monitoring devices);
— tools for monitoring characteristics (ECC, data verification, etc.);
— defining acceptance criteria level;
— analysis of means (existing or desired) for detecting trends.
On this basis, this Technical Report is structured around the following points:
— requirements for the long-term storage media;
— capability of different types of technologies to store digital information in the long term, including
aspects of quality, reliability, and durability;
— definition of criteria considered;
— diagnostic elements to be used.
5 Choice of storage system/media
This clause lists some of the issues related to the different types of media that can be used for the storage
of digital information. The choice of media should support the long-term preservation strategy and the
architecture of the information management system.
All media/recording systems are at risk of a sudden loss of access to digital information, regardless of
the technology, so an information management system should be designed to mitigate this risk of loss
of this information.
There are various reasons for loss of access, but the most common is the physical failure of media/drivers.
This can be the cause in up to 70 % of cases (30 % drive read instability, 38 % drive failure).
The choice of storage system/media is complex because of their often unpredictable behaviour during
their life. Reliability models used by manufacturers can provide estimates that are often not achieved in
the operational environment. The reliability of storage media is often given by manufacturers in terms
of failure rate or in terms of lifespan; for example, the rated lifetime of a particular media type might
range from 10 years to several centuries. However, in practical applications it can be found that the
actual lifespan can range from a few months to 20 years, as it can be shown that operational life depends
upon the operating environment. This disparity needs to be taken into consideration when deciding
between different types of media or different models of the same type of media.
A further factor that should be taken into consideration when choosing storage solutions is the issue of
obsolescence. Recent developments in storage systems have resulted in a very rapid increase in functional
performance, but this has also lead to the rapid obsolescence of implemented solutions. Moreover,
reliability and lifespan are typically not transferable from old systems to newer replacements. With
each new advance in technology, much of the knowledge gained by tests or various statistical studies
on existing systems will need to be replaced by trials and other methods of estimating the reliability of
the new systems. This requirement is not supported by research on media degradation processes which
makes it very difficult to establish a model for estimating storage media life (see Bibliography).
2 © ISO 2014 – All rights reserved
Storage solutions should be chosen taking into consideration the following:
— results of acceptance tests;
— traceability of the manufacturing processes;
— quality testing by sampling processes;
— longitudinal monitoring of media/drivers;
— environmental conditions of operational use and storage;
— continuous monitoring on the evolution of supply (hardware and software) in relation to the risk of
withdrawal of commercial products.
6 Hard disk drive
6.1 General
Hard disk drive (HDD) technology is well established, and over the past 50 years there have been
substantial improvements in data transfer rates and capacity along with a marked decrease in product
price.
Hard disk drives are electromechanical devices containing generally aluminium platters that are layered
with magnetic recording material. Data are written to and read from the disk by moveable read/write
heads which float over the surface of the disk.
Two main risks are associated with the use of hard disk drives as physical carriers.
— They have a short life expectancy and should be replaced every five years.
— This technology is also susceptible to data loss from extended use, powering the disk on or off,
physical damage of the drive itself, and sudden disk failure, etc.
Configurations
HDD can be used in information management systems under different configurations: either removable
or external drives or integrated systems using redundancy and error correction codes to improve
performance and reliability.
— On-line: the system configuration maintains a continuous or intermittent solicitation through a
permanent connection;
— Off-line: not under control of processing unit, physically removed or disconnected and can’t be
accessed without human intervention:
— idle or inactive;
— RHDD removable hard disk drive;
— iVDR versatile hard disk;
— external HDD, etc.
6.2 Reasons for failure
Storage systems, and in particular those that have moving parts, are prone to mechanical failure. Failure
can occur through a number of factors.
6.2.1 Mechanical failures:
— Heads: contamination, disk contact (crash);
— Arm: resonance, damping;
— Platters: scratch, wear, local defect, warping, magnetic layer defect;
— Motor: spindle motor, bearing, defective rotation, lubricant;
— Exploitation processing; data swap.
6.2.2 Electronic failures (motor driver, controller, buffer, connectors, interface, etc.):
— Main causes: power spikes, electrical surge, static electricity;
— Damaged to integrated components;
— Fail connection (power unit, driver, bus, etc.);
— Servo, memory chips.
6.2.3 External factors:
— Magnetic fields;
— Temperature and humidity;
— Water contact;
— Shocks, vibrations.
6.2.4 Disks off-line, the potential factors identified are
— Magnetic thermal decay of recorded bits;
— Media corrosion;
— Media lubricant oil evaporation;
— Fluid dynamic bearing oil evaporation or degradation;
— Electronic corrosion and degradation.
These archival life factors are all functions of temperature and humidity.
See Reference [54].
6.3 Quality indicators
6.3.1 General
Due to the incredibly precise nature of the technology used in hard disks and the fact that mechanical
components are used, it is impossible to guarantee the reliability of even the highest quality disks
for more than a few years. The failure rate of hard disks follows the so-called bathtub curve model of
failures (see Figure 1): they have a relatively high rate of “premature failure” (or early failure), a period
of very low failures for several years, and then a gradual reduction in reliability as they reach the end of
their useful life
4 © ISO 2014 – All rights reserved
Premature
Wearout
failure
Useful Life
Life
End
Cumulative operating time
of
Life
1 year 5-7 years
Figure 1 — Failure evolution: the bathtub curve
Most of the time, these are statistics based on systems in operation. However, these results do not give
any indication about the new generations because technical similarities do not allow extrapolations.
The rapid evolution of hardware provides backward compatibility but cannot predict their behaviour
(although we have a good idea of the stability of the supports when they are replaced by the next
generation).
6.3.2 Reliability terms
6.3.2.1 General
The disparity of units and values in the specifications provided by the manufacturers concerning the
characteristics of reliability should be noted. Examples are:
— MTBF (Mean time before failure);
— MTTF (Mean time to failure);
— AFR (Annualized failure rate);
— MTBDL (Mean time between data loss);
— MTTR (Mean time to repair);
— Useful/Service life.
In addition, reliability data are rarely accompanied by a statement of conditions used for the development
of the data.
6.3.2.2 Mean time before failure (MTBF) or Mean time to failure (MTTF)
MTBF is a statistical calculation that projects the average life expectancy of a typical disk in a large
population of drives. MTBF does not indicate how long a disk drive will run before it fails, just the
probability of failure.
To be interpreted properly, the MTBF figure is intended to be used in conjunction with the useful service
life of the drive, the typical amount of time before the drive enters the period where failures due to
component wear-out increase. MTBF only applies to the aggregate analysis of large numbers of drives;
it says nothing about a particular unit.
If MTBF of a model is 500 000 hours and the service life is five years, this means that a drive of that type
is supposed to last for five years, and that of a large group of drives operating within this timeframe, on
Failure rate
average they will accumulate 500 000 hours of total run time (amongst all the drives) before the first
failure of any drive.
There are in fact two different types of MTBF figures:
— Theoretical MTBF figure for a new drive based primarily upon analysis of historical data of other
drives similar to the new one;
— Operational MTBF derived by analysing field return and comparing them to the installed base.
6.3.2.3 Annualized failure rate (AFR)
Annualized failure rate (AFR) gives the failure probability for a device or component during a full year
of use. It is in relation with MTBF.
AFR is calculated from the device failure rate over time observed. Disk resellers are particularly sensitive
to this issue since this statistic influences their spare parts strategy.
6.3.2.4 Mean time between data loss (MTBDL)
MTBDL is a statistical figure that attempts to predict how long an array group will operate before
suffering a catastrophic failure and data loss. For example data loss occurs when information is written
to the failed disk array subsequent to its last backup. RAID technology allows some disk array groups
to survive the failure of one or more disks making MTBF less significant. MTBDL is a more meaningful
measure of reliability than MTBF or AFR since it considers the performance of the array, not just a sub-
component.
6.3.2.5 Mean time to repair (MTTR)
MTTR is the time it takes to repair a failed part. MTTR figures assume that no time elapses between the
failure and the beginning of repair operations. That is to say, the appropriate person becomes aware of a
bad component the instant it fails, has the necessary replacement parts available, and begins the repair
process immediately. Unfortunately, this is not usually a valid assumption. As disk capacity increases,
the time to complete the rebuild process grows in importance since it extends the time that the total
array is vulnerable to a catastrophic failure.
See Reference [52].
6.3.2.6 Useful/Service life
It is the expected operation time of the HDD given by the manufacturer. This time corresponds to the
ending period when failure rate becomes weak and constant. The “probability of survival” R of a HDD
model and for a defined Useful life is given by Formula (1):
–Useful life/MTBF
R = e
(1)
where
R is the probability of survival, assuming constant failure rate model.
For example, for a model of HDD with a MTBF of 500 000 hours and a useful/service life of five years, the
probability of survival of this HDD model is equal to 92 %. If this model is used 10 years the probability
of survival decreases to 84 %.
6 © ISO 2014 – All rights reserved
6.3.3 Discussion on quality indicators
According to several publications, quality indicators given by manufacturers can overestimate the
lifetimes (replacement rate) significantly. For five to eight year old drives, field replacement rates were
a factor of 30 × higher than what the datasheet MTTF suggested.
See Reference [29].
Vendor-published failure-prediction metrics such as MTTF have been criticized by the research
community. It is important to know how these metrics are derived. The aim in detailing accelerated
life tests methodology to predict storage media reliability is to help storage system designers. Because
disks are already reliable, meaningful data about actual performance is available only by studying
very large populations of drives over very long periods. Furthermore disk technology changes so
rapidly, information about current products will inevitably be established from accelerated life tests,
not experience. Prediction will inevitably be based on models of how environmental factors affect
performance.
See References [51] and [53].
Some causes of failure are different depending on whether the HDD are on-line or off-line.
See Reference [54].
6.4 Technical arrangements
6.4.1 General
To be compatible with long-term preservation, disks require full redundancy to address, among other
things, early failure (see 6.3).
6.4.2 HDD on-line
6.4.2.1 General
For HDD on-line, literature shows that lifetime and reliability constraints are incompatible with long-
term preservation. Without completely forgetting the risk of failure, the main corrective solution
adopted is to rely on systems using data redundancy, but at the cost of operational complexity (tracking
software for regular checks, for example), which should be precisely measured and regularly assessed.
6.4.2.2 Redundant arrays of independent disks (RAID)
The term RAID is applied to a collection of techniques that store data on a group of logically and physically
bound disks in order to provide high throughput and, in most cases, parity protection for high reliability
(see Annex A).
Recommendation
For high security, minimum redundancy desirable is RAID 6 type (despite the complexity of data reconstruc-
tion and the time required for restoration of incidents).
6.4.2.3 Additional procedures of RAID
6.4.2.3.1 Use of a spare HDD “hot swap” or “hot spare”
Disk capacity has become so important that the reconstruction of data in case of failure of one or two
disks leave the system with a degraded protection for several hours.
Recommendation
To reduce the reconstruction time, it is recommended to use a rescue disk that will be used in “hot swap” or
“hot spare” mode.
6.4.2.3.2 Use a backup system
No storage system, not even an advance RAID unit, can completely eliminate the danger of data loss.
User error and accidental file deletion still account for most problems. For these and other reasons
(virus attack, natural disasters) frequent backups and periodic archiving are essential. By combining
conservative operational procedures with disk array technology, a storage strategy can be built in order
to offer the best defence against catastrophic disk failures.
Recommendation
From experience it is highly recommended to use a backup (preferably different from those used by RAID
system).
6.4.3 HDD off-line
For HDD off-line, a study made by a manufacturer and university advocates the use of accelerated
aging methods (temperature-humidity relationship) to select RHDD. According to this study and the
specifications given by the “RDX Storage Alliance”, the failure rate is only 1 % for 30 years.
Analysis of data from an accelerated life test predicts that, if data are written on 160 GB RDX removable
hard drive cartridges based on 2,5 in laptop disk technology, and if cartridges are then stored in realistic
conditions for 30 years, more than 99 % of the drives will then read their entire content with no errors.
A small sample of 3,5 in CSS drives included in the test demonstrated much lower data retention.
See Reference [54].
Recommendation
In case of HDD off line, in addition to the necessary redundancy, it will first select the candidates with struc-
turally a potentially longest life (by using accelerated aging tests) and also to organize a test periodic (at least
annual) consisting of read access.
An effective archival protection strategy should address these attributes including the following:
— Multiple replicas of archived data; more replicas will mean greater protection;
— Periodic start up and exercise of mostly non-operating hard disk drives to redistribute mechanical lubri-
cants;
— Periodic migration of data to current media and systems to prevent bit rot and system obsolescence;
— Storage of archival media in controlled temperature and humidity environments to minimize bit rot and
disk corrosion.
6.5 Control tools
6.5.1 Self-monitoring analysis and reporting technology (SMART)
This system is installed on HDDs to get information on mechanical and electrical components. The
fundamental principle behind SMART is that many problems with hard disks don’t occur suddenly.
They result from a slow degradation of various mechanical or electronic components. SMART evolved
8 © ISO 2014 – All rights reserved
from a technology developed by IBM called Predictive Failure Analysis or PFA. PFA divides failures into
two categories: those that can be predicted and those that cannot. The exact characteristics monitored
depend on the particular manufacturer and model (see Annex B).
6.5.2 RAID monitoring tools
For a discussion, see A.3.
7 Magnetic tape
7.1 General
Recording technologies Media width
Linear ¼ in
Linear ½ in
Linear 8 mm
Helical-scan 4 mm
Helical-scan 8 mm
NOTE The most widely used is ½ in linear tape.
7.2 Reasons for failure
7.2.1 Physical media degradation
7.2.1.1 General
The components of magnetic tape which affect the stability of the media include a substrate layer,
magnetic particles, binder layer (which can contain a lubricant), and possibly backcoat layer.
7.2.1.2 Substrate layer
Very thin layer of polyester with mechanical weakness.
7.2.1.3 Magnetic particles or pigments
Magnetic tapes can fail when there is a decrease in magnetic remanence or coercivity.
7.2.1.4 Binder layer
Binder deterioration is the most common cause of tape failure. The binder layer functions are to protect
and hold magnetic particles in place.
Users note a continuous reduction of magnetic particles size (nano particles) and the extreme thinness
of this ultra-thin layer thus more vulnerable to mechanical aggressions.
Binder systems are based on polyester polyurethanes. These polymers can be degraded by a process
known as hydrolysis, where polyester linkage is broken by a reaction with water. One of the by-products
of this degradation is organic acids which accelerate the rate of hydrolytic decomposition. Furthermore,
the acids can attack and degrade the magnetic particles.
The degree of hydrolysis of a tape binder system is a critical property that can determine the lifetime of
a magnetic tape.
7.2.2 Media playback obsolescence
Each generation of tape drives and media can be viable for four years to six years, after which it is
essential to migrate the data.
7.2.3 Blocking
This is the sticking together or adhesion of successive windings in a tape pack. Blocking can result from
binder deterioration when tape reels are stored at high temperature and humidity, and/or excessive
tape pack stresses.
7.2.4 Curvature error
Changes in track shape that result in a bowed or S-shaped track. This becomes a problem if the playback
head is not able to follow the track closely enough to capture the information.
See Reference [55].
7.3 Quality indicators
Example quality indicators are the following:
— mechanical properties (headers, web tension);
— tribological properties of tape;
— features magnetic tapes;
— signal/noise and waveform (record, play);
— error rate (N.B. cycles record/read).
7.4 Technical arrangements
7.4.1 Storage and handling
ISO 18923 and ISO 18933 address the issues of physical integrity of the medium necessary to preserve
access to the recorded data (information). Included are recommendations for handling procedures to
maximize the effective life of tapes. Faulty handling, packing, and transporting techniques and methods
often cause physical damage to the tapes and to the content recorded there on.
7.4.2 Removal of magnetic tapes from archival storage
Tapes cannot be removed from storage and immediately played on a recorder. Time shall be allowed
for tapes and recorder in order to equilibrate temperature and humidity environment prior playback
processing.
7.4.3 Refreshing of tapes
In order to maximize their useful life, tapes can require periodic refreshing.
Refreshing should not be confused with restoration. It is a preventative maintenance procedure.
Recommendation
The International Association of Sound and Audiovisual Archives recommend a refreshment cycle of three to five
years for magnetic tape media and drive replacement every one to five years.
10 © ISO 2014 – All rights reserved
7.4.4 Cleanliness
Cleanliness is important because minute debris can cause loss of reproduced signal by disturbing the
intimate contact necessary between the tape surface and the reproducing head.
7.4.5 Periodic rewinding
For long-term storage, it is helpful to rewind tapes at an interval of not more than three years.
7.4.6 Estimation of magnetic tape life expectancies (LEs)
There is no recent study about lifespan of current tapes (LTO, T10000, etc.). However, if one takes into
account the contributions of the study, magnetic tapes can be selected using a method in accelerated
[56]
aging in temperature and humidity.
The test conditions have to be determined with manufacturers.
7.5 Control tools
Reporting software on backup process have been developed, but these programs focus more on the
analysis of backup process ensuring compliance. Devoted to quality, software has also been developed
using two different approaches.
— Monitoring “In-Band”: Analysis made during the use of the tape with diagnostic equipment (drivers
and software) installed on reader/recorder device.
— Approach “Out of Band” used by some manufacturers: Analysis from readings collected during use
of the tape and transmitted to the cartridge memory (memory chip). A device (cartridge memory
analyser) can then collects and upload data on the system in order to establish a diagnosis of driver,
tape and data.
8 Solid state drive (SDD), flash memory
8.1 General
Flash memory is non-volatile memory that can be erased and reprogrammed in units of memory called
blocks. Flash memory chips store data in a large array of “floating gate metal–oxide–semiconductor (MOS)
transistors” Silicon wafers are manufactured with microscopic transistor dimension, now approaching
40 nanometers.
Solid state drive is a term that refers to electronic circuitry built entirely out of semiconductors. The
primary storage medium is through semiconductors. Solid state drives do not contain moving parts and
retain data in non-volatile memory chips.
NOR and NAND technologies dominate today’s flash memory market.
— NOR is cost effective in low-capacity data storage, and delivers high read performance. A feature of
NOR is eXecute In Place (XIP), which allows an application to be run directly from flash instead of
reading the application code into system RAM.
— NAND is an ideal solution for high-capacity data storage. Its architecture competes by offering
extremely high cell densities that translate to high storage capacity, combined with fast write and
erase rates. The block cell size of NAND flash is almost half the size of a NOR block cell.
Flash memory is susceptible to wear due to repeated program and erased cycles. Constantly programming
and erasing to the same memory location eventually wears that portion of memory out and makes it
invalid. To prevent it, special algorithms are deployed within the SSD called Wear Levelling.
8.2 Reasons for failure
Flash memory reliability
Major reliability concerns for flash memory technologies are endurance, data retention, bit flipping, and
bad block handling. The reliability of flash memory decreases during use. The wear phenomenon occurs
4 5
for a finite number of entries: 10 to 10 , it depends upon the following:
— quality of the oxide;
— cell size;
— cell type: 1 bit (SLC) or more (MLC);
— cycle number of erasures and rewrites;
— number of readings.
The system includes a flash memory [Flash translation layer (FTL)] which aims to optimize endurance
and speed: it manages the physical addresses (areas), the deletes, wear levelling, and the treatment of
defective areas.
8.3 Quality indicators
8.3.1 Long-term data endurance (LDE)
To the end user, the SSD is a system. What is needed is an endurance specification for the system as a
whole, a single, simple “indicator” that everyone can use. The goal of the endurance test is to find the
right mix of workloads and then run it against different devices to measure their overall endurance.
Manufacturer proposes to define “Long-term data endurance (LDE)” as based on the total numbe
...
ТЕХНИЧЕСКИЙ
ISO/TR
ОТЧЁТ
Первое издание
2014-10-01
Архивирование электронное. Выбор
цифровой запоминающей среды для
долгосрочного сохранения
информации
Electronic archiving — Selection of digital storage media for long term
preservation
Ответственность за подготовку русской версии несёт GOST R
(Российская Федерация) в соответствии со статьёй 18.1 Устава ISO
Ссылочный номер
©
ISO 2014
ДОКУМЕНТ ЗАЩИЩЕН АВТОРСКИМ ПРАВОМ
Все права сохраняются. Если не указано иное, никакую часть настоящей публикации нельзя копировать или использовать в
какой-либо форме или каким-либо электронным или механическим способом, включая фотокопии и микрофильмы, без
предварительного письменного согласия ISO, которое должно быть получено после запроса о разрешении, направленного по
адресу, приведенному ниже, или в комитет-член ISO в стране запрашивающей стороны.
ISO copyright office
Case postale 56 • CH-1211 Geneva 20
Tel. + 41 22 749 01 11
Fax + 41 22 749 09 47
E-mail copyright @ iso.org
Web www.iso.org
Опубликовано в Швейцарии
ii © ISO 2014 – Все права сохраняются
Содержание Страница
Предисловие . v
Введение . vi
1 Область применения . 1
2 Нормативные ссылки . 1
3 Термины и определения . 1
4 Методология долгосрочного хранения . 2
5 Выбор системы хранения информации и запоминающей среды . 2
6 Дисковод жёсткого диска . 3
6.1 Общие положения . 3
6.2 Возможные причины отказов . 4
6.3 Показатели качества. 5
6.4 Технические аспекты . 8
6.5 Инструментальные средства управления . 10
7 Магнитная лента . 10
7.1 Общие характеристики . 10
7.2 Причины отказов . 10
7.3 Показатели качества. 11
7.4 Технические аспекты . 12
7.5 Инструментальные средства контроля . 13
8 Флэш-память твёрдотельного диска (SDD) . 13
8.1 Общие положения . 13
8.2 Причины отказов . 13
8.3 Показатели качества. 14
8.4 Технические аспекты . 15
8.5 Инструментальные средства контроля . 16
9 Оптические диски (для однократной записи и перезаписываемые) . 16
9.1 Общие положения . 16
9.2 Причины отказов . 17
9.3 Показатели качества. 17
9.4 Технические аспекты . 18
9.5 Инструментальные средства контроля . 19
10 Общие требования к системе долговременного хранения информации . 20
10.1 Общие положения . 20
10.2 Контролепригодность носителя . 20
10.3 Оптимальный выбор запоминающей среды . 20
10.4 Дублирование запоминающих устройств . 21
10.5 Инвентаризация носителей . 21
10.6 Регулярная проверка . 21
11 Выбор запоминающей среды . 21
11.1 Общие положения . 21
11.2 Объём хранимой информации . 22
11.3 Размеры отдельных элементов данных . 22
11.4 Период сохранения целостности информации . 22
11.5 Выбор ёмкости информационного носителя . 23
11.6 Обновление технологий, используемых организацией . 23
11.7 Требования к информационному поиску и доступу .23
11.8 Уязвимость носителей для различных потенциальных угроз .23
11.9 Эксплуатационные затраты .24
11.10 Потребности хозяйственной деятельности, требования регуляционных органов и
сохранение доказательной силы документов .24
11.11 Цикл обновления технологии и миграция программного обеспечения .24
11.12 Признание в масштабах отрасли и соответствие техническому прогрессу .24
Приложение A (информативное) Технология RAID .25
Приложение B (информативное) Технология SMART .27
Библиография .28
iv © ISO 2014 – Все права сохраняются
Предисловие
ISO (Международная организация по стандартизации) является всемирной федерацией национальных
организаций по стандартизации (комитетов-членов ISO). Разработка международных стандартов
обычно осуществляется техническими комитетами ISO. Каждый комитет-член, заинтересованный в
деятельности, для которой был создан технический комитет, имеет право быть представленным в этом
комитете. Международные правительственные и неправительственные организации, имеющие связь с
ISO, также принимают участие в работе. ISO работает в тесном сотрудничестве с Международной
электротехнической комиссией (IEC) по всем вопросам стандартизации в области электротехники.
Процедуры разработки, использованные при создании настоящего документа, и надлежащие операции
его дальнейшего сопровождения описаны в части 1 Директив ISO/IEC, в которых особенно важны
критерии утверждения и приёмки различных документов ISO. Проект настоящего документа был
подготовлен в полном соответствии с правилами, приведёнными в части 2 Директив ISO/IEC
(см. www.iso.org/directives).
Принимается во внимание тот факт, что некоторые из элементов настоящего документа могут
являться предметом патентов. ISO не принимает на себя обязательств по идентификации отдельных
или всех таких патентных прав. Подробные сведения о патентных правах, выявляемых в процессе
разработки того или иного документа, подлежат включению в его введение и/или в перечень
полученных ISO деклараций (см. www.iso.org/patents). Подробные сведения о патентных правах,
выявляемых в процессе разработки того или иного документа, подлежат включению в его введение
и/или в перечень полученных ISO деклараций (см. www.iso.org/patents).
Любая торговая марка, фигурирующая в настоящем документе, является информацией,
представляемой исключительно для удобства его пользователей, и не может считаться признаком
выражаемого предпочтения.
Разъяснение специфических терминов и формулировок ISO, касающихся оценки соответствия
конкретным нормативным документам, равно как и приверженности ISO принципам Всемирной
торговой организации (ВТО) в части устранения технических барьеров в торговле, можно найти на
сайте ISO по унифицированному указателю информационного ресурса (URL): Foreword -
Supplementary information
Ответственность за сопровождение данного документа возложена на подкомитет SC 1, Обеспечение
качества, относящийся к Техническому комитету ISO/TC 171 Прикладные системы управления
документооборотом.
Введение
Существенная часть цифровой информации, которая порождается различными действиями людей,
нуждается в сохранении на длительный период времени, а в некоторых случаях подлежит хранению
как можно дольше. В рамках данного технического отчёта определение “долгосрочный” указывает на
период хранения не меньше прогнозируемого срока службы носителя запоминаемой информации.
Используемые в настоящее время для долговременного хранения цифровой информации
запоминающие устройства проектировались и изготовлялись без учёта вышеуказанного фактора
времени, а просто создавались по критериям максимизации скорости передачи данных, плотности
записи и быстродействия при доступе. Все эти параметры, безусловно, должны приниматься во
внимание и в тех случаях, когда выдвигается требование долгосрочного хранения информации, а не
только её обычного резервного копирования.
Современные информационно-управляющие системы могут оказаться не способными к надёжному
осуществлению долговременного хранения запоминаемой ими информации, так как для этого
требуется разработка специальных ресурсов и комплексных процедур, зачастую повышающих затраты
на хранение данных в сравнении со “стандартными” информационными системами (к таким
процедурам и ресурсам относятся дублирование файлов, обновление памяти, резервирование
оборудования, системы текущего контроля, строгий регламент технического обслуживания; частая
миграция данных, сопряжённая с рисками; высокое энергопотребление и др.).
Однако даже в тех случаях, когда система предназначена специально для долгосрочного хранения
данных, должны приниматься во внимание повседневные потребности в организации доступа к
хранимой цифровой информации и управления информационными потоками.
При проектировании систем долгосрочного хранения необходимо предусматривать создание
специальных каналов с использованием высококачественных запоминающих сред, работающих по
критериям обеспечения высокой надёжности и стабильности; такая информационная устойчивость
гарантирует возможность оптимизации как процесса долговременного хранения цифровой
информации, так и организации доступа к ней.
В контексте требований к долгосрочному сохранению цифровой информации возникает
необходимость в определении условий и выработке рекомендаций по созданию специализированных
запоминающих сред с гарантированными свойствами стабильности и надёжности.
Основными критериями долгосрочного сохранения цифровой информации могут быть:
a) собственная стабильность запоминающей среды;
b) стабильность физических и/или химических изменений информационного носителя, порождаемых
процедурами обработки записей данных;
c) надлежащее качество и высокая надёжность процесса записи данных;
d) защита пути доступа к информации и метаданным;
e) защита инструментальных средств доступа (например, специальных программ, необходимых для
использования цифровых элементов, которые не подлежат преобразованию к
стандартизованному формату или формату долговременного хранения);
f) надлежащее качество информации:
— соответствие спецификации форматов;
— целостность данных.
vi © ISO 2014 – Все права сохраняются
В настоящем Техническом отчёте рассматриваются только три первых критерия из приведённого
выше списка.
Следует отметить, что цель настоящего документа состоит не в том, чтобы установить какие-то
правила или технические условия, касающиеся использования информационно-управляющих систем,
поскольку эту роль уже успешно выполняют, например, такие международные стандарты, как
ISO 14641-1, ISO 15489-1 и ISO/TR 15489-2.
ТЕХНИЧЕСКИЙ ОТЧЕТ ISO/TR 17797:2014(R)
Архивирование электронное. Выбор цифровой
запоминающей среды для долгосрочного
сохранения информации
1 Область применения
Настоящий Технический отчёт содержит руководящие указания по выбору наиболее подходящей
запоминающей среды для использования в качестве долговременной памяти электронных систем
долгосрочного сохранения данных; рассматриваются магнитные, оптические и электронные
запоминающие устройства.
2 Нормативные ссылки
Приведенные ниже нормативные документы содержат положения, на которые даются ссылки в
настоящем техническом отчёте, и которые, следовательно, становятся положениями данного
стандарта. Для датированных ссылок применимо только указанное издание. Применительно к
недатированным ссылочным документам действующим остаётся самое последнее издание
нормативного документа (включая все более поздние изменения):
ISO 12651-1, Управление электронным документооборотом. Словарь. Часть 1. Графическое
представление документов
3 Термины и определения
В настоящем документе используются термины и определения из стандарта ISO 12651-1, а также
термины и определения, приведённые ниже.
3.1
обновление памяти
refreshment
перемещение данных, при котором один тип носителя заменяется другим эквивалентным типом таким
образом, что функциональные возможности всех средств технического и программного обеспечения
хранения информации остаются неизменными
Примечание 1 к словарной статье: Расчёт циклов обновления памяти основывается на прогнозируемом сроке
службы информационного носителя.
[ИСТОЧНИК: ISO 13008:2012]
3.2
миграция (данных)
migration
процесс перемещения цифровой информации, включая все ёё характеристики, из одной конфигурации
системы аппаратного или программного обеспечения в другую без изменения формата данных
Примечание 1 к словарной статье: К миграции может также относиться перенос информации на более
совершенное компьютерное оборудование с внесением изменений в конфигурации аппаратного или программного
обеспечения.
[модифицированное определение из ISO 13008]
3.3
запоминающая среда
storage medium
устройство, на котором может записываться цифровая информация
Примечание 1 к словарной статье: Это устройство может представлять собой средство технической поддержки,
средство технической поддержки в сочетании с медиаплеером или стационарный регистратор.
4 Методология долгосрочного хранения
Характеристики, требуемые от запоминающей среды, должны быть чётко определены соответственно
следующим критериям:
— высокая надёжность;
— прогнозируемый срок службы;
— чувствительность к характеристикам окружающей среды (операционной или запоминающей), а
также к внутренним и внешним условиям;
— моральное старение аппаратных и программных средств.
Часть настоящего Технического отчёта посвящена описанию методов и рекомендаций,
обеспечивающих правильный выбор подходящих информационных носителей на основе применения
следующих критериев:
— существующие стратегии хранения информации;
— используемый процесс оценки запоминающей среды (процедуры, средства контроля);
— используемые средства текущего контроля характеристик (встроенные каналы управления,
верификация данных и т.п.);
— определение приемлемого значения критерия приёмки;
— анализ существующих или желательных средств обнаружения трендов.
В рамках такого подхода структура данного документа нацелена на рассмотрение следующих
предметных областей:
— требования к запоминающим средам для долговременного хранения информации;
— функциональные возможности различных технологий хранения цифровой информации в аспекте
характеристик качества, надёжности и долговечности;
— определение подходящих критериев оценки;
— необходимые элементы системы диагностики.
5 Выбор системы хранения информации и запоминающей среды
В этом разделе рассматривается ряд проблем, относящихся к различным типам запоминающих сред,
которые могут применяться для хранения цифровой информации. Выбор определённого носителя
должен осуществляться с учётом принятой стратегии долгосрочного сохранения данных и архитектуры
используемой информационно-управляющей системы.
Любые информационные носители и системы записи информации подвержены опасности внезапного
нарушения доступа к цифровой информации – независимо от технологии его организации, вследствие
чего информационно-управляющая система должна проектироваться таким образом, чтобы риск
потери информации в результате таких сбоев доступа сводился к минимуму.
2 © ISO 2014 – Все права сохраняются
Причины потери доступа могут быть самыми разными, однако наиболее распространёнными
причинами являются физические отказы информационного носителя и его приводных механизмов: на
их долю приходится 70 % всех случаев потери доступа (30 % - на нестабильность процесса
считывания и 38 % - на отказы привода).
Процедура выбора подходящей системы хранения цифровой информации и надлежащей
запоминающей среды довольно сложна из-за того, что зачастую их поведение на протяжении срока
службы непредсказуемо. Надёжностные модели, используемые производителями запоминающих
устройств, могут выдавать оценки, которые нередко оказываются недостижимыми в реальных
условиях функционирования. Оценка надёжности запоминающих сред часто даётся производителями
как прогнозируемая интенсивность отказов или как ожидаемый срок службы; например, расчётный срок
службы конкретного типа носителя информации может характеризоваться диапазоном от 10 лет до
нескольких сотен лет. Однако при его практическом применении в разных прикладных системах может
выясниться, что реальный срок службы будет составлять от нескольких месяцев до 20 лет, поскольку
может быть показано, что эксплуатационный срок службы зависит от конкретных условий
функционирования. Эту несоразмерность теоретического и практического срока службы необходимо
принимать внимание при решении задачи выбора между различными типами информационных
носителей или между разными моделями одного и того же типа.
Ещё один фактор, подлежащий учёту при выборе подходящего технического решения по
долгосрочному хранению данных, это явление морального старения носителей информации.
Последние достижения научно-технического прогресса в области запоминающих устройств привели к
очень быстрому усовершенствованию их функциональных рабочих характеристик, но одновременно
это вызвало и быстрое устаревание уже реализованных технических решений. Кроме того,
характеристики надёжности и долговечности, как правило, не передаются от предыдущего поколения
технических устройств к сменяющему их новому поколению. С каждым новым технологическим
достижением большая часть знаний, накопленных в различных испытаниях и многочисленных
статистических исследованиях эксплуатируемых систем, будет нуждаться в замене новыми
испытаниями и другими методами оценки надёжности более совершенных систем. Эта насущная
потребность никак не подкрепляется научными исследованиями в сфере процессов старения
запоминающих сред, что очень сильно усложняет разработку модели для адекватной оценки
характеристик долговечности информационных носителей (см. раздел “Библиография”).
Поэтому для правильного выбора технических решений по системам памяти должны приниматься во
внимание следующие факторы:
— результаты приёмочных испытаний;
— возможности контроля технологических процессов изготовления;
— контроль качества изделий методом выборочных испытаний;
— продольный текущий контроль запоминающих устройств и их приводных механизмов;
— рабочие условия эксплуатации и хранения запоминающих устройств;
— непрерывное отслеживание эволюционного процесса добавления аппаратных и программных
средств из-за наличия риска снятия с производства тех или иных покупных изделий.
6 Дисковод жёсткого диска
6.1 Общие положения
Технология дисководов жёстких дисков хорошо разработана и в течение последних 50 лет произошло
существенное увеличение их ёмкости, производительности и скорости передачи данных при
одновременном значительном снижении стоимости.
Дисковод жёсткого диска – это электромеханическое устройство, состоящее обычно из круглых
алюминиевых пластин, которые разделены слоями магнитного материала для записи данных. Запись
и чтение данных осуществляются подвижными магнитными головками, «плавающими» над
поверхностью диска.
Использование дисководов жёстких дисков в качестве физических носителей информации сопряжено с
двумя основными рисками:
— короткий ожидаемый срок службы, делающий необходимой их замену каждые пять лет, и
— возможность потери данных при интенсивном использовании – в результате частого
включения/выключения, при физическом повреждении самого дисковода, внезапном отказе диска и т.п.
Конфигурации дисководов
Дисководы жёстких дисков могут использоваться в информационно-управляющих системах в разных
конфигурациях: как съёмные либо внешние устройства или как интегрированные системы, в которых
для повышения эффективности и надёжности применяются резервирование устройств и коды с
исправлением ошибок. При этом возможны следующие режимы:
— оперативный (on-line), в рамках которого системная конфигурация обеспечивает непрерывное
или прерывистое возбуждение дисковода через постоянное соединение;
— автономный (off-line), реализуемый не под управлением процессорного блока – когда дисковод
физически удалён из системы или отсоединён от неё, и доступ к информации на диске не может
быть осуществлён без вмешательства человека;
— простой или неактивное состояние дисковода;
— съёмный жёсткий диск (RHDD);
— многоцелевой жёсткий диск (iVDR);
— внешний дисковод и др.
6.2 Возможные причины отказов
Системы хранения информации и, в особенности, те из них, которые имеют в своей конструкции
движущиеся детали, подвержены отказам механических элементов, причиной которых могут являться
факторы, рассматриваемые ниже.
6.2.1 Отказы механических элементов
— Отказы головок чтения/записи возможны по причинам загрязнения и контакта с поверхностью
диска (при поломке);
— Отказы рычажного механизма могут происходить по причине резонансных колебаний и попадания
влаги внутрь;
— Отказы дисковых пластин возможны по причинам наличия царапин, износа, локального дефекта,
коробления и повреждения магнитного слоя;
— Отказы приводных механизмов могут происходить по причинам неисправности шпинделя
электродвигателя, подшипника, неравномерного вращения, отсутствия смазки;
— Отказы при обмене данными, вызванные ненадлежащими условиями эксплуатации.
6.2.2 Отказы электроники (электропривода, контроллера, буфера, соединителей, интерфейса и др.)
— основными причинами этих отказов являются броски напряжения, скачки тока и статическое
электричество, неблагоприятно воздействующие на следующие элементы;
— компоненты интегральных схем;
— неплотные соединения (блока питания, электропривода, шины и т.п.);
4 © ISO 2014 – Все права сохраняются
— сервосигналы микросхем памяти.
6.2.3 Внешние факторы:
— магнитные поля;
— температура и влажность окружающей среды;
— попадание воды;
— удары и вибрации.
6.2.4 Причины возможных сбоев дисков в автономном режиме:
— затухание сигналов записанных битов из-за теплового разрушения магнитного материала;
— коррозия носителя данных;
— испарение смазочного масла в узлах привода;
— испарение или постепенная потеря свойств жидкой смазки для подшипников;
— коррозия и старение элементов электроники.
Эти факторы, действующие на протяжении всего периода хранения архивных данных, зависят от
температуры и влажности рабочей среды.
См. Ссылку [54].
6.3 Показатели качества
6.3.1 Общие замечания
Вследствие того, что применяемая в жёстких дисках технология чтения/записи информации требует
высочайшей точности используемых механических деталей, можно гарантировать высокое качество
работы даже самых совершенных дисководов в течение всего лишь нескольких лет. Интенсивность
отказов жёстких дисков подчиняется вероятностному закону, который моделируется так называемой U-
образной кривой, показанной ниже на Рисунке 1. Согласно этой кривой, вначале следует период
относительно частых “ранних отказов” (называемых также преждевременными); затем наступает
период относительно низкой интенсивности отказов (период нормальной эксплуатации), длящийся
несколько лет; а после этого начинается период постепенного снижения уровня надёжности, поскольку
диски достигают конца своего срока службы.
Рисунок 1 — U-образная кривая изменения интенсивности отказов во времени
Большая часть временной шкалы относится к статистике уже эксплуатируемых систем. Однако эти
результаты не дают никакого представления о надёжности новых поколений устройств, так как
схожесть технических устройств не является достаточным основанием для экстраполяции их свойств.
Быстрая эволюция аппаратных средств обеспечивает лишь обратную совместимость новых
модификаций с более ранними (т.е. со всеми аналогичными устройствами предыдущих моделей), но
не даёт возможности прогнозировать их поведение в конкретных условиях эксплуатации (хотя
правомерно предполагается, что при смене поколений стабильность технической поддержки
сохраняется).
6.3.2 Термины теории надёжности
6.3.2.1 Общие замечания
В спецификациях, представляемых производителями, характеристики надёжности и их значения
существенно разнятся; примерами таких характеристик могут служить:
— средняя наработка на отказ – [MTBF (Mean time between failures)];
— средняя наработка до отказа – [MTTF (Mean time to failure)];
— частота сбоев за год – [AFR (Annualized failure rate)];
— среднее время между отказами, связанными с потерей данных – [MTBDL (Mean time between data
loss)];
— среднее время восстановления после отказа – [MTTR (Mean time to repair)];
— период нормальной эксплуатации – (Useful /Service life).
Сведения о надёжности редко сопровождаются описанием эксплуатационных условий, в которых
получены конкретные значения.
6.3.2.2 Средняя наработка на отказ (MTBF) или средняя наработка до отказа (MTTF)
Показатель MTBF – это расчётный статистический параметр, который показывает ожидаемое среднее
время безотказной работы стандартного дисковода из большой совокупности однотипных дисководов.
Средняя наработка на отказ не показывает, как долго будет работать дисковод, прежде чем
произойдёт его отказ, а характеризует лишь вероятный интервал времени между отказами.
Для правильной интерпретации значение MTBF привязывается к периоду нормальной эксплуатации
дисковода, показывающему типичный интервал времени до вступления дисковода в тот период, когда
начинает возрастать число отказов дисковода по причине износа его компонентов. Показатель MTBF
применим только к групповому анализу большого числа дисководов, но ничего не говорит о конкретном
экземпляре.
Если показатель MTBF какой-то модели равен 500 000 часов, а срок службы составляет пять лет, это
означает, что прогнозируемая длительность нормальной работы такого дисковода равна пяти годам, и
что для многочисленной группы дисководов, функционирующих в течение этого промежутка времени,
суммарная наработка всех дисководов до первого отказа любого из них составит 500 000 часов.
Существуют два типа значений MTBF дисковода:
— теоретическое значение MTBF для нового дисковода, полученное на основе анализа данных
предыстории по другим аналогичным дисководам;
— эксплуатационное значение MTBF, выведенное путём анализа рекламационных возвратов и
сопоставляемое с существующей базой данных.
6 © ISO 2014 – Все права сохраняются
6.3.2.3 Частота сбоев за год (AFR)
Частота сбоев за год (AFR) – это показатель, непосредственно связанный со средней наработкой на
отказ (MTBF), характеризующий вероятность отказа устройства или его компонента в течение полного
года использования.
Значение AFR вычисляется на основании наблюдений за частотой отказов на протяжении
определённого интервала времени. Для торговых посредников, занимающихся продажей дисководов,
этот показатель особенно критичен, так как влияет на их стратегию приобретения запасных частей.
6.3.2.4 Среднее время между потерями данных (MTBDL)
Этот статистический показатель, предназначенный для обеспечения возможности предсказания
вероятной длительности работы группы дисководов до появления первого внезапного
(катастрофического) отказа, приводящего к потере данных. Потеря данных может произойти, например,
в тот момент, когда информация записывается в память неисправного дискового массива вслед за
последним резервным копированием. Технология использования массивов недорогих жёстких дисков с
избыточностью (RAID) допускает наличие отказов одного или нескольких дисков, и в такой среде
показатель MTBF становится менее значимым. Здесь более значимой по сравнению с MTBF или AFR
становится такая мера, как среднее время между отказами, связанными с потерей данных (MTBDL),
поскольку она характеризует качество функционирования всего массива дисководов, а не только его
отдельных компонентов.
6.3.2.5 Среднее время восстановления (MTTR)
Показатель MTTR характеризует среднюю продолжительность ремонта отказавшей детали; при этом
предполагается нулевое время задержки между моментом отказа и моментом начала ремонтных
операций, то есть считается, что соответствующий ремонтный персонал оповещается об отказе
компонента мгновенно, имеет в своём распоряжении необходимые запасные части и приступает к
ремонту немедленно. К сожалению, такое предположение не всегда справедливо, и по мере
увеличения ёмкости дисков время, требуемое для завершения процесса восстановления
работоспособности диска, становится всё более важным фактором, поскольку оно увеличивает
длительность пребывания всего массива дисков в состоянии уязвимости для внезапного отказа.
См. Ссылку [52].
6.3.2.6 Период нормальной эксплуатации
Это ожидаемое время безотказной работы дисковода жёстких дисков, указываемое его изготовителем.
Это время окончания периода эксплуатации, в пределах которого интенсивность отказов становится
невысокой и характеризуется постоянным значением. Вероятность безотказной работы R дисковода
жёстких дисков определённой модели при заданной длительности периода нормальной эксплуатации
определяется по формуле (1):
время нормальной эксплуатации/MTBF
–
R = e (1)
где
R вероятность безотказной работы в модели постоянной интенсивности отказов
Например, для модели жёстких дисков, имеющей среднюю наработку на отказ 500 000 часов и период
нормальной эксплуатации пять лет, вероятность безотказной работы будет равна 92%. Если же эта
модель используется в течение 10 лет, вероятность её безотказной работы уменьшится до 84%.
6.3.3 Обзор показателей качества
В целом ряде публикаций отмечается, что показатели качества, указываемые производителями
жёстких дисков, могут быть существенно завышенными в части продолжительности периода
нормальной эксплуатации (или частоты замены). Так, применительно к дисководам «в возрасте» от
пяти до восьми лет были отмечены случаи завышения среднего интервала эксплуатационной замены
в 30 раз по сравнению со справочными листками технических данных по MTTF.
См. Ссылку [29].
Предлагаемая поставщиками метрика прогнозирования отказов (например, средняя наработка до
отказа) была многократно раскритикована научно-исследовательским сообществом, поскольку не
предполагает описания условий получения декларируемых показателей. Цель детализации
методологии ускоренных испытаний на долговечность для прогнозирования надёжности
запоминающих сред состоит в том, чтобы оказать необходимую помощь разработчикам систем памяти.
Так как в настоящее время диски сами по себе уже достаточно надёжны, важные сведения об их
рабочих характеристиках становятся доступными только в результате исследования очень больших
совокупностей этих устройств на протяжении очень длительных периодов. Более того, технология
дисковых запоминающих устройств прогрессирует так быстро, что информация о текущих изделиях
будет неизбежно устанавливаться на основании ускоренных испытаний на надёжность, а не
практического опыта. Прогнозирование показателей надёжности должно обязательно осуществляться
с учётом влияния факторов рабочей среды.
См. Ссылку [51] и [53].
В некоторых случаях механизмы отказов оказываются разными в зависимости от режима работы
дисководов – оперативного (on-line) или автономного (off-line).
См. Ссылку [54].
6.4 Технические аспекты
6.4.1 Общее замечание
Для надлежащей реализации функции долгосрочного хранения информации дисководы должны иметь
стопроцентное резервирование, чтобы наряду с другими задачами, противостоять неблагоприятному
воздействию ранних отказов (см. раздел 6.3).
6.4.2 Жёсткий диск в режиме онлайн
6.4.2.1 Общее замечание
В литературе по жёстким дискам, работающим в режиме онлайн, отмечается, что присущие им
невысокие характеристики долговечности и надёжности несовместимы с задачами долгосрочного
хранения данных. Не забывая о существующем риске отказов, необходимо полагаться в основном на
системы хранения, предусматривающие избыточность данных, которая, однако, достигается ценой
усложнения рабочих процедур (например, в результате создания программных средств обеспечения
регулярных проверок), и эти процедуры должны чётко регламентироваться и периодически
оцениваться.
6.4.2.2 Массивы недорогих дисков с избыточностью (RAID)
Термином RAID обозначается совокупность методов хранения данных на множестве логически и
физически связанных дисков, обеспечивающем высокую пропускную способность и в большинстве
случаев защиту данных методом контроля по чётности – для достижения высокой надёжности системы
хранения (см. Приложение A).
8 © ISO 2014 – Все права сохраняются
Рекомендация
Для обеспечения надёжной защиты и минимальной избыточности желательно использовать тип памяти RAID 6
(несмотря на усложнение процедур восстановления данных и увеличение времени восстановления
работоспособности системы после сбоев).
6.4.2.3 Дополнительные процедуры технологии RAID
6.4.2.3.1 Использование методов “горячей замены” или “горячего восстановления” запасного
жёсткого диска
Ёмкость дисковой памяти стала настолько важным параметром, что отказ одного или двух дисков
оставляет систему слабо защищённой на несколько часов.
Рекомендация
Для сокращения времени восстановления рекомендуется пользоваться аварийным диском, который должен
использоваться в режиме “горячей замены” или режиме “горячего восстановления”.
6.4.2.3.2 Использование дублирующей системы
Ни система памяти, ни самый совершенный модуль RAID не способны полностью исключить опасность
потери данных. Большинство проблемных ситуаций по-прежнему возникает из-за пользовательских
ошибок и случайного удаления файлов. По этим и ряду других причин (например, из-за вирусной атаки
или стихийных бедствий) становятся жизненно важными частое резервное копирование и
периодическое архивирование хранимых данных. Лучшей стратегией защиты от внезапных отказов
дисков может служить сочетание консервативных эксплуатационных процедур с технологией массивов
недорогих жёстких дисков.
Рекомендация
На основании накопленного практического опыта настоятельно рекомендуется использовать дублирующие
диски (преимущественно отличные от используемых в системе RAID).
6.4.3 Жёсткий диск в автономном режиме
Применительно к дисководам, работающим в автономном режиме, одним из производителей
совместно с университетским сообществом было проведено исследование, показавшее возможность
использования для их отбора на роль съёмных жёстких дисков (RHDD) метода ускоренных испытаний
на старение (под воздействием температуры и влажности). Согласно результатам этого исследования
и техническим условиям, представленным сообществом RDX Storage Alliance, прогнозируемая частота
отказов испытуемых RHDD составила всего лишь 1% за 30 лет.
Анализ результатов вышеупомянутых ускоренных испытаний позволяет предположить, что если
данные будут записаны на съёмных дисковых картриджах типа 160 GB RDX по технологии переносных
компьютеров с 2,5-дюймовыми дисками, и если затем эти картриджи будут 30 лет храниться в
реальных условиях, то больше 99% дисководов окажутся в состоянии прочесть всё содержимое дисков
безошибочно. Включённая в испытания небольшая группа 3,5-дюймовых дисководов типа CSS,
продемонстрировала гораздо худшую сохранность информации.
См. Ссылку [54].
Рекомендация
В случае жёстких дисков, работающих в автономном режиме, помимо обеспечения необходимой избыточности,
следует, прежде всего, отобрать (методом ускоренных испытаний на старение) те дисководы, которые уже по
своей конструкции обладают большей долговечностью, а затем организовывать их периодические проверки (не
реже одного раза в год) в части доступа для чтения.
Эффективная стратегия защиты архивной информации, наряду с выполнением вышеуказанных действий,
должна предусматривать следующие меры:
множественные копии архивных данных, делающие их более защищёнными;
периодический контрольный запуск дисководов, простаивающих большую часть времени, для
перераспределения смазки их механических узлов;
периодический перенос данных на текущие информационные носители и системы – для защиты от “распада
битов” и устаревания систем;
хранение архивных носителей в условиях контроля температуры и влажности – для минимизации
неблагоприятного влияния процессов “распада битов” и коррозии.
6.5 Инструментальные средства управления
6.5.1 Технология самоконтроля, анализа и диагностических сообщений (система SMART)
Эта система устанавливается на дисководы жёстких дисков для получения информации о поведении
их механических и электрических компонентов. В основе системы SMART лежит утверждение о том,
что многие проблемы с жёсткими дисками возникают не внезапно, а в результате постепенного
ухудшения характеристик различных механических или электрических компонентов. Система SMART
является дальнейшим развитием технологии опережающего анализа отказов PFA [Predictive Failure
Analysis (PFA)], которая разработана компанией IBM. В рамках PFA все отказы разделяются на две
категории: прогнозируемые и непредсказуемые, а конкретные контролируемые характеристики зависят
от производителя и от модели контролируемого изделия. Подробное описание системы SMART
приведено в Приложении B).
6.5.2 Средства текущего контроля RAID
Описание этих средств дано ниже, в разделе A.3.
7 Магнитная лента
7.1 Общие характеристики
Технологии записи Ширина носителя
Линейная ¼ дюйма
Линейная ½ дюйма
Линейная 8 мм
Спиральная 4 мм
Спиральная 8 мм
ПРИМЕЧАНИЕ. Наиболее широко используется лента шириной ½ дюйма.
7.2 Причины отказов
7.2.1 Физическое старение носителя
7.2.1.1 Общее замечание
Компоненты магнитной ленты, влияющие на стабильность данной запоминающей среды, это слой
подложки, частицы магнитного материала, связующий слой (в котором могут присутствовать частицы
смазочного материала), и, возможно, нижний слой ленты.
10 © ISO 2014 – Все права сохраняются
7.2.1.2 Слой подложки
Это очень тонкий слой полиэфира с возможными механическими дефектами.
7.2.1.3 Частицы магнитного материала или красителей
Магнитные ленты могут давать сбои, когда уменьшается остаточная намагниченность или
коэрцитивная сила.
7.2.1.4 Связующий слой
Ухудшение характеристик связующего слоя – наиболее распространённая причина сбоев магнитной
ленты. Основное назначение связующего слоя – защищать и надёжно удерживать частицы магнитного
материала на своих местах.
Пользователи отмечают, что непрерывное уменьшение размера частиц магнитного материала
(наночастиц) и чрезмерное утончение сверхтонкого связующего слоя создают уязвимые места для
появления механических дефектов.
Основой связующих веществ являются полиэфирные полиуретаны. Эти полимеры могут утрачивать
свою вяжущую способность под влиянием процессов гидролиза, в ходе которых связь полиэфирного
слоя разрывается в результате химической реакции с водой. Одним из побочных продуктов такой
деградации свойств являются органические кислоты, которые ускоряют гидролитическое разложение.
Кроме того, кислоты способны “атаковать” и разрушать магнитные частицы.
Степень гидролитического разложения связующего слоя магнитной ленты – критическое свойство,
которое может определять её срок службы.
7.2.2 Старение поверхности считывания
Каждое поколение лентопротяжных устройств и накопителей на магнитной ленте (НМЛ) способно
работать надёжно от четырёх до шести лет, после чего записанные на них данные подлежат
обязательному переносу на другие носители.
7.2.3 Слипание ленты
Слипание – это заедание или склеивание последовательных витков в кассете магнитной ленты.
Слипание может произойти в результате изнашивания связующего слоя, когда бобины с лентой
хранятся при повышенной температуре и высокой влажности окружающей среды и/или витки ленты
намотаны с излишне сильным натяжением.
7.2.4 Ошибки из-за кривизны поверхности
Изменчивость формы магнитной дорожки приводит к образованию её искривлений или появлению S-
образных участков, что порождает серьёз
...
Questions, Comments and Discussion
Ask us and Technical Secretary will try to provide an answer. You can facilitate discussion about the standard in here.
Loading comments...