ISO/TR 13843:2000
(Main)Water quality - Guidance on validation of microbiological methods
Water quality - Guidance on validation of microbiological methods
Qualité de l'eau — Lignes directrices pour la validation des méthodes microbiologiques
Le présent Rapport technique traite de la validation des méthodes microbiologiques. L'accent est mis sur les méthodes quantitatives sélectives, dans lesquelles l'estimation quantitative repose sur le comptage des particules, soit directement à l'aide d'un microscope, soit indirectement en se basant sur la croissance (multiplication) des colonies ou l'apparition d'une turbidité. Les principes et les modes opératoires entrant dans le domaine d'application sont généralement présence/absence (P/A), le nombre le plus probable (NPP), le comptage de colonies et le comptage (microscopique) direct. Le présent Rapport technique n'est pas applicable à la validation des méthodes dites rapides ou modernes, qui dépendent le plus souvent du mesurage des produits ou des modifications résultant de l'activité microbienne, mais lesquelles ne concernent pas la détection de particules individuelles.
General Information
Relations
Frequently Asked Questions
ISO/TR 13843:2000 is a technical report published by the International Organization for Standardization (ISO). Its full title is "Water quality - Guidance on validation of microbiological methods". This standard covers: Le présent Rapport technique traite de la validation des méthodes microbiologiques. L'accent est mis sur les méthodes quantitatives sélectives, dans lesquelles l'estimation quantitative repose sur le comptage des particules, soit directement à l'aide d'un microscope, soit indirectement en se basant sur la croissance (multiplication) des colonies ou l'apparition d'une turbidité. Les principes et les modes opératoires entrant dans le domaine d'application sont généralement présence/absence (P/A), le nombre le plus probable (NPP), le comptage de colonies et le comptage (microscopique) direct. Le présent Rapport technique n'est pas applicable à la validation des méthodes dites rapides ou modernes, qui dépendent le plus souvent du mesurage des produits ou des modifications résultant de l'activité microbienne, mais lesquelles ne concernent pas la détection de particules individuelles.
Le présent Rapport technique traite de la validation des méthodes microbiologiques. L'accent est mis sur les méthodes quantitatives sélectives, dans lesquelles l'estimation quantitative repose sur le comptage des particules, soit directement à l'aide d'un microscope, soit indirectement en se basant sur la croissance (multiplication) des colonies ou l'apparition d'une turbidité. Les principes et les modes opératoires entrant dans le domaine d'application sont généralement présence/absence (P/A), le nombre le plus probable (NPP), le comptage de colonies et le comptage (microscopique) direct. Le présent Rapport technique n'est pas applicable à la validation des méthodes dites rapides ou modernes, qui dépendent le plus souvent du mesurage des produits ou des modifications résultant de l'activité microbienne, mais lesquelles ne concernent pas la détection de particules individuelles.
ISO/TR 13843:2000 is classified under the following ICS (International Classification for Standards) categories: 07.100.20 - Microbiology of water. The ICS classification helps identify the subject area and facilitates finding related standards.
ISO/TR 13843:2000 has the following relationships with other standards: It is inter standard links to ISO 18104:2003, ISO 13843:2017. Understanding these relationships helps ensure you are using the most current and applicable version of the standard.
You can purchase ISO/TR 13843:2000 directly from iTeh Standards. The document is available in PDF format and is delivered instantly after payment. Add the standard to your cart and complete the secure checkout process. iTeh Standards is an authorized distributor of ISO standards.
Standards Content (Sample)
TECHNICAL ISO/TR
REPORT 13843
First edition
2000-06-01
Water quality — Guidance on validation of
microbiological methods
Qualité de l'eau — Lignes directrices pour la validation des méthodes
microbiologiques
Reference number
©
ISO 2000
PDF disclaimer
This PDF file may contain embedded typefaces. In accordance with Adobe's licensing policy, this file may be printed or viewed but shall not
be edited unless the typefaces which are embedded are licensed to and installed on the computer performing the editing. In downloading this
file, parties accept therein the responsibility of not infringing Adobe's licensing policy. The ISO Central Secretariat accepts no liability in this
area.
Adobe is a trademark of Adobe Systems Incorporated.
Details of the software products used to create this PDF file can be found in the General Info relative to the file; the PDF-creation parameters
were optimized for printing. Every care has been taken to ensure that the file is suitable for use by ISO member bodies. In the unlikely event
that a problem relating to it is found, please inform the Central Secretariat at the address given below.
All rights reserved. Unless otherwise specified, no part of this publication may be reproduced or utilized in any form or by any means, electronic
or mechanical, including photocopying and microfilm, without permission in writing from either ISO at the address below or ISO's member body
in the country of the requester.
ISO copyright office
Case postale 56 � CH-1211 Geneva 20
Tel. + 41 22 749 01 11
Fax + 41 22 734 10 79
E-mail copyright@iso.ch
Web www.iso.ch
Printed in Switzerland
ii © ISO 2000 – All rights reserved
Contents Page
Foreword.iv
1 Scope .1
2 Terms and definitions .1
3 Arrangement of the document .8
4 Basic concepts.8
4.1 General.8
4.2 Validation.8
4.3 Detectors .11
4.4 Performance characteristics .11
4.5 Specifications.11
5 Limitations and characteristic features of microbiological methods .12
5.1 Recovery of the analyte .12
5.2 Sample variance.12
5.3 Particle distribution and overdispersion.12
5.4 Interactions in the detector.12
5.5 Robustness .13
5.6 Spurious errors.13
5.7 Control and guidance charts.13
6 Mathematical models of variation.14
6.1 Unavoidable basic variation — The Poisson distribution .14
6.2 Overdispersion — The negative binomial model .17
6.3 Statistical and practical limits .20
6.4 General tests for randomness — Detection of overdispersion .21
7 Specifications — Current practice.21
8 Specifications — Recommended approach.22
9 Determination and expression of performance characteristics .23
9.1 General.23
9.2 Categorical characteristics related to specificity and selectivity.23
9.3 Working limits .24
9.4 Working range of MPN procedures.25
9.5 Precision.25
10 Procedures and steps of validation.26
10.1 General.26
10.2 Primary validation.26
10.3 Secondary validation.28
11 Designs for determining specifications .28
11.1 A general model for basic quantitative specifications .28
11.2 Precision of the entire analytical procedure.29
11.3 Categorical characteristics.29
11.4 Unplanned data.29
Annex A Statistical procedures and computer programs.30
Annex B Numerical examples .34
Annex C Example of a validation experiment.45
Bibliography.46
Foreword
ISO (the International Organization for Standardization) is a worldwide federation of national standards bodies (ISO
member bodies). The work of preparing International Standards is normally carried out through ISO technical
committees. Each member body interested in a subject for which a technical committee has been established has
the right to be represented on that committee. International organizations, governmental and non-governmental, in
liaison with ISO, also take part in the work. ISO collaborates closely with the International Electrotechnical
Commission (IEC) on all matters of electrotechnical standardization.
International Standards are drafted in accordance with the rules given in the ISO/IEC Directives, Part 3.
The main task of technical committees is to prepare International Standards. Draft International Standards adopted
by the technical committees are circulated to the member bodies for voting. Publication as an International
Standard requires approval by at least 75 % of the member bodies casting a vote.
In exceptional circumstances, when a technical committee has collected data of a different kind from that which is
normally published as an International Standard ("state of the art", for example), it may decide by a simple majority
vote of its participating members to publish a Technical Report. A Technical Report is entirely informative in nature
and does not have to be reviewed until the data it provides are considered to be no longer valid or useful.
Attention is drawn to the possibility that some of the elements of this Technical Report may be the subject of patent
rights. ISO shall not be held responsible for identifying any or all such patent rights.
ISO/TR 13843 was prepared by Technical Committee ISO/TC 147, Water quality, Subcommittee SC 4,
Microbiological methods.
iv © ISO 2000 – All rights reserved
TECHNICAL REPORT ISO/TR 13843:2000(E)
Water quality — Guidance on validation of microbiological
methods
1 Scope
This Technical Report deals with validation of microbiological methods, with particular emphasis on selective
quantitative methods in which the quantitative estimate is based on counting of particles either directly, with the aid
of a microscope, or indirectly, on the basis of growth (multiplication) into colonies or turbidity.
The principles and procedures within this scope are commonly known as the presence/absence (P/A), most
probable number (MPN), colony count and direct (microscopic) count.
This Technical Report does not apply to the validation of the so-called rapid or modern methods which mostly
depend on measuring products or changes due to microbial activity but do not address the detection of individual
particles.
2 Terms and definitions
For the purposes of this Technical Report, the following terms and definitions apply.
2.1
accuracy of measurement
closeness of the agreement between a test result and the accepted reference value
NOTE The term “accuracy”, when applied to a set of test results, involves a combination of random components and a
common systematic error or bias component.
[ISO 3534-1:1993, 3.11]
2.2
analyte
measurand
particular quantity subjected to measurement
NOTE 1 See reference [5].
NOTE 2 In microbiology the analyte is ideally defined as a list of taxonomically defined species. In many cases, in practice
the analyte can only be defined by group designations less accurate than taxonomic definitions.
2.3
analytical portion
test portion
volume of particle suspension inoculated into a detector unit
NOTE Examples of a detector unit are agar plate, membrane filter, test tube, microscopic grid square.
2.4
application range
range of particle concentrations routinely subjected to measurement by a method
2.5
categorical characteristic
method performance characteristic numerically expressed as a relative frequency based on P/A or +/� classification
2.6
CFU, deprecated
colony-forming unit, deprecated
CFP, deprecated
colony-forming particle, deprecated
NOTE The term was originally introduced to convey the idea that a colony may originate not only from a single cell but from
a solid chain or aggregate of cells, a cluster of spores, a piece of mycelium, etc. It mistakenly equates the number of colonies
observed to the number of living entities seeded on the medium. Growth unit, viable particle, propagule (2.27) and germ (2.13)
are terms with similar meanings but convey the original idea better and apply not only to colony-count methods but also to MPN
and P/A.
2.7
coefficient of variation
CV
relative standard deviation
for a non-negative characteristic, the ratio of the standard deviation to the average
NOTE 1 The ratio may be expressed as a percentage.
NOTE 2 The term "relative standard deviation" is sometimes used as an alternative to "coefficient of variation", but this use is
not recommended.
[ISO 3534-1:1993, 2.35]
NOTE 3 In this Technical Report the term coefficient of variation (CV) is used when the relative standard deviation is
expressed in percent (CV % = 100 RSD).
2.8
collaborative test
method or laboratory performance test where several laboratories join in an experiment planned and co-ordinated
by a leader laboratory
NOTE Collaborative tests are mainly of two types. Intercalibration exercises are made to allow laboratories to compare
their analytical results with those of other participating laboratories.
Method performance tests produce precision estimates (repeatability, reproducibility) out of data accumulated when several
participating laboratories study identical samples with a strictly standardized method.
2.9
confirmed [verified] colony count
x
presumptive colony count corrected for false positives
k
x= pc= c
n
where
c is the presumptive count;
p is the true positive rate;
n is the number of presumptive positives isolated for confirmation;
k is the number confirmed.
2 © ISO 2000 – All rights reserved
2.10
control chart
two-dimensional scattergram for monitoring method performance with control values obtained by a Type A study
NOTE In control charts the horizontal axis is usually in the time scale or ordinate scale and the control variable is the mean
or some precision measure (s, CV, RSD).
2.11
detector
particle detector
plate of solid matrix or a tube of liquid containing a nutrient medium for counting or detecting living microbial
particles
2.12
detection set
detector set
combination of plates or tubes on which quantitative estimation of microbial concentration in a sample is based
NOTE The detection set is the set of plates or tubes utilized for numerical estimation of a single value.
EXAMPLES Parallel plates of a suspension, plates from consecutive dilutions, 3 � 5 tube MPN system, microtitre plate.
2.13
germ
living entity capable of producing growth in a nutrient medium
cf. propagule (2.27)
2.14
guidance chart
two-dimensional scattergram for presenting method performance data (quantity or precision) with arbitrary guide
values or guide values obtained by Type B reasoning
NOTE In guidance charts, the horizontal axis is usually the colony count per detector.
2.15
heterogeneous Poisson distribution
distribution arising when the mean of a Poisson distribution varies randomly from occasion to occasion
NOTE 1 See reference [11].
NOTE 2 See also negative binomial distribution (2.19).
2.16
limit of detection
particle number x (per analytical portion) where the probability p of a negative result equals 5 %
NOTE 1 Probability of a positive result p(+) = 1 – p .
NOTE 2 a) Calculation of x via Poisson distribution:
��
11��
x= ln = ln = ln 20 = 3,00
� �
��
��
��
p 0,05
��
b) Calculation of x via negative binomial distribution:
��
�u
p � 1
��0 ��uu
�� 0,05��1 20 1
x�� �
22 2
uu u
2.17
limit of determination
lowest average particle concentration x per analytical portion where the expected relative standard uncertainty,
equals a specified value (RSD)
NOTE a) Calculation of x via Poisson distribution:
x �
RSD
� �
b) Calculation of x via negative binomial distribution:
x= , given overdispersion factor = u
RSD � u
� �
2.18
linearity
linear dependence of the signal on concentration of the analyte
cf. proportionality (2.28)
2.19
negative binomial distribution
a particular "overdispersed" statistical distribution of counts
NOTE 1 Its variance can be expressed as
=+� �
� u
where ��is the mean.
NOTE 2 In this Technical Report the square of the overdispersion factor (u) is substituted for the inverse of the exponent
(1/k) of the standard formula for the negative binomial distribution.
2.20
overdispersion
variation in excess of Poisson randomness
NOTE It is detected qualitatively by the Poisson index of dispersion, and measured quantitatively by estimating the
parameter u (overdispersion factor) of the negative binomial distribution.
2.21
overdispersion factor
u
additional random uncertainty of determination in excess of the Poisson distribution, measured in terms of relative
standard deviation
2.22
overlap error
crowding error
systematic depression of colony counts due to confluence of colonies
NOTE Quantitatively, overlap error depends primarily on the fraction of available growth space occupied by colonial
growth.
2.23
parallel counts
particle or colony numbers in equal analytical portions drawn from the same suspension
4 © ISO 2000 – All rights reserved
2.24
Poisson distribution
fully random distribution of particle numbers when sampling a perfectly mixed suspension
NOTE The probability P(k) of observing exactly k units in a test portion when the mean equals � is calculated from
k
�
��
Pk��=
e
k!
2.25
precision
closeness of agreement between independent test results obtained under stipulated conditions
NOTE Precision does not relate to the true value or the specified value. It is usually expressed in terms of imprecision and
computed as a standard deviation of the test results.
2.26
primary validation
full validation
establishment of the specifications for the performance of a new method and/or experimental verification that a
method meets theoretically derived quality criteria
2.27
propagule
a viable entity, vegetative cell, group of cells, spore, spore cluster, or a piece of fungal mycelium capable of growth
in a nutrient medium
cf. germ (2.13)
2.28
proportionality
agreement of observed particle counts with the volume (or dilution) of a series of analytical portions from a common
root suspension
NOTE Proportionality is computed for statistical evaluation as the log-likelihood ratio statistic G with n–1 degrees of
freedom.
2.29
qualitative method
method of analysis whose response is either the presence or absence of the analyte in a certain amount of sample
NOTE See reference [10].
2.30
recovery
general term for the number of particles estimated in a test portion or sample, with the understanding that there is a
true (although unknown) number of particles of which 100 % or less are "recovered" by the detector
2.31
relative accuracy
degree of correspondence between the response obtained by the reference method and the response obtained by
the alternative method on identical samples
NOTE See reference [10].
2.32
relative difference
d
difference between two measured values divided by their mean
2xx�
xx� ��
AB
AB
d= =
xx �x
AB
dd%1� 00
NOTE For all practical purposes, the same value results from the calculation d =ln(x )–ln(x ).
A B
2.33
relative recovery
ratio (A/B) of colony counts obtained by two methods tested on equal test portions of the same suspension, where
B is the reference (when applicable)
2.34
relative standard deviation
RSD
estimate of the standard deviation of a population from a sample of n results divided by the mean of that sample
s
RSD =
x
cf. coefficient of variation (2.7)
2.35
repeatability
closeness of the agreement between the results of successive measurements of the same measurand carried out
under the same conditions of measurement
NOTE 1 See Guide to the expression of uncertainty in measurement [6].
NOTE 2 Repeatability is computed as r =2,8s , where s is the repeatability standard deviation.
r r
2.36
reproducibility
closeness of the agreement between the results of measurements on the same measurand carried out under
changed conditions of measurement
NOTE 1 See Guide to the expression of uncertainty in measurement [6].
NOTE 2 Reproducibility is computed as R =2,8 s ,
R
where
s is the reproducibility standard deviation usually compounded from the between-laboratories standard deviation s and
R L
repeatability standard deviation s :
r
ss��s
RrL
2.37
robustness
insensitivity of an analytical method to small changes in procedure
NOTE 1 See reference [23].
NOTE 2 To examine the robustness it is advisable to “abuse” the method in a controlled way.
6 © ISO 2000 – All rights reserved
2.38
secondary validation
demonstration by experiment that an established method functions according to its specifications in the user's
hands
2.39
apparent selectivity
F
ratio of the number of target colonies to the total number of colonies in the same sample volume
F =lg(t/n)
where
t is the apparent concentration of presumptive target types estimated by counting colonies;
n is the concentration of total colonies.
2.40
sensitivity
fraction of the total number of positive cultures or colonies correctly assigned in the presumptive inspection
2.41
specificity
fraction of the total number of negative cultures or colonies correctly assigned in the presumptive inspection
2.42
standard uncertainty
uncertainty of the result of a measurement expressed as a standard deviation
NOTE See reference [5].
2.43
type A evaluation
�of uncertainty� method of evaluation of uncertainty by the statistical analysis of a series of observations
EXAMPLE Observations may be e.g. standard deviation, relative standard deviation.
NOTE 1 See references [5] and [6].
NOTE 2 Repeatability and reproducibility are often estimated by carrying out collaborative method performance tests where
several laboratories study "identical" samples provided by a central organizer [15].
2.44
type B evaluation
�of uncertainty� method of evaluation of uncertainty by means other than the statistical analysis of series of
observations e.g. from assumed probability distributions based on experience or other information
NOTE See references [5] and [6].
2.45
uncertainty
�of measurement� parameter, associated with the result of a measurement, that characterizes the dispersion of the
values that could reasonably be attributed to the measurand
NOTE See reference [6].
2.46
uncertainty
�of counting� relative standard deviation of results of repeated counting of the colonies or particles of the same
plate(s) or field(s) under stipulated conditions
EXAMPLE Stipulated conditions may be e.g. the same person or different persons in one laboratory, or different
laboratories.
2.47
validation range
range of mean number of particles per analytical portion for which obeyance of validation specifications (particularly
linearity) have been acceptably demonstrated
NOTE It is usually expressed as the range of "reliable" colony counts.
3 Arrangement of the document
The first part (clauses 4 to 8) of this Technical Report contains informative material on basic principles,
characteristics and limitations of microbiological methods, as well as on general aspects of validation. The second
half (clauses 9 to 11) is the actual validation document, containing specifications and recommended procedures for
their determination.
Old and new concepts and principles are not completely defined in the body of this Technical Report. Three
annexes are attached. Annex A details the statistical formulae most relevant to this document, annex B contains
numerical examples and annex C gives detailed plans for two validation experiments.
Statistical tests in the ordinary sense are not central to the ideas. Mathematical calculations are used mainly for the
purpose of providing convenient summaries of data and statistical distributions provide guidance values. A table of
the � distribution is the guide most frequently consulted.
The two BASIC programmes given in annex A are easily copied into desk-top computers or programmable pocket
calculators to help with the basic calculations most frequently needed.
4 Basic concepts
4.1 General
As far as particle statistics is concerned, microscopic counts obey the same laws as viable counts but they are, with
the exception of microcolony methods, free from the biological problems associated with growth. Differential stains,
specifically labelled complexes or other agents used for finding the target do not change the metrological principles.
The same validation principles as with selective colony methods can be applied.
Plaque counts of bacteriophages are in most respects similar to bacterial colony counts.
4.2 Validation
4.2.1 General
Validation means a process providing evidence that a method is capable of serving its intended purpose: to detect
or quantify a specified microbe or microbial group with adequate precision and accuracy. The total count methods
do not have a definable target group and can only be validated in relation to other methods or against theoretical
expectations of precision.
Validation is classified as primary or secondary according to its purpose.
4.2.2 Primary validation
Primary validation is an exploratory process with the aim of establishing the operational limits and performance
characteristics of a new, modified or otherwise inadequately characterized method. It should result in numerical and
descriptive specifications for the performance and include a detailed and unambiguous description of the target of
interest (positive colony, tube or plaque).
8 © ISO 2000 – All rights reserved
Primary validation characteristically proceeds by the use of specially designed test schemes.
A laboratory developing an in-house method or a variant of an existing standard should carry out the steps of
primary validation.
It is imperative that technicians involved in primary validation have considerable experience with other
microbiological methods.
4.2.3 Secondary validation
Secondary validation (also called verification) takes place when a laboratory proceeds to implement a method
developed elsewhere. Secondary validation focuses on gathering evidence that the laboratory is able to meet the
specifications established in primary validation. Presently, specifications are not available for most of the methods.
Results of external quality assurance (see 4.2.8) may have to be used as the first step towards complete secondary
validation.
Typically, secondary validation uses selected and simplified forms of the same procedures used in primary
validation, but possibly extended over a longer time. Natural samples are the optimal test materials and the work
need only address the procedure within the operational limits set by primary validation.
4.2.4 Analytical quality control (AQC)
Application of valid methods in their specified reliable limits does not automatically ensure valid results. Analytical
quality control (AQC) used in connection with daily routine analyses is necessary. It controls the ability to use a
method successfully.
AQC is a continuous process. Guidance charts, with limits derived from method specifications (from primary
validation) or from theoretical considerations are the principal tools.
The methods of AQC are extensions of the routine analytical process, e.g. replications at different levels, or simply
calculations not ordinarily performed on routine data. In addition, reference materials, intercalibrations and spiked
samples are used.
Analytical quality control is needed in connection with primary and secondary validation. Only results reliable in the
AQC sense should be used for derivation of validation criteria and performance characteristics.
International and national working groups have produced numerous documents on analytical quality control of
microbiological methods (e.g. references [1, 2, 3, 4, 7, 8, 20, 21, 24, 26]). Standards manuals also contain sections
on that subject. Although vital to validation, the methods of analytical quality control are not detailed in this
Technical Report. In everything that follows, it is assumed that laboratories have the appropriate analytical controls
and internal and external quality assurance systems in operation.
4.2.5 Equivalent methods
It is necessary to apply two methods in parallel on the same samples when developing an in-house method, and
also when collecting information to justify the use of an alternative method.
Method performance consists of many aspects. There is no single test of method equivalence, nor numerical
criteria for it. One method may be superior in specificity but inferior in recovery. All the collective information about
robustness, precision and specificity gained during validation tests can be used for method comparisons (examples
B.2, B.3, B.4 in annex B). The methods only need to be tested in parallel for recovery comparisons.
A method giving the highest recovery of confirmed target organisms is obviously the best, unless confirmation is
always required for routine use. A method giving somewhat lower recovery but not requiring confirmation may be
preferable. If high false negative rates or false positive rates observed in primary validation cannot be corrected by
more refined target colony definitions, the method should be deemed invalid.
4.2.6 Test materials
It is a popular notion that validation should simulate routine as much as possible. Natural samples with natural
concentrations of microbes should therefore be the main test materials. There are exceptions under some
circumstances.
Artificial materials (certified reference materials and spiked samples) are used in internal and external quality
assurance systems to ensure the basic proficiency of the laboratories participating in method validation excercises.
Spiking may be useful and even necessary in secondary validation whenever it is difficult to find natural samples
with target organisms. Laboratory personnel will be able to familiarize themselves with the target.
Negative samples (blanks) should be limited to internal quality assurance. Their inclusion among samples studied
for method equivalence may lead to a false impression of a good correlation between methods. If it were possible
to know in advance which natural samples contain no target organisms, they would be a suitable selection for
testing false positives in actual validation excercises.
The optimal concentration range for the validation of microbiological methods is narrower than the projected
application range. High concentrations are unnecessary. Such samples resemble pure cultures and do not put the
performance of the method or the laboratory to test.
Samples with very low bacterial content need to be studied for public health reasons, but are ill suited for method
comparisons and other validation exercises for statistical reasons. The problem is mostly avoidable, because
microbiological methods are generally not concentration-sensitive at the low end of the scale. Each individual germ
reacts with the nutrient medium almost independently of other particles in the sample. If a method has a low
recovery compared to another, the fact is more readily discovered with twenty or thirty colony-forming particles per
plate than with one or a few.
Methods found valid at concentrations sufficient for validation are trusted to work also at low analyte
concentrations.
4.2.7 Samples — Representativeness and sufficiency
Statistical theory provides solutions for calculating the number of samples required for different testing or estimation
situations [3, 13]. To be able to make use of the theory, the size of real effects of importance and the power for their
detection should be defined. An estimate of the uncertainty (precision) of the determination should be available and
random sampling should be practiced.
Many or all of the above requirements are difficult to meet in advance planning and execution of microbiological
method performance tests. Statistical techniques, if used at all, become rough guidelines.
The number and variety of samples examined ought to be sufficient to be convincing. Without the help of statistics,
there are no exact ways of deciding. In some instances, the first sample studied might give the answer that the
method is not good enough. Usually, however, more samples are needed. It may take a thousand samples to
"prove" that two P/A methods are not equivalent. Choice of too few examples may be a waste of time.
4.2.8 External quality assurance and other collaborative tests
Participation of several laboratories in studies of "homogeneous" material are considered essential tests of both
method and laboratory performance. (After outliers have been recognized and deleted, the remaining data are
thought to provide the necessary information on method performance and proficiency.)
Collaborative tests have been developed into a tool widely applied for testing precision characteristics of chemical
methods [34]. It seems somewhat premature to fully recommend the same in microbiology. It is assumed that all
the participating laboratories have several years of experience with the methods tested and a proven ability to use
them. The present experience is that collaborative experiments intended for method performance testing tend to
turn into laboratory proficiency tests and training excercises.
10 © ISO 2000 – All rights reserved
A number of microbiological methods have been in use for decades (e.g. Endo agar for total coliforms, mFC for
thermotolerant coliforms, m-Enterococcus agar for intestinal enterococci) by hundreds of laboratories. These
methods would therefore theoretically be suitable objects for collaborative method performance testing.
When making collaborative proficiency tests for specific target organisms with selective media, the samples almost
necessarily should be spiked with pure cultures or mixtures of organisms. Another solution is to use certified
reference materials. This is a simplified and artificial situation. Major difficulties experienced by different
laboratories in the routine use of methods on natural samples may be missed. As long as the detailed performance
characteristics of a microbiological method have not been expressed quantitatively, these types of external quality
assurance (EQA) schemes may nevertheless be the most satisfactory means towards secondary validation
(verification) of a method.
4.3 Detectors
4.3.1 General
It is often convenient to call the nutrient medium in its container a detector (2.11). Two types of detector, solid and
liquid, are employed in different microbiological method variants. They are also mostly associated with different
enumeration or detection principles: liquid with P/A and MPN, and solid with colony counts.
All forms of validation in microbiology focus on the performance of the detectors.
The set of tubes (MPN) or the series of (countable) plates used for analysis is called a detection set or a detector
set (2.12). Each individual MPN tube is a P/A detector.
EXAMPLE An individual well of a microtitre plate is a P/A detector. The whole plate when used as an MPN system is the
detection set.
4.3.2 Detector comparisons
For most colony-count methods a liquid counterpart with the same chemical composition but without the solid
matrix (agar, membrane filter) can be produced. The effect of the solid environment can be evaluated by comparing
colony counts with the equivalent MPN estimate provided that the reaction for target recognition is the same on
both types of detectors and the number of parallel tubes is large enough for adequate precision. Also the sensitivity
of P/A detectors can be evaluated by similar liquid-solid comparisons.
4.4 Performance characteristics
Performance characteristics should be quantifiable and testable to be of use in validation.
The terminology on performance characteristics in this Technical Report mostly follows the chemometric usage.
Because the original definitions of the terms do not always fit microbiological methods perfectly, they have been
modified and adapted as necessary.
The performance characteristics dealt with in this Technical Report are related to scope (list of situations and
sample types where the method is applicable), precision, linearity, recovery, working limits in terms of lowest and
highest recommendable colony number per plate, selectivity, specificity and robustness (ruggedness). Definitions
of these and other terms can be found in clause 2.
4.5 Specifications
Specifications are either numerical or qualitative expressions of performance characteristics or of working limits
derived from them. Primary validation should provide the following:
a) morphological identification of the (presumptive) target;
b) statements regarding incubation conditions (temperature, time, gas atmosphere, moisture) and media
characteristics (pH, stability);
c) a statement regarding reliable working limits in terms of colony or plaque numbers per detector (plate,
membrane filter) if possible;
d) expressions of uncertainty within the specified reliable limits;
e) scope and limitations.
5 Limitations and characteristic features of microbiological methods
5.1 Recovery of the analyte
The microbiological analyte consists of discrete living particles, variously called colony-forming units (CFU), colony-
forming particles (CFP), germs, propagules, etc. (see clause 2). The number of colonies observed is an
approximation of the number of living particles.
The useful arsenal of performance tests is limited by the near impossibility of knowing the true amount of the
analyte in a sample or in an analytical portion. Detectors cannot be challenged with an exactly known number of
germs.
Viability is defined by growth, i.e. by the method itself. Absolute recovery is undefinable and traceability is
impossible. As viability may appear different with different detectors and/or with different sample history, the relative
recovery (involving the new method and a reference) is a practicable performance characteristic even though the
true result is not known.
5.2 Sample variance
In the environment and even in laboratory samples, the distribution of particles is uneven. The sampling variance of
the environment is not a characteristic of the method, whereas the subsampling variance of a laboratory sample
may be considered so. It may not be possible to use mixing practices sufficient to ensure perfect mixing of sample
contents without some loss of viable cells. Within-sample variance often remains considerable and causes
problems in validation. Performance, especially precision and upper working limits, will need to be determined
separately for different matrices.
5.3 Particle distribution and overdispersion
Random variation due to uneven distribution of particles between parallel samples, even in perfectly mixed
suspensions, is a characteristic feature of microbiological methods [31].
The basic random variation is unavoidable and has nothing to do with technical skills or equipment. It follows a
known mathematical law, the Poisson distribution [28], and is therefore accountable.
Technical imperfections and many other causes are responsible for additional variation. Parallel determinations
vary even more than is explained by the Poisson distribution. This situation is called overdispersion (2.20)
Many arguments support the negative binomial distribution (2.19) as an overdispersion model in microbiology
[11,14,15].
5.4 Interactions in the detector
Considerable difficulties arise from interactions of abiotic and biotic factors within the detectors. Liquid detectors
suffer from possible cohabitation of a varied microflora in the same tube. Colony detectors suffer from crowding and
masking of target colonies by debris and non-target growth. Reading becomes difficult, unreliable or impossible.
12 © ISO 2000 – All rights reserved
5.5 Robustness
Microbiological methods are not robust. Both the analyte and most of the impurities are living. This may cause
unexpected phenomena on the detectors. Microbiologists should be able to recognize and understand them. Matrix
effects, incubation stress, quality and origin of substrate ingredients, composition of the sample microbial flora, and
training of the technicians can all affect the result.
The origins of the lack of robustness are in five principal areas: the sample (its physicochemical properties and
microbial population), the competence of the personnel, sample preparation, incubation conditions, and the
detection medium. Of these, the last three should be standardized.
Primary validation should establish the general limits within which methods are expected to perform well. The
efficient statistical design for robustness testing developed by AOAC [34] can be applied in microbiology as well.
Considering the living nature of the analyte, the freedom of choice as regards reaction times (incubation time) and
incubation temperature is often surprising. Colony counts are more time-sensitive than normally assumed. For
example, International Standards, in their effort to include practices current in different countries, frequently imply
robustness within improbable limits.
EXAMPLE The method description for detection and enumeration of coliform organisms allows incubation for 18 h to 24 h
at 36 °C � 1 °C. This implies considerable stability of results towards variations in incubation time and temperature; probably
more than is actually true.
When temperature is one of the selective factors (e.g. 44 °C with thermotolerant coliforms), even the position of the
plate in the incubator or in the stack of plates can have strong effects on the result. This has been recognized in
some standards by specifying the highest permissible stack size (e.g. six). Total elimination of the stacking effect
would require incubation in one layer only, which is considered impracticable.
Another important robustness feature that is seldom considered is the storage of samples before analysis. It is
believed to be generally valid that samples can tolerate refrigerated storage for e.g. 24 h [9]. The cold-stress
inflicted during refrigerated storage may be unimportant for total counts but harmful for methods depending on
highly selective methods. Thermal shocks and other additional stresses are not general but method-specific.
5.6 Spurious errors
A typical feature of most microbiological colony-count methods is their predisposition to unexpected problems,
often on a single plate. The different techniques (plating, surface spreading, MF) are quite unequal in this respect.
The problems may be due to the presence of a single disturbing colony, moisture, temperature differences, solids
and other impurities in the test portion, contamination, etc. Such "accidents" do not reflect the method performance
in general and are neither quantifiable in validation nor predictable by mathematical modelling. When very frequent
they make the use of a method uncertain. Liquid culture
...
RAPPORT ISO/TR
TECHNIQUE 13843
Première édition
2000-06-01
Qualité de l'eau — Lignes directrices pour
la validation des méthodes
microbiologiques
Water quality — Guidance on validation of microbiological methods
Numéro de référence
©
ISO 2000
PDF – Exonération de responsabilité
Le présent fichier PDF peut contenir des polices de caractères intégrées. Conformément aux conditions de licence d'Adobe, ce fichier peut
être imprimé ou visualisé, mais ne doit pas être modifié à moins que l'ordinateur employé à cet effet ne bénéficie d'une licence autorisant
l'utilisation de ces polices et que celles-ci y soient installées. Lors du téléchargement de ce fichier, les parties concernées acceptent de fait la
responsabilité de ne pas enfreindre les conditions de licence d'Adobe. Le Secrétariat central de l'ISO décline toute responsabilité en la
matière.
Adobe est une marque déposée d'Adobe Systems Incorporated.
Les détails relatifs aux produits logiciels utilisés pour la création du présent fichier PDF sont disponibles dans la rubrique General Info du
fichier; les paramètres de création PDF ont été optimisés pour l'impression. Toutes les mesures ont été prises pour garantir l'exploitation de
ce fichier par les comités membres de l'ISO. Dans le cas peu probable où surviendrait un problème d'utilisation, veuillez en informer le
Secrétariat central à l'adresse donnée ci-dessous.
Droits de reproduction réservés. Sauf prescription différente, aucune partie de cette publication ne peut être reproduite ni utilisée sous quelque
forme que ce soit et par aucun procédé, électronique ou mécanique, y compris la photocopie et les microfilms, sans l'accord écrit de l’ISO à
l’adresse ci-après ou du comité membre de l’ISO dans le pays du demandeur.
ISO copyright office
Case postale 56 � CH-1211 Geneva 20
Tel. + 41 22 749 01 11
Fax. + 41 22 734 10 79
E-mail copyright@iso.ch
Web www.iso.ch
ImpriméenSuisse
ii © ISO 2000 – Tous droits réservés
Sommaire Page
Avant-propos.iv
1 Domaine d'application.1
2 Termes et définitions.1
3 Organisation du document.8
4 Concepts de base .8
4.1 Généralités .8
4.2 Validation.8
4.3 Détecteurs .11
4.4 Caractéristiques de performance.12
4.5 Spécifications.12
5 Limites et caractéristiques des méthodes microbiologiques.12
5.1 Rendement de l’analyte.12
5.2 Variance de l’échantillon.13
5.3 Distribution et surdispersion des particules .13
5.4 Interactions dans le détecteur.13
5.5 Robustesse.13
5.6 Erreurs parasites .14
5.7 Cartes de contrôle et guides .14
6 Modèles mathématiques de variation.15
6.1 Variation de base inévitable — Distribution de Poisson .15
6.2 Surdispersion — Modèle binomial négatif.18
6.3 Limites statistiques et pratiques.21
6.4 Essais généraux à caractère aléatoire — Détection de la surdispersion .22
7 Spécifications — Pratique actuelle.22
8 Spécifications — Approche recommandée .23
9 Détermination et expression des caractéristiques de performance .24
9.1 Généralités .24
9.2 Caractéristiques catégoriques liées à la spécificité et à la sélectivité .24
9.3 Limites de travail.26
9.4 Gamme de travail des méthodes NPP .26
9.5 Fidélité .27
10 Méthodes et étapes de validation .28
10.1 Généralités .28
10.2 Validation primaire.28
10.3 Validation secondaire.30
11 Modèles de détermination des spécifications.30
11.1 Modèle général pour les spécifications quantitatives de base.30
11.2 Fidélité de l’intégralité de la méthode analytique.31
11.3 Caractéristiques de catégories .31
11.4 Données non planifiées .31
Annexe A Méthodes statistiques et programmes informatiques statistiques .32
Annexe B Exemples numériques.35
Annexe C Exemple d’expérience de validation .45
Bibliographie .46
Avant-propos
L'ISO (Organisation internationale de normalisation) est une fédération mondiale d'organismes nationaux de
normalisation (comité membres de l'ISO). L'élaboration des Normes internationales est en général confiée aux
comités techniques de l'ISO. Chaque comité membre intéressé par une étude a le droit de faire partie du comité
technique créé à cet effet. Les organisations internationales, gouvernementales et non gouvernementales, en
liaison avec l'ISO participent également aux travaux. L'ISO collabore étroitement avec la Commission
électrotechnique internationale (CEI) en ce qui concerne la normalisation électrotechnique.
Les Normes internationales sont rédigées conformément aux règles données dans les Directives ISO/CEI, Partie 3.
La tâche principale des comités techniques est d'élaborer les Normes internationales. Les projets de Normes
internationales adoptés par les comités techniques sont soumis aux comités membres pour vote. Leur publication
comme Normes internationales requiert l'approbation de 75 % au moins des comités membres votants.
Exceptionnellement, lorsqu'un comité technique a réuni des données de nature différente de celles qui sont
normalement publiées comme Normes internationales (ceci pouvant comprendre des informations sur l'«état de la
technique», par exemple), il peut décider, à la majorité simple de ses membres, de publier un Rapport technique.
Les Rapports techniques sont de nature purement informative et ne doivent pas nécessairement être révisés avant
que les données fournies ne soient plus jugées valables ou utiles.
L'attention est appelée sur le fait que certains des éléments du présent Rapport technique peuvent faire l'objet de
droits de propriété intellectuelle ou de droits analogues. L'ISO ne saurait être tenue pour responsable de ne pas
avoir identifié de tels droits de propriété et averti de leur existence.
L'ISO/TR 13843 a été élaboré par le comité technique ISO/TC 147, Qualité de l’eau, sous-comité SC 4, Méthodes
microbiologiques.
iv © ISO 2000 – Tous droits réservés
RAPPORT TECHNIQUE ISO/TR 13843:2000(F)
Qualité de l'eau — Lignes directrices pour la validation des
méthodes microbiologiques
1 Domaine d'application
Le présent Rapport technique traite de la validation des méthodes microbiologiques. L’accent est mis sur les
méthodes quantitatives sélectives, dans lesquelles l’estimation quantitative repose sur le comptage des particules,
soit directement à l’aide d’un microscope, soit indirectement en se basant sur la croissance (multiplication) des
colonies ou l’apparition d’une turbidité.
Les principes et les modes opératoires entrant dans le domaine d’application sont généralement présence/absence
(P/A), le nombre le plus probable (NPP), le comptage de colonies et le comptage (microscopique) direct.
Le présent Rapport technique n’est pas applicable à la validation des méthodes dites rapides ou modernes, qui
dépendent le plus souvent du mesurage des produits ou des modifications résultant de l’activité microbienne, mais
lesquelles ne concernent pas la détection de particules individuelles.
2 Termes et définitions
Pour les besoins du présent Rapport technique, les termes et définitions suivants s'appliquent.
2.1
exactitude d’un mesurage
étroitesse de l’accord entre le résultat d’essai et la valeur de référence acceptée
NOTE Le terme «exactitude», appliqué à un ensemble de résultats d’essai implique une combinaison de composantes
aléatoires et une erreur systématique commune ou une composante de biais.
[ISO 3534-1:1993, 3.11]
2.2
analyte
quantité mesurée
quantité particulière soumise au mesurage
NOTE 1 Voir référence [5].
NOTE 2 En microbiologie, l’analyte est de préférence défini par une liste d’espèces définies de manière taxonomique. Dans
de nombreux cas pratiques, l’analyte peut uniquement être défini par des désignations de groupe moins précises que les
définitions taxonomiques.
2.3
prise analytique
prise d’essai
volume d'une suspension de particules inoculé dans une unité de détecteur
NOTE Exemples d’unité de détecteur: boîte de gélose, membrane filtrante, tube d’essai, grille carrée microscopique.
2.4
gamme d’application
gamme de concentrations de particules soumise en routine au mesurage par une méthode
2.5
caractéristique de catégorie
caractéristique de performance de la méthode exprimée numériquement sous forme de fréquence relative basée
sur une classification P/A ou +/–
2.6
UFC, terme rejeté
unité formant colonies, terme rejeté
PFC, terme rejeté
particule formant colonies, terme rejeté
NOTE Ces termes ont été introduits à l’origine pour communiquer l’idée qu’une colonie peut provenir non seulement d’une
seule cellule mais également d’une chaîne solide ou d’un agrégat de cellules, d’un groupe de spores, d’un morceau de
mycélium, etc. Par erreur, le nombre de colonies observé est égal au nombre d’entités vivantes ensemencées dans le milieu.
L’unité de croissance, la particule viable, la propagule (2.27) et le germe (2.13) sont des termes ayant une signification
similaire, mais qui transmettent mieux l’idée initiale et s’appliquent non seulement aux méthodes de comptage des colonies
mais aussi aux NPP et P/A.
2.7
coefficient de variation
CV
écart-type relatif
pour un caractère non négatif, rapport de l’écart-type à la moyenne
NOTE 1 Ce rapport peut être exprimé en pourcentage.
NOTE 2 Le terme «écart-type relatif» est parfois utilisé à la place de «coefficient de variation», mais cet usage n’est pas
recommandé.
[ISO 3534-1:1993, 2.35]
NOTE 3 Dans le présent Rapport technique, le terme coefficient de variation (CV) est utilisé lorsque l'écart-type relatif est
exprimé en pourcentage (CV % = 100 RSD).
2.8
étude collaborative
essai des performances de la méthode ou du laboratoire pour lequel plusieurs laboratoires se regroupent pour
réaliser une expérience planifiée et coordonnée par un laboratoire leader
NOTE Il existe principalement deux types d’études collaboratives: les exercices d'intercalibration sont effectués pour
permettre aux laboratoires de comparer leurs résultats analytiques à ceux des autres laboratoires participants; les essais de
performance de la méthode fournissent des estimations de fidélité (répétabilité, reproductibilité) d’après des données recueillies
lorsque plusieurs laboratoires participants étudient des échantillons identiques à l’aide d’une méthode strictement normalisée.
2.9
comptage de colonies confirmé [vérifié)
x
comptage de colonies présumé, corrigé des faux positifs
k
xp��c c
n
où
c est le comptage présumé;
p est le taux de vrais positifs;
n est le nombre de positifs présumés isolés pour confirmation;
k est le nombre confirmé.
2 © ISO 2000 – Tous droits réservés
2.10
carte de contrôle
graphique de dispersion à deux dimensions pour le contrôle des performances de la méthode avec des valeurs de
contrôle obtenues à l’aide d’une étude de type A
NOTE Dans les cartes de contrôle, l’axe horizontal représente en général l’échelle de temps ou l’échelle ordinaire et la
variable de contrôle représente la moyenne, ou une certaine mesure de fidélité (s, CV, RSD).
2.11
détecteur
détecteur de particules
boîte de matrice solide ou tube de liquide contenant un milieu nutritif pour le dénombrement ou la détection de
particules microbiennes vivantes
2.12
série de détection
série de détecteurs
combinaison de boîtes ou de tubes sur laquelle est basée l’estimation quantitative de la concentration microbienne
de l’échantillon
NOTE La série de détection est la série de boîtes ou de tubes utilisée dans le cadre de l’estimation numérique d’une seule
valeur.
EXEMPLES Boîtes parallèles d’une suspension, boîtes de dilutions consécutives, système NPP 3 � 5 tubes, microplaque.
2.13
germe
entité vivante capable de produire une croissance dans un milieu nutritif
cf. propagule (2.27)
2.14
carte guide
graphique de dispersion à deux dimensions présentant les données relatives aux performances de la méthode
(quantité ou fidélité) à l’aide de valeurs guides arbitraires ou de valeurs guides obtenues par un raisonnement de
type B
NOTE Dans les cartes guide, l’axe horizontal représente en général le comptage de colonies par détecteur.
2.15
distribution de Poisson hétérogène
distribution qui se présente lorsque la moyenne de la distribution de Poisson varie aléatoirement d’un cas à l’autre
NOTE 1 Voir référence [11].
NOTE 2 Voir également distribution binomiale négative (2.19).
2.16
limite de détection
nombre x de particules (par prise analytique) lorsque la probabilité, p , d’un résultat négatif est égale à 5 %
NOTE 1 La probabilité d’un résultat positif est p(+) = 1 – p .
NOTE 2 a) Calcul de x par la distribution de Poisson:
��11
��
x,��ln ln � ln 20� 3 00
��
��
��
��
p,005
��
b) Calcul de x par la distribution binomiale négative:
��
�u
p �1
��0 �uu
�� 00, 5��1 20 1
x�� �
22 2
uu u
2.17
limite de détermination
concentration de particules moyenne la plus faible, x, par prise analytique lorsque l’incertitude type relative prévue
est égale à une valeur spécifiée (RSD)
NOTE a) Calcul de x par la distribution de Poisson:
x �
RSD
��
b) Calcul de x par la distribution binomiale négative:
x �
��RSD � u
où u est le facteur de surdispersion.
2.18
linéarité
dépendance linéaire du signal en fonction de la concentration de l’analyte
cf. proportionnalité (2.28)
2.19
distribution binomiale négative
distribution statistique particulière «surdispersée» des comptages
NOTE 1 Sa variance peut être exprimée comme étant
2 2 2
� =� + u �
où � est la moyenne.
NOTE 2 Dans le présent Rapport technique, le carré du facteur de surdispersion (u) est substitué par l’inverse de l’exposant
(1/k) de la formule normalisée de la distribution binomiale négative.
2.20
surdispersion
variation excédentaire du caractère aléatoire de Poisson
NOTE Elle est détectée qualitativement par l’indice de dispersion de Poisson et mesurée quantitativement lors de
l’estimation du paramètre u (facteur de surdispersion) de la distribution binomiale négative.
2.21
facteur de surdispersion
u
incertitude aléatoire supplémentaire de la détermination excédentaire de la distribution de Poisson, mesurée en
termes d'écart-type relatif
2.22
erreur de chevauchement
erreur de saturation
dépression systématique des comptages de colonies due à la confluence de colonies
NOTE Quantitativement, l’erreur de chevauchement dépend essentiellement de la fraction de l’espace de croissance
disponible occupé par une croissance de colonies.
2.23
comptages parallèles
nombre de particules ou de colonies dans des prises analytiques égales provenant de la même suspension
4 © ISO 2000 – Tous droits réservés
2.24
distribution de Poisson
distribution entièrement aléatoire des nombres de particules lors de l'échantillonnage d’une suspension
parfaitement homogénéisée
NOTE La probabilité P(k) d’observer exactement k unités dans une prise d’essai, lorsque la moyenne est égale à μ,se
calculeàl’aidedelaformule suivante:
k
�
��
Pk()� e
k!
2.25
fidélité
étroitesse de l’accord entre des résultats d’essai indépendants obtenus dans des conditions stipulées
NOTE La fidélité n’a pas de rapport avec la valeur vraie ou la valeur spécifiée. Elle est généralement exprimée en termes
d’imprécision et calculée comme un écart-type des résultats d’essai.
2.26
validation primaire
validation totale
détermination des spécifications de performance d’une nouvelle méthode et/ou vérification expérimentale qu’une
méthode répond bien aux critères de qualité dérivés théoriquement
2.27
propagule
entité viable, cellule végétative, groupe de cellules, spores, groupe de spores ou morceau de mycélium fongique
capable de croître dans un milieu nutritif
cf. germe (2.13)
2.28
proportionnalité
correspondance des comptages de particules effectués avec un volume (ou une dilution) d’une série de prises
analytiques à partir d’une suspension à racine commune
NOTE La proportionnalité est calculée pour une évaluation statistique comme le coefficient de vraisemblance-log
statistique G avec n–1 degrés de liberté.
2.29
méthode qualitative
méthode d’analyse dont la réponse est soit la présence, soit l’absence de l’analyte dans une certaine quantité
d’échantillon
NOTE 1 Voir référence [10].
2.30
rendement
terme général désignant le nombre de particules estimé dans une prise d’essai ou dans un échantillon, sachant
qu’il y a un nombre réel (même s'il est inconnu) de particules dont 100 % ou moins est «récupéré» par le détecteur
2.31
exactitude relative
degré de correspondance entre la réponse obtenue par la méthode de référence et la réponse obtenue par l'autre
méthode sur des échantillons identiques
NOTE 1 Voir référence [10].
2.32
différence relative
d
différence entre deux mesures, divisée par leur moyenne
xx� 2��xx�
AB
AB
d��
xx �x
AB
d %=100 d
NOTE Pour des raisons pratiques, les mêmes valeurs résultent du calcul d =ln(x )– ln(x ).
A B
2.33
rendement relatif
rapport (A/B) des comptages de colonies obtenus par deux méthodes soumises à l’essai sur des prises d’essai
équivalentes d’une même suspension, où B = la référence (si possible)
2.34
écart-type relatif
RSD
estimation de l'écart-type d’une population d’un échantillon de n résultats divisé par la moyenne de cet échantillon
s
RSD �
x
cf. coefficient de variation (2.7)
2.35
répétabilité
étroitesse de l’accord entre les résultats des mesurages successifs de la même quantité, effectués dans les
mêmes conditions de mesurage
NOTE 1 Voir le Guide pour l’expression de l’incertitude de mesure [6].
NOTE 2 La répétabilité est calculée comme étant r=2,8s,où s est l'écart-type de répétabilité.
r r
2.36
reproductibilité
étroitesse de l’accord entre les résultats des mesurages de la même quantité, effectués dans des conditions de
mesurage variables
NOTE 1 Voir le Guide pour l’expression de l’incertitude de mesure [6].
NOTE 2 La reproductibilité est calculée comme étant R =2,8s ,où s est l'écart-type de reproductibilité, généralement
R R
composé par l’écart-type interlaboratoires s et l'écart-type de répétabilité, s ,àsavoir:
L r
ss��s
RrL
2.37
robustesse
insensibilité d’une méthode d'analyse aux faibles modifications de la méthode
NOTE 1 Voir référence [23].
NOTE 2 Pour étudier la robustesse, il est recommandé «d’abuser» de la méthode de manière contrôlée.
6 © ISO 2000 – Tous droits réservés
2.38
validation secondaire
démonstration par expérience qu’une méthode établie fonctionne bien selon ses spécifications dans les mains de
l’utilisateur
2.39
sélectivité apparente
F
rapport entre le nombre de colonies cibles et le nombre total de colonies dans le même volume d’échantillon
F =lg(t/n)
où
t est la concentration apparente de cibles types présumées, estimées lors du comptage de colonies;
n est la concentration du nombre total de colonies.
2.40
sensibilité
fraction du nombre total de cultures ou de colonies positives correctement attribuées lors de l'analyse de
présomption
2.41
spécificité
fraction du nombre total de cultures ou de colonies négatives correctement attribuées lors de l'analyse de
présomption
2.42
incertitude-type
incertitude du résultat d’une mesure exprimée sous forme d'un écart-type
NOTE Voir référence [5].
2.43
évaluation de type A
�de l’incertitude� méthode d’évaluation de l’incertitude par l’analyse statistique d’une série d’observations
EXEMPLE De telles observations peuvent être, par exemple, l’écart-type, l’écart-type relatif.
NOTE 1 Voir références [5] et [6].
NOTE 2 La répétabilité et la reproductibilité sont souvent estimées à l’aide d’essais collaboratifs des performances de la
méthode au cours desquels plusieurs laboratoires étudient des échantillons «identiques» fournis par un organisateur central
[15].
2.44
évaluation de type B
�de l’incertitude� méthode d’évaluation de l’incertitude par d’autres moyens que l’analyse statistique d’une série
d’observations, par exemple à partir de distributions de probabilité supposées, basées sur l’expérience ou sur
d’autres informations
NOTE Voir références [5] et [6].
2.45
incertitude
�de mesure� paramètre associé au résultat de mesure, qui caractérise la dispersion des valeurs qui pourrait être
raisonnablement attribuée à la quantité mesurée
NOTE Voir référence [6].
2.46
incertitude
�de comptage� écart-type relatif des résultats des comptages répétés des colonies ou des particules d’une ou des
mêmes boîtes ou d’un ou des mêmes champs dans des conditions stipulées
EXEMPLE De telles conditions peuvent être, par exemple, la même personne ou des personnes différentes dans un
même laboratoire ou dans différents laboratoires.
2.47
gamme de validation
gamme du nombre moyen de particules par prise analytique pour laquelle la conformité aux spécifications de
validation (en particulier la linéarité) a été démontrée de manière acceptable
NOTE La gamme de validation est habituellement exprimée comme la gamme de comptages «fiables» des colonies.
3 Organisation du document
La première partie (articles 4 à 8) du présent Rapport technique contient des informations relatives aux principes
fondamentaux, aux caractéristiques et aux limites des méthodes microbiologiques, ainsi qu’aux aspects généraux
de la validation. La seconde partie (articles 9 à 11) représente le document de validation en lui-même avec les
spécifications et les modes opératoires recommandés pour leur détermination.
Les concepts et les principes, anciens et nouveaux, ne sont pas définis en intégralité dans le corps du présent
Rapport technique. Trois annexes sont jointes. L’annexe A donne le détail des formules statistiques les plus
utilisées dans le document, l’annexe B fournit des exemples numériques et l’annexe C donne les plans détaillés de
deux essais de validation.
Les essais statistiques, au sens commun du terme, ne sont pas une composante essentielle. Les calculs
mathématiques servent principalement à présenter des résumés pratiques de données et les distributions
statistiques donnent des valeurs guides. Un tableau de la distribution du � est l’aide la plus fréquemment
consultée.
Les deux programmes en BASIC donnés à l’annexe A peuvent être copiés facilement sur des ordinateurs de
bureau ou des calculatrices de poche programmables pour aider aux calculs de base les plus fréquemment
utilisés.
4 Concepts de base
4.1 Généralités
Pour ce qui est des calculs statistiques des particules, les comptages microscopiques obéissent aux mêmes lois
que les comptages viables mais, à l’exception des méthodes de comptage des microcolonies, ils ne présentent pas
de problèmes liés à la croissance. Les colorants de différenciation, en particulier les complexes spécialement
conçus à cet effet, ou autres agents utilisés pour identifier l’organisme cible ne modifient pas les principes
métrologiques. Les mêmes principes de validation que pour les méthodes sélectives de comptage des colonies
peuvent être appliqués.
Dans la plupart des cas, les comptages de plages de bactériophages sont similaires aux comptages de colonies
bactériennes.
4.2 Validation
4.2.1 Généralités
La validation est un processus qui permet de démontrer qu’une méthode remplit la fonction à laquelle elle est
destinée: détecter ou quantifier un microbe ou un groupe microbien donné avec la fidélité et l’exactitude requises.
8 © ISO 2000 – Tous droits réservés
Les méthodes de comptage total n’ont pas de groupe cible définissable et elles ne peuvent être validées qu’en
relation avec d’autres méthodes ou par rapport à des probabilités théoriques de fidélité.
Selon son objet, la validation est classée primaire ou secondaire.
4.2.2 Validation primaire
La validation primaire est un processus exploratoire dont l’objectif est de déterminer les limites opérationnelles et
les caractéristiques de performance d’une méthode nouvelle, modifiée ou insuffisamment détaillée. Il convient que
cette validation se traduise par des spécifications numériques et descriptives des performances et comprenne une
description détaillée et univoque de la cible concernée (colonie, plage ou tube positifs).
La validation primaire s’effectue en général au moyen de plans d’essais spécialement conçus à cet effet.
Il convient qu’un laboratoire développant sa propre méthode ou une variante d’une norme existante suive les
étapes de la validation primaire.
Il est impératif que les techniciens qui doivent procéder à une validation primaire aient une grande expérience des
autres méthodes microbiologiques.
4.2.3 Validation secondaire
La validation secondaire (également appelée vérification) a lieu lorsqu’un laboratoire met en œuvre une méthode
développée ailleurs. La validation secondaire a pour principal objectif de réunir les informations permettant de
démontrer que le laboratoire est en mesure de répondre aux spécifications déterminées lors de la validation
primaire. Actuellement, il n’existe pas de spécifications pour la plupart des méthodes. Il peut être nécessaire
d’utiliser les résultats de l’assurance de qualité externe (voir en 4.2.8) comme première étape vers une validation
secondaire complète.
En règle générale, la validation secondaire utilise les mêmes modes opératoires que la validation primaire mais
sous des formes sélectionnées et simplifiées, parfois réparties sur une période prolongée. Les échantillons naturels
sont les matériaux d’essai idéaux et la charge de travail ne concerne que le mode opératoire s’inscrivant dans les
limites opérationnelles définies par la validation primaire.
4.2.4 Contrôle de qualité analytique (AQC)
L’application de méthodes validées, dans leurs limites spécifiées et fiables, ne garantit pas forcément la validité
des résultats. Il est nécessaire de procéder à un contrôle de qualité analytique (AQC) en relation avec les analyses
de routine quotidiennes. Ce contrôle permet de vérifier si une méthode peut être utilisée avec succès.
L’AQC est un processus continu. Des cartes guides, dont les limites sont tirées des spécifications de méthodes (de
la validation primaire) ou de considérations théoriques, représentent les outils principaux.
Les méthodes d’AQC constituent des compléments du processus analytique de routine, par exemple des
répétitions à différents niveaux ou tout simplement des calculs qui ne sont pas effectués couramment sur les
données de routine. En outre, des matériaux de référence, des intercalibrations et des échantillons dopés sont
utilisés.
Le contrôle de qualité analytique doit être effectué en combinaison avec les validations primaire et secondaire. Il
convient de n'utiliser que des résultats fiables au sens de l’AQC pour définir les critères de validation et les
caractéristiques de performance.
Des groupes de travail nationaux et internationaux ont élaboré de nombreux documents sur le contrôle de qualité
analytique des méthodes microbiologiques (par exemple les références [1, 2, 3, 4, 7, 8, 20, 21, 24, 26�). Les
recueils de normes contiennent également des parties à ce sujet. Bien qu’essentielles pour la validation, les
méthodes de contrôle de qualité analytique ne sont pas détaillées dans le présent Rapport technique. Dans les
spécifications qui suivent, il est supposé que les laboratoires ont mis en œuvre les systèmes de contrôle analytique
et d’assurance de la qualité externe et interne.
4.2.5 Méthodes équivalentes
Il est nécessaire d’appliquer deux méthodes en parallèle sur les mêmes échantillons lors du développement d’une
méthode interne, et également lors de la collecte d’informations pour justifier l’utilisation d’une méthode alternative.
Les performances de la méthode ont de multiples facettes. Il n’existe ni essai unique pour l’équivalence des
méthodes, ni critère numérique correspondant. Une méthode peut s’avérer supérieure sur le plan de la spécificité
mais inférieure sur celui du rendement. Toutes les informations sur la robustesse, la fidélité et la spécificité
recueillies durant les essais de validation peuvent être utilisées pour la comparaison des méthodes (exemples B.2,
B.3, B.4 à l’annexe B). Il est nécessaire d’examiner les méthodes en parallèle uniquement pour les comparaisons
de rendement.
La méthode qui donne le plus fort rendement d’organismes cibles confirmés est manifestement la meilleure, sauf si
une confirmation est toujours nécessaire pour une utilisation en routine. Il se peut qu'une méthode qui donne un
rendement quelque peu inférieur mais ne nécessitant pas de confirmation soit préférable. Si des taux élevés de
faux négatifs ou de faux positifs observés pendant la validation primaire ne peuvent être corrigés par des
définitions de colonies cibles plus affinées, il convient de considérer la méthode comme non valable.
4.2.6 Matériaux d’essai
Il est généralement admis que la validation doit simuler autant que possible les conditions de routine. Il convient
que les échantillons naturels présentant des concentrations naturelles de microbes constituent les matériaux
d’essai principaux. Il y a des exceptions dans certaines circonstances.
Les matériaux artificiels (matériaux de référence certifiés et échantillons dopés) sont utilisés dans les systèmes
d’assurance de la qualité interne et externe afin de garantir un niveau d’aptitude minimal des laboratoires
participant aux essais de validation de méthodes.
Le dopage peut être utile voire nécessaire pour la validation secondaire lorsqu’il est difficile de trouver des
échantillons naturels contenant les organismes cibles. Le personnel de laboratoire sera en mesure de se
familiariser avec l’organisme cible.
Il convient de limiter l’utilisation les échantillons négatifs (blancs) aux seules opérations pour l’assurance de la
qualité interne. Le fait de les associer aux autres échantillons utilisés pour étudier l’équivalence entre plusieurs
méthodes peut donner la fausse impression d’une bonne corrélation entre les méthodes. S’il était possible de
savoir à l’avance quels échantillons naturels ne contiennent aucun organisme cible, cela permettrait d’effectuer une
sélection appropriée pour soumettre à essai les faux positifs dans des exercices de validation réels.
La gamme de concentration optimale pour la validation des méthodes microbiologiques est plus restreinte que la
gamme d’application prévue. Il n’est pas nécessaire d’utiliser de fortes concentrations. Ces échantillons sont
comparables à des cultures pures et ne permettent pas de vérifier les performances de la méthode ou du
laboratoire soumis à essai.
Il est nécessaire d’étudier les échantillons à faible teneur bactérienne pour des raisons de santé publique mais,
pour des raisons statistiques, ces échantillons ne sont pas adaptés à la comparaison de méthodes ni aux autres
exercices de validation. Le problème ne se pose d’ailleurs pas quand on sait que, lorsqu’elle est faible, la
concentration n’est plus un facteur déterminant. Dans un même échantillon, chaque type de germe réagit avec le
milieu nutritif, sans interaction, ou presque, avec les autres particules. Pour comparer le rendement de deux
méthodes, il est préférable de les appliquer sur des boîtes contenant des colonies de 20 ou 30 particules au moins.
On considère que les méthodes qui s’avèrent valides avec des concentrations suffisantes pour la validation sont
également fiables lorsque les concentrations en analyte sont faibles.
4.2.7 Échantillons — Représentativité et quantité suffisante
Une théorie statistique apporte des solutions au calcul du nombre d’échantillons requis pour différentes situations
d’essai ou d’estimation (voir références [3] et [13]). Afin de pouvoir mettre la théorie en pratique, il convient
d’évaluer l’importance des effets qui ont réellement une influence et les chances de les détecter. Il convient de
10 © ISO 2000 – Tous droits réservés
disposer d’une estimation de l’incertitude (fidélité) de la détermination et de procéder à un échantillonnage
aléatoire.
Il est difficile de répondre à l'intégralité ou à la plupart des exigences mentionnées ci-dessus lors de la planification
et de la réalisation anticipées d’essais de performances des méthodes microbiologiques. Les techniques
statistiques, le cas échéant, deviennent des lignes directrices.
Pour être convaincants, le nombre et la variété des échantillons examinés doivent être suffisants. Sans l’aide des
statistiques, il n’existe aucune manière précise de décider. Dans certains cas, le premier échantillon étudié peut
indiquer que la méthode n’est pas assez bonne. Mais un seul échantillon ne suffit généralement pas. Parfois, un
millier d'échantillons peut être nécessaire pour «démontrer» que deux méthodes P/A ne sont pas équivalentes. Le
fait de sélectionner une quantité insuffisante d’exemples peut être une perte de temps.
4.2.8 Assurance qualité externe et autres études collaboratives
Les études réalisées sur un produit «homogène» et auxquelles participent plusieurs laboratoires sont considérées
comme essentielles pour les performances de la méthode mais aussi pour celles des laboratoires. (Une fois les
points aberrants identifiés et supprimés, il est considéré que les données restantes apportent les informations
nécessaires sur les performances et l’efficacité de la méthode.)
Les études collaboratives constituent maintenant un outil très utilisé pour les essais des caractéristiques de fidélité
des méthodes chimiques �34�. Il semble un peu trop tôt pour recommander la mise en place de ce type d’essais en
microbiologie. Il est admis en effet que tous les laboratoires participants ont plusieurs années d’expérience en ce
qui concerne les méthodes expérimentées et des compétences reconnues dans leur utilisation. Actuellement,
l’expérience démontre que les études collaboratives portant sur les essais de performance des méthodes tendent à
devenir des essais d’aptitude de laboratoire et des exercices de formation.
Certaines méthodes microbiologiques sont utilisées depuis des dizaines d’années (par exemple gélose Endo pour
coliformes totaux, m-FC pour coliformes thermotolérants, gélose m-Enterococcus pour entérocoques intestinaux)
par des centaines de laboratoires. Ces méthodes peuvent donc théoriquement être utilisées dans le cadre d’études
collaboratives sur les performances des méthodes.
Lors de la réalisation d’essais d’aptitude collaboratifs pour des organismes cibles spécifiques avec un milieu de
culture sélectif, il convient que les échantillons soient presque obligatoirement dopés à l’aide de cultures pures ou
de mélanges d’organismes. Une autre solution consiste à utiliser des matériaux de référence certifiés. Il s’agit
d’une situation simplifiée et artificielle. Il peut donc manquer les plus grosses difficultés rencontrées par les
différents laboratoires en ce qui concerne l’utilisation de routine des méthodes sur des échantillons naturels. Tant
que les caractéristiques de performance d’une méthode microbiologique n’ont pas été exprimées quantitativement,
il se peut que ces types de programmes d’assurance de la qualité externe soient malgré tout le moyen le plus
satisfaisant concernant une validation secondaire (vérification) d’une méthode.
4.3 Détecteurs
4.3.1 Généralités
Il est souvent pratique d’appeler détecteur (2.11) le milieu nutritif dans son récipient. Deux types de détecteurs, à
savoir les détecteurs solides et les détecteurs liquides, sont utilisés dans différentes variantes des méthodes
microbiologiques. De plus, ils sont le plus souvent associés à différents principes de dénombrement et de
détection: liquide avec la méthode P/A et NPP et solide avec les comptages de colonies.
En microbiologie, l’objet principal de toutes les formes de validation est la détermination des performances des
détecteurs.
La série de tubes (NPP) ou de boîtes (dénombrables) utilisées pour l’analyse est appelée série de détection ou
série de détecteurs (2.12). Chaque tube NPP est un détecteur P/A.
EXEMPLE Le puits individuel d’une microplaque est un détecteur P/A. Lorsqu’elle est utilisée en tant que système NPP, la
boîte prise dans son ensemble constitue la série de détection.
4.3.2 Comparaisons de détecteurs
Pour la plupart des méthodes de comptage des colonies, il est possible de produire un équivalent liquide ayant la
même composition chimique mais dépourvu de matrice solide (gélose, membrane filtrante). Il est possible
d’évaluer l’effet de l’environnement solide en comparant les comptages de colonies à l’estimation NPP équivalente,
à condition que la réaction utilisée pour l’identification de la cible soit la même sur les deux types de détecteurs et
que le nombre de tubes parallèles soit suffisant pour obtenir un niveau de fidélité adéquat. Il est possible d’évaluer
la sensibilité des détecteurs P/A en procédant à des comparaisons liquide-solide similaires.
4.4 Caractéristiques de performance
Il convient que les caractéristiques de performance soient quantifiables et qu’elles puissent être soumises à l'essai
pour être utiles lors de la validation.
La terminologie utilisée dans le présent Rapport technique en ce qui concerne les caractéristiques de performance
correspond à la terminologie en usage en chimiométrie. Dans la mesure où les définitions originales des termes ne
sont pas toujours parfaitement adaptées aux méthodes microbiologiques, elles ont été modifiées et adaptées en
conséquence.
Les caractéristiques de performance traitées dans le présent Rapport technique sont liées au domaine
d’application (liste de situations et types d’échantillons auxquels la méthode est applicable), à la fidélité, à la
linéarité, au rendement, aux limites de travail, exprimées en nombre recommandable de colonies inférieur et
supérieur par boîte, à la sélectivité, à la spécificité et à la robustesse (solidité). Les définitions de ces termes, ainsi
que celles d’autres termes, sont données à l’article 2.
4.5 Spécifications
Les spécifications correspondent à des expressions numériques ou qualitatives des caractéristiques de
performance ou des limites de travail qui en découlent. Il convient que la validation primaire donne les
spécifications suivantes:
a) l’identification morphologique de la cible (présomptive);
b) les instructions concernant les conditions d’incubation (température, temps, atmosphère gazeuse, humidité) et
les caractéristiques des milieux de culture (pH, stabilité);
c) une instruction concernant les limites de travail fiables en termes de nombres de colonies ou de plages par
détecteur (boîte, membrane filtrante), si possible;
d) les expressions de l’incertitude dans les limites de fiabilité spécifiées;
e) le domaine d’application et les limites.
5 Limites et caractéristiques des méthodes microbiologiques
5.1 Rendement de l’analyte
L’analyte microbiologique se compose de particules vivantes discrètes, appelées indifféremment unités formant
colonies (UFC), particules formant colonies (PFC), germes, propagules, etc. (voir l’article 2). Le nombre de
colonies observées correspond à une approximation du nombre de particules vivantes.
L’ensemble d’essais de performance nécessaires est limité par la quasi-impossibilité de connaître la quantité réelle
d’analyte contenue dans un échantillon ou dans une prise d’essai analytique. Les détecteurs ne peu
...










Questions, Comments and Discussion
Ask us and Technical Secretary will try to provide an answer. You can facilitate discussion about the standard in here.
Loading comments...