Microbiology of the food chain — Method validation — Part 5: Protocol for factorial interlaboratory validation for non-proprietary methods

This document specifies the general principles and the technical protocols (based on orthogonal, factorial studies) for the validation of non-proprietary methods for microbiology of the food chain. This document is applicable to the validation of methods used for the analysis (detection or quantification) of microorganisms in: — products intended for human consumption; — products intended for animal feeding; — environmental samples in the area of food and feed production, handling; — samples from the primary production stage. This document is, in particular, applicable to bacteria and fungi. Some clauses can be applicable to other (micro)organisms or their metabolites, to be determined on a case-by-case basis. This document specifies protocols for the validation against a reference method for both quantitative and qualitative methods. This document also provides a protocol for the validation of quantitative methods without a reference method. Qualitative methods cannot be validated without a reference method in accordance with this document. NOTE ISO 16140-2 specifies the general principle and the technical protocol for the validation of alternative, mostly proprietary, methods against a reference method. This document is only applicable to the validation of methods that are fully specified with regard to all relevant parameters (including tolerances on temperatures and specifications on culture media) and that have already been optimized. Methods that have been validated in accordance with this document can be used by the laboratories of the specified population of laboratories.

Microbiologie de la chaîne alimentaire — Validation des méthodes — Partie 5: Protocole pour la validation interlaboratoires de méthodes non commerciales par plan factoriel

Le présent document établit les principes généraux ainsi que les protocoles techniques (fondé sur des études factorielles orthogonales) de validation de méthodes non commerciales, dans le domaine de la microbiologie de la chaîne alimentaire. Le présent document est applicable à la validation de méthodes utilisées pour l'analyse (détection ou quantification) de micro-organismes présents dans: — les produits destinés à la consommation humaine; — les produits destinés à l'alimentation animale; — les échantillons environnementaux dans les domaines de la production et de la manutention de produits alimentaires; — les échantillons au stade de la production primaire. Le présent document est notamment applicable aux bactéries et aux champignons. Certains articles peuvent être applicables à d'autres (micro-)organismes ou à leurs métabolites, qui doivent être déterminés au cas par cas. Le présent document spécifie des protocoles pour la validation de méthodes quantitatives et qualitatives par rapport à une méthode de référence. Il établit également un protocole pour la validation de méthodes quantitatives sans méthode de référence. Les méthodes qualitatives ne peuvent pas être validées sans méthode de référence conformément au présent document. NOTE L'ISO 16140‑2 spécifie le principe général et le protocole technique pour la validation de méthodes alternatives, majoritairement commerciales, par rapport à une méthode de référence. Le présent document est uniquement applicable à la validation de méthodes dont les paramètres pertinents sont intégralement spécifiés (notamment les tolérances sur les températures et les spécifications sur les milieux de culture) et qui ont déjà été optimisées. Les méthodes qui ont été validées conformément au présent document peuvent être utilisées par les laboratoires de la population de laboratoires spécifiée.

General Information

Status
Published
Publication Date
08-Jul-2020
Current Stage
9060 - Close of review
Completion Date
04-Mar-2031
Ref Project

Relations

Standard
ISO 16140-5:2020 - Microbiology of the food chain -- Method validation
English language
34 pages
sale 15% off
Preview
sale 15% off
Preview
Standard
ISO 16140-5:2020 - Microbiology of the food chain -- Method validation
English language
34 pages
sale 15% off
Preview
sale 15% off
Preview
Standard
ISO 16140-5:2020 - Microbiologie de la chaîne alimentaire -- Validation des méthodes
French language
38 pages
sale 15% off
Preview
sale 15% off
Preview
Standard
ISO 16140-5:2020 - Microbiologie de la chaîne alimentaire -- Validation des méthodes
French language
38 pages
sale 15% off
Preview
sale 15% off
Preview

Standards Content (Sample)


DRAFT INTERNATIONAL STANDARD
ISO/DIS 16140-5
ISO/TC 34/SC 9 Secretariat: AFNOR
Voting begins on: Voting terminates on:
2017-12-15 2018-03-09
Microbiology of the food chain — Method validation —
Part 5:
Protocol for factorial interlaboratory validation of non-
proprietary methods
Microbiologie de la chaîne alimentaire — Validation des méthodes —
Partie 5: Protocole pour la validation interlaboratoires de méthodes non propriétaires par plan factoriel
ICS: 07.100.30
THIS DOCUMENT IS A DRAFT CIRCULATED
This document is circulated as received from the committee secretariat.
FOR COMMENT AND APPROVAL. IT IS
THEREFORE SUBJECT TO CHANGE AND MAY
NOT BE REFERRED TO AS AN INTERNATIONAL
STANDARD UNTIL PUBLISHED AS SUCH.
IN ADDITION TO THEIR EVALUATION AS
ISO/CEN PARALLEL PROCESSING
BEING ACCEPTABLE FOR INDUSTRIAL,
TECHNOLOGICAL, COMMERCIAL AND
USER PURPOSES, DRAFT INTERNATIONAL
STANDARDS MAY ON OCCASION HAVE TO
BE CONSIDERED IN THE LIGHT OF THEIR
POTENTIAL TO BECOME STANDARDS TO
WHICH REFERENCE MAY BE MADE IN
Reference number
NATIONAL REGULATIONS.
ISO/DIS 16140-5:2017(E)
RECIPIENTS OF THIS DRAFT ARE INVITED
TO SUBMIT, WITH THEIR COMMENTS,
NOTIFICATION OF ANY RELEVANT PATENT
RIGHTS OF WHICH THEY ARE AWARE AND TO
©
PROVIDE SUPPORTING DOCUMENTATION. ISO 2017

ISO/DIS 16140-5:2017(E)
© ISO 2017, Published in Switzerland
All rights reserved. Unless otherwise specified, no part of this publication may be reproduced or utilized otherwise in any form
or by any means, electronic or mechanical, including photocopying, or posting on the internet or an intranet, without prior
written permission. Permission can be requested from either ISO at the address below or ISO’s member body in the country of
the requester.
ISO copyright office
Ch. de Blandonnet 8 • CP 401
CH-1214 Vernier, Geneva, Switzerland
Tel. +41 22 749 01 11
Fax +41 22 749 09 47
copyright@iso.org
www.iso.org
ii © ISO 2017 – All rights reserved

ISO/DIS 16140-5:2017(E)
Contents
Foreword . 5
Introduction . 6
1 Scope . 9
2 Normative references . 9
3 Terms and definitions . 9
4 General principles for the factorial interlaboratory validation of non-proprietary methods . 10
4.1 General . 10
4.2 Validation against a reference method . 11
4.3 Validation without reference method . 11
5 Qualitative methods - Technical protocol for factorial interlaboratory validation . 11
5.1 In-house validation study . 11
5.2 Interlaboratory study . 12
5.2.1 General considerations . 12
5.2.2 Measurement protocol . 12
5.2.3 Experimental design . 14
5.3 Calculations and summary of data . 14
5.4 Interpretation of data . 16
5.4.1 Paired study . 16
5.4.2 Unpaired study . 16
5.4.3 Analysis of factorial effects . 17
6 Quantitative methods - Technical protocol for factorial interlaboratory validation. 17
6.1 In-house validation study . 17
6.2 Interlaboratory study . 18
6.2.1 General considerations . 18
6.2.3 Measurement protocol . 18
6.2.3 Experimental design . 19
6.3 Calculations and summary of data . 19
6.4 Precision study without a reference value . 22
Annex A (normative) — List of factors for factorial study design . 23
Annex B (informative) — Example of a factorial interlaboratory study for a quantitative method .
............................................................................................................................................................ 25
B.1 Study design . 25
B.2 Calculations and summary of data . 27
B.2.1 Summary of the results of laboratories 1 to 5 of the interlaboratory study . 27
B.2.2 Precision data . 28
B.2.3 Accuracy profile . 30
Annex C (informative) — Example of a factorial interlaboratory study for a qualitative method .
............................................................................................................................................................ 34
Bibliography . 42

ISO/DIS 16140-5:2017(E)
Foreword
ISO (the International Organization for Standardization) is a worldwide federation of national
standards bodies (ISO member bodies). The work of preparing International Standards is normally
carried out through ISO technical committees. Each member body interested in a subject for which a
technical committee has been established has the right to be represented on that committee.
International organizations, governmental and non-governmental, in liaison with ISO, also take part in
the work. ISO collaborates closely with the International Electrotechnical Commission (IEC) on all
matters of electrotechnical standardization.
The procedures used to develop this document and those intended for its further maintenance are
described in the ISO/IEC Directives, Part 1. In particular the different approval criteria needed for the
different types of ISO documents should be noted. This document was drafted in accordance with the
editorial rules of the ISO/IEC Directives, Part 2 (see www.iso.org/directives).
Attention is drawn to the possibility that some of the elements of this document may be the subject of
patent rights. ISO shall not be held responsible for identifying any or all such patent rights. Details of
any patent rights identified during the development of the document will be in the Introduction and/or
on the ISO list of patent declarations received (see www.iso.org/patents).
Any trade name used in this document is information given for the convenience of users and does not
constitute an endorsement.
For an explanation on the voluntary nature of standards, the meaning of ISO specific terms and
expressions related to conformity assessment, as well as information about ISO’s adherence to the
World Trade Organization (WTO) principles in the Technical Barriers to Trade (TBT) see the following
URL: www.iso.org/iso/foreword.html.
This document was prepared by Technical Committee ISO/TC 34, Food products, Subcommittee SC 9,
Microbiology (Working Group WG 3, Method validation).
A list of all parts of the ISO 16140 series can be found on the ISO website.

ISO/DIS 16140-5:2017(E)
Introduction
The ISO 16140 series has been elaborated in response to the need for various ways to validate or verify
test methods. It is the successor of ISO 16140:2003, Microbiology of food and animal feeding stuffs —
Protocol for the validation of alternative methods. ISO 16140 series consists of several parts with the
general title, Microbiology of the food chain — Method validation:
 Part 1: Vocabulary
 Part 2: Protocol for the validation of alternative (proprietary) methods against a reference method
 Part 3: Protocol for the verification of reference and validated alternative methods implemented in a
single laboratory
 Part 4: Protocol for single-laboratory (in-house) method validation
 Part 5: Protocol for factorial interlaboratory validation for non-proprietary methods
 Part 6: Protocol for the validation of alternative (proprietary) methods for microbiological
confirmation and typing procedures
ISO 17468, Microbiology of the food chain — Technical requirements and guidance on establishment or
[2]
revision of a standardized reference method , is a closely linked International Standard. This
International Standard, which establishes technical rules for the development and validation of
standardized methods, is intended for the development of standardized methods by ISO/TC 34, Food
products, Subcommittee SC 9, Microbiology and CEN/TC 275/WG 6, Microbiology of the food chain.
In general two stages are needed before a method can be used in a laboratory:
 The first stage is the validation of the method. This is either conducted in several laboratories
(parts 2 and 5 of ISO 16140) or in one laboratory (part 4 of ISO 16140).
 The second stage is method verification, where a laboratory demonstrates that it can satisfactorily
perform a validated method. This is described in part 3 of ISO 16140 (method verification). In
part 3, a separation is made between verification of (food) items that are included in the validation
study and (food) items that are not tested in the validation study but belong within the scope of
validation.
NOTE 1 Standardized reference methods (with and without published validation data) only require verification
before implementation in the laboratory.
NOTE 2 In this part of ISO 16140, the words ‘category’, ‘type’ and ‘item’ are sometimes combined with ‘food’ to
improve the readability of this document. However, the word ‘food’ is interchangeable with ‘feed’ and the other
areas of the food chain as mentioned in the Scope of ISO 16140-5.
Part 4 of ISO 16140 addresses validation within a single laboratory. The results are therefore only valid
in the laboratory which conducted the study. In this case, verification (part 3 of ISO 16140) is not
required.
Part 5 of ISO 16140 describes protocols for situations where a more rapid validation is required or
when the method to be validated is highly specialised, and, the number of participating laboratories
required by ISO 16140-2 cannot be reached.
6 © ISO 2017 – All rights reserved

ISO/DIS 16140-5:2017(E)
The flow chart in Figure 1 gives an overview of the links between the different parts mentioned above.
It also guides the users in selecting the right part of the ISO 16140 series, taking into account the
purpose of the study and the remarks given above. For this, it is important to distinguish between
'reference method' and 'standardized reference method'. A reference method is an internationally
recognized and widely accepted method (term 2.59 of ISO 16140-1:2016) and a standardized reference
method is a reference method described in a standard (term 3.5 of ISO 17468:2016). In the ISO 16140
series, reference method includes standardized reference method. The flow diagram acknowledges that
published validation data may not be available for some standardized reference methods.

Figure 1 — Flow chart for application of the different parts of the ISO 16140-series
Part 6 of ISO 16140, is somewhat different from the other parts in the ISO 16140 series in that it relates
to a very specific situation where only the confirmation procedure of a method is validated. The
confirmation procedure advances a suspected (presumptive) result to a confirmed positive result. The
typing of pure strains (e.g. serotyping of Salmonella) is included in part 6 of ISO 16140.
An interlaboratory study, according to ISO 16140-2 (proprietary methods), requires at least
8 laboratories for quantitative methods and 10 laboratories for qualitative methods. ISO 16140-5 is
intended to be used for interlaboratory studies comprising 4-7 laboratories for quantitative methods
and 4-9 laboratories for qualitative methods. ISO 16140-5 can only be used for non-proprietary
methods. Table 1 provides an overview of the different protocols.

ISO/DIS 16140-5:2017(E)
Table 1 — Overview of different validation protocols described in ISO 16140
Number of laboratories With reference method Without reference method
1 Part 4 of ISO 16140: factorial or conventional Part 4 of ISO 16140: factorial or conventional
4 to 7 (quantitative method)/ Part 5 of ISO 16140: for non-proprietary Part 5 of ISO 16140: for non-proprietary
4 to 9 (qualitative method) methods only methods only
≥ 8 (quantitative method)/ Part 2 of ISO 16140 (for the interlaboratory Not available
≥ 10 (qualitative method) study part)

This part of ISO 16140 provides a protocol that addresses the special case where the number of
laboratories (8 for quantitative methods and 10 for qualitative methods) required in an interlaboratory
validation of a method by ISO 16140-2 cannot be achieved. The protocol allows a method validation
based on only 4 laboratories. It applies, for example, in situations where there is an urgent need for a
validated method but the protocols of ISO 16140-2 take too long to complete. This part of ISO 16140
also addresses the problem of method validation of highly specialised methods, for which only a few
laboratories might be available for a validation study.
In order to reduce the number of required laboratories to 4 while maintaining the generalizability of
the validation to all laboratories, the protocol is based on a factorial experimental design. In the
factorial design, several factors such as the technician or culture medium are altered simultaneously
and the method is used in a range of different factor settings. This approach allows a more detailed
analysis of the precision parameters of the method while, at the same time, requiring a smaller number
of laboratories and tests.
8 © ISO 2017 – All rights reserved

ISO/DIS 16140-5:2017(E)
Microbiology of the food chain — Method validation — Part 5:
Protocol for factorial interlaboratory validation of non-
proprietary methods
1 Scope
This part of ISO 16140 describes the general principle and the technical protocol (based on orthogonal,
factorial studies) for the validation of non-proprietary methods for microbiology of the food chain.
This part of ISO 16140 is applicable to the validation of non-proprietary methods used in the analysis
(detection or quantification) of microorganisms in
 products intended for human consumption,
 products intended for animal feeding,
 environmental samples in the area of food and feed production, handling, and
 samples from the primary production stage.
This part of ISO 16140 is in particular applicable to bacteria and fungi. Some clauses can be applicable
to other (micro)organisms or their metabolites, to be determined on a case-by-case-basis.
This part of ISO 16140 only applies to the validation of methods that are fully specified with regard to
all relevant parameters (including tolerances on temperatures and specifications on culture media) and
which have already been optimised.
2 Normative references
The following documents are referred to in the text in such a way that some or all of their content
constitutes requirements of this document. For dated references, only the edition cited applies. For
undated references, the latest edition of the referenced document (including any amendments) applies.
ISO 7218, Microbiology of food and animal feeding stuffs — General requirements and guidance for
microbiological examinations
ISO 16140-1:2016, Microbiology of the food chain — Method validation — Part 1: Vocabulary
ISO 16140-2:2016, Microbiology of the food chain — Method validation — Part 2: Protocol for the
validation of alternative (proprietary) methods against a reference method
3 Terms and definitions
For the purposes of this document, the terms and definitions given in ISO 16140-1 and the following
apply. ISO and IEC maintain terminological databases for use in standardization at the following
addresses:
— IEC Electropedia: available at http://www.electropedia.org/
— ISO Online browsing platform: available at http://www.iso.org/obp
ISO/DIS 16140-5:2017(E)
3.1
block
group of settings which have to be conducted in parallel or in a short time interval, and which are used
for the same samples
EXAMPLE Block = settings conducted in parallel =
Technician ‘a’ + culture medium ‘b’ + temperature ‘a’ + incubator ‘a’
AND
Technician ‘b’ + culture medium ‘a’ + temperature ‘b’ + incubator ‘b’

3.2
factor
qualitative or quantitative parameter within the method that can be varied at two or more levels within
the limits of the specified method
EXAMPLE Technician.
Note 1 to entry: In this part of ISO 16140, only those factors that are in line with the prescription of the method
are considered.
3.3
factor level
value of the factors within the experimental design
EXAMPLE Technician ‘a’, technician ‘b’, etc.
Note 1 to entry: In this part of ISO 16140, each factor is varied at two factor levels ‘a’ and ‘b’.
3.4
setting
combination of factor levels
EXAMPLE Technician ‘a’ + culture media ‘b’ + temperature ‘a’ + etc.
Note 1 to entry: These conditions can be described by the combination of levels of factors varied within the study.
4 General principles for the factorial interlaboratory validation of non-
proprietary methods
4.1 General
This part of ISO 16140 uses a protocol based on orthogonal, factorial studies. A high certainty of the
determined method validation parameters is obtained, by focussing on suitable factors (e.g. technician,
culture media, sample preparation, temperature, duration) that can influence the test result. This allows
the number of required laboratories to be reduced to a minimum of 4. General concepts and
considerations given in ISO 16140-2 shall be used, unless explicitly excluded. The validation can be
conducted against a reference method or by the use of appropriate reference materials.
This validation protocol can be used in different ways:
 For all laboratories: if 4 laboratories can be considered a ‘random sample’ of independent
laboratories from different organizations, the test method can be considered to be validated for all
laboratories in that accurate and precise measurements are to be expected from any laboratory.
 For laboratories within an organization: if 4 laboratories can be considered a ‘random sample’ of
independent laboratories from one organization, the test method can be considered to be validated
10 © ISO 2017 – All rights reserved

ISO/DIS 16140-5:2017(E)
for this organization in that accurate and precise measurements are to be expected from any
laboratory in the organization.
4.2 Validation against a reference method
The validation protocol comprises two phases:
 an in-house validation study of the non-proprietary method against the reference method carried
out in the organizing laboratory;
 an interlaboratory study of the non-proprietary method against the reference method carried out
in different laboratories.
The technical protocol for performing the in-house validation study and the interlaboratory study are
given in Clause 5 and 6, depending upon whether the test method is qualitative or quantitative in
nature.
The selected factors for the factorial interlaboratory study should be relevant to both the reference and
the alternative method.
4.3 Validation without reference method
The validation protocol comprises two phases:
 an in-house validation study of the non-proprietary method against the reference value carried out
in the organizing laboratory;
 an interlaboratory study of the non-proprietary method against the reference value carried out in
different laboratories.
The technical protocol for performing the in-house validation study and the interlaboratory study for
quantitative test methods are given in Clause 6.
Qualitative test methods cannot be validated without a reference method according to this part of
ISO 16140.
5 Qualitative methods - Technical protocol for factorial interlaboratory validation
5.1 In-house validation study
The in-house validation study is the part of the validation process that is performed in the organizing
laboratory. It can be conducted according to the conventional approach or the factorial approach, as
described in part 4 of ISO 16140.
An in-house validation study can be used in order to demonstrate the performance of the method for
the laboratory that conducted the study. In the framework of general method validation, it is the first
step and is needed for assessing the performance of the method across a large number of (food) types
and samples, whereas in the interlaboratory study, the performance of the method is assessed across a
larger number of laboratories.
ISO/DIS 16140-5:2017(E)
5.2 Interlaboratory study
5.2.1 General considerations
The aim of the interlaboratory study is to compare the performance of the reference method to the
alternative method in terms of the RLOD obtained by different laboratories, using the same set of
samples examined under reproducibility conditions and to compare these results with pre-set criteria
for the acceptable difference between the reference method and the alternative method. The
interlaboratory study is planned by the organizing laboratory.
The organizing laboratory prepares the samples and a data sheet for the recording of all experimental
data and critical experimental conditions used by each laboratory. It is necessary for each laboratory to
demonstrate its competence in the use of the alternative and the reference method according to
ISO 7218 prior to participating in the study.
Technicians, involved in the preparation of the samples used in the interlaboratory study, shall not take
part in the testing of the samples of the interlaboratory study.
5.2.2 Measurement protocol
Four or more independent laboratories are required to conduct the measurement series. These
laboratories shall be representative of the population of laboratories and shall belong to a minimum
of 3, but preferably 4 different organizations, excluding the organizing laboratory.
NOTE 1 Laboratories in different locations, but belonging to one company or institute, are accepted as different
organizations.
NOTE 2 If the 4 laboratories are independent and representative of the population of laboratories within one
organization, the outcome of the validation study applies only to laboratories within that organization.
If possible, more than 4 laboratories should participate, so that results from at least 8 technicians
remain even if, for some reason, certain data cannot be used.
The protocol is as follows:
 In cases where different enrichment protocols for the alternative method exist, the most
challenging enrichment protocol shall be selected, e.g. the protocol having the shortest incubation
time or the most selective enrichment conditions. The selected (food) item shall be relevant for the
chosen enrichment protocol. This relevant (food) type, which is used to prepare the test samples,
should contain a natural background microflora.
 The selected (food) item shall be inoculated with the target organism. The protocol for inoculation
of the samples shall be appropriate for the selected food. Samples shall be prepared by the
organizing laboratory to ensure homogeneity between and within samples using preparation
protocols contained in Annex B and Annex C of ISO 16140-2:2016.
 At least three different levels of contamination shall be used: a negative control (L ) and two levels
(L and L ). Level L should be between the LOD of the reference method (LOD ) and the LOD
1 2 1 50 50,ref 50
of the alternative method (LOD = RLOD · LOD ). Level L should be 1 log level above L .
50,alt 50,ref 2 10 1
 For the selected (food) item, for each setting and for each laboratory, 4 replicates shall be
conducted at level L Only 1 test is conducted at the two other levels L and L .
1. 0 2
12 © ISO 2017 – All rights reserved

ISO/DIS 16140-5:2017(E)
 According to the factorial, orthogonal design, 8 settings have to be conducted by each laboratory for
both test methods and for all levels of contamination (L , L and L ). In total 96 results
0 1 2
(1  4  1 tests × 8 settings × 2 methods) are conducted in each laboratory.
 All samples should be blind-coded to ensure that the analysts are not aware of their level of
contamination.
 For tests which give paired results (paired result occurs when the primary enrichment is the same
for the alternative and reference method), one test portion is required to obtain a result for the
alternative and the reference method. For tests which give unpaired results (unpaired result occurs
when the alternative and reference methods start from different primary enrichments), two sets of
test portions are required. One test portion is analysed by the alternative method and another test
portion by the reference method.
 The data are reported in two tables, giving the results from the reference method and from the
alternative method before and after confirmation of the results. If the results for alternative and
reference methods have been obtained from the same initial enrichment broth (paired data), there
is no need to confirm the results of the alternative method if the results agree with that obtained
with the reference method. In cases when the reference method gives a negative result and the
alternative method gives a positive result, then confirmation of the positive result is required. If the
results for alternative and reference methods have been obtained from different enrichments
(unpaired data), then all enrichments obtained with the alternative method shall be taken forward
for confirmation. Confirmation pathways are described in 5.1.3.3 of ISO 16140-2:2016.
 The organizing laboratory can indicate that broths, plates, and/or isolates shall be retained for a
certain period of time to be able to confirm results obtained by a laboratory, if needed.
 The analysis of samples shall be performed by each laboratory on the stipulated date.
To predict accuracy and precision in the single laboratory under routine conditions, relevant method
factors that are difficult to control shall be selected and varied systematically, for example personnel,
media and incubation conditions. The choice of these factors and factor levels is crucial to the reliability
of the test result. Four relevant method factors shall be varied simultaneously, each on 2 levels.
For methods for culturable microorganisms, the factors ‘technicians’ and ‘culture media’ have the
greatest significance and shall be included in all studies.
 Technicians: tests shall be conducted in the single laboratory by 2 technicians independently.
 Culture media: use media from 2 different manufacturers if available, or pre-prepared versus
prepared from dehydrated media, otherwise use 2 different batches [lots]; if available, each
laboratory should use manufacturers/batches that are different from the ones used in the other
laboratories.
Three further factors have to be selected for use in the study. Decision on the most suitable additional
factors for the particular study should be based on expert knowledge. The following list gives examples
for the selection of further factors and factor levels:
 sample preparation if appropriate (e.g. thawing of frozen samples at room temperature = ‘a’ or at
4 °C = ‘b’);
 different incubators (use two different incubators; if only one incubator is available, vary
incubation conditions at two levels, e.g. ‘a’ = shortest time and lowest temperature permitted by the
method tolerance, and ‘b’ = longest time and highest temperature).
ISO/DIS 16140-5:2017(E)
Optimal conditions are specified in each method, e.g. incubation temperature and duration at 37 °C and
24 h, and these will give the best results. However, ranges around these, due to inaccuracies of the
instrument but which provide still acceptable conditions (e.g. 37 °C ± 1 °C, 24 h ± 1 h), are permitted
and the design should test the extremes of these. Other influences such as stress conditions might also
be taken into account.
If, according to expert knowledge, other factors are considered to be more relevant with regard to the
result of the method under study, these may also be varied at two levels within the experimental design.
Other factors might be stress factors or sample storage conditions. A non-comprehensive grouped list of
potential factors is provided in Annex A. Depending on the method, one factor from each of the most
relevant groups shall be selected.
Factors and factor levels shall reflect the normal variation within routine laboratories. Factors are
studied simultaneously using the study design described in 5.2.3.
5.2.3 Experimental design
Each setting is a combination of levels of 5 method factors. At each setting each of the participating
laboratories conducts 1  4  1 tests at levels L , L and L and for both test methods. Eight different
0 1 2
settings (1 to 8) shall be considered. The study design is shown in Table 2: ‘a’ and ’b’ represent the
levels of respective factors.
Table 2 — Study design for qualitative methods to be conducted by each of at least 4 laboratories
Setting Factor 1 Factor 2 Factor 3 Factor 4 Factor 5
technician culture medium e.g. thawing process e.g. incubator e.g. background flora
1 a a a a
2 b b b b
a
3 a a b b
4 b b a a
5 a b a b
6 b a b a
b
7 a b b a
8 b a a b
NOTE This study design (5 factors) is different from the design used in part 4 of ISO 16140 for single-
laboratory validation studies (4 factors).
With 4 laboratories, 8 settings, 3 levels of contamination and 2 test methods (reference and alternative)
the minimum number of individual tests is 4 × 8 × (1  4  1) × 2 = 384.
The organizing laboratory shall examine the raw data and other information requested in the data sheet
to ascertain that all laboratories have performed the analyses according to both the alternative and
reference methods as written. When there is evidence that results might be obtained under
inappropriate conditions and/or the methods have not been followed strictly, these or all results from
the laboratory are excluded for further analysis. Annex C shows an example of a factorial
interlaboratory study for a qualitative method.
5.3 Calculations and summary of data
The results obtained by the individual laboratories in the interlaboratory study are summarised in
Table 3 and Table 4.
14 © ISO 2017 – All rights reserved

ISO/DIS 16140-5:2017(E)
Table 3 — Fraction of positive results by the reference method
Contamination level
Laboratory L0 L1 L2
Laboratory 1 /8 /32 /8
Laboratory 2 /8 /32 /8
Laboratory 3 /8 /32 /8
Etcetera /8 /32 /8
Total
Table 4 — Fraction of positive results (before and after confirmation) by the alternative method
Contamination level
L L L
0 1 2
Laboratory Presumptive Confirmed Presumptive Confirmed Presumptive Confirmed
Laboratory 1 /8 /8 /32 /32 /8 /8
Laboratory 2 /8 /8 /32 /32 /8 /8
Laboratory 3 /8 /8 /32 /32 /8 /8
Etcetera /8 /8 /32 /32 /8 /8
Total
Subsequent calculations are carried out according to ISO 16140-2:2016, 5.2.3. These calculations shall
be conducted across all factor settings, 1 to 8, and also separately for each subgroup of factor settings
which belongs to 1 out of the 5 factors and 1 out of the 2 factor levels, as displayed in Table 5.
Table 5 — Summary of results
Factor levels Settings
All settings 1 to 8
Factor 1 (technician) ‘a’
Factor 2 (technician) ‘b’
Factor 2 (e.g. culture medium) ‘a’ 1,3,5,7
Factor 2 (e.g. culture medium) ‘b’ 2,4,6,8
Factor 3 (e.g. thawing process) ‘a’ 1,3,6,8
Factor 3 (e.g. thawing process) ‘b’ 2,4,5,7
Factor 4 (e.g. incubator) ‘a’ 1,4,5,8
Factor 4 (e.g. incubator) ‘b’ 2,3,6,7
Factor 5 (e.g. background flora) ‘a’ 1,4,6,7
Factor 5 (e.g. background flora) ‘b’ 2,3,5,8
Positive Agreement (PA)
Negative Agreement (NA)
Negative Deviation (ND)
Positive Deviation (PD)
False Positive (FP)
Sum (N)
Sensitivity alternative method (SE(alt)) (%)
Sensitivity reference method (SE(ref)) (%)
Relative trueness RT (%)
Relative specificity alternative method (%)
Relative specificity reference method (%)
False Positive Ratio (FPR) (%)

ISO/DIS 16140-5:2017(E)
NOTE 1     Definitions of the parameters can be found in ISO 16140-2:2016, 5.1.3.4.
NOTE 2     In most cases, factor levels for the factor ‘technician′ are different from one laboratory to the next
(except cases where technician ‘a’ and ‘b’ represent specific training levels). Then the sensitivity analysis cannot
be meaningfully interpreted for this factor, and the corresponding rows should be left empty. This holds also for
any other factor when sensitivity analysis for its factor levels cannot be meaningfully interpreted.

5.4 Interpretation of data
5.4.1 Paired study
For a paired study, calculate the difference between (ND-PD) and the sum of (ND+PD) for positive levels
L and L . The values found for (ND-PD) and (ND+PD) shall not be higher than the acceptability limits
1 2
(ALs) given in Table 6 with respect to the number of participating laboratories (N ).
lab
Table 6 — Acceptability limits for a paired study design in relation to the number
of laboratories
Nlab ND-PD ND+PD
4 3 4
5 4 5
6 4 6
7 5 7
8 5 8
9 6 9
The AL is not met when the observed value is higher than the AL. When the AL is not met, investigations
should be made (e.g. root cause analysis) in order to provide an explanation of the observed results.
Based on the AL and the additional information, it is decided whether the alternative method is
regarded as not fit for purpose. The reasons for acceptance of the alternative method in case the AL is
not met shall be stated in the study report.
5.4.2 Unpaired study
For an unpaired study, calculate the difference between (ND-PD) for level L . The observed value shall
not be higher than the AL. Calculate AL by
√ ( ) ( ) ( ) ( )
𝐴𝐿 = 4 6𝑁 ( 𝑝 + 𝑝 − 2( 𝑝 × 𝑝 ))
𝑙𝑎𝑏 + 𝑟𝑒𝑓 + 𝑎𝑙𝑡 + 𝑟𝑒𝑓 + 𝑎𝑙𝑡
where
𝑁 = number of laboratories
𝑙𝑎𝑏
(𝑝 ) = number of samples with a positive result obtained with the reference method at level
+ 𝑟𝑒𝑓
L for all laboratories divided by the number of samples tested at level L ;
1 1
(𝑝 ) = number of samples with a confirmed positive result obtained with the alternative
+ 𝑎𝑙𝑡
method at level L for all laboratories divided by the number of samples tested at level L .
1 1
16 © ISO 2017 – All rights reserved

ISO/DIS 16140-5:2017(E)
The AL is not met when the observed value is higher than the AL. When the AL is not met, investigations
should be made (e.g. root cause analysis) in order to provide an explanation of the observed results.
Based on the AL and the additional information, it is decided whether the alternative method is
regarded as not fit for purpose. The reasons for acceptance of the alternative method in case the AL is
not met shall be stated in the study report.
5.4.3 Analysis of factorial effects
In addition, effects of the individual factors and of the interactions between factors (e.g. technician or
culture medium/incubation conditions) can be calculated from the factorial design based on the RLOD
values calculated for each laboratory.
NOTE An Excel®-based program is made available for performing the RLOD calculations
(http://standards.iso.org/iso/16140).
The following notation is used: k refers to the laboratory, and p is the number of laboratories (1 ≤ k ≤ p).
(𝑎)
For a specific factor of interest, denote by 𝑌 the log value of the RLOD using all test results of the
𝑘
(𝑏)
four settings of the laboratory k in which the factor is set to level ‘a’, and denote by 𝑌 the log value
𝑘
of the RLOD using all test results of the other four settings of the laboratory k in which the factor is set
to level ‘b’. Calculate the average of the difference of these log RLOD values across all laboratories
𝑝
(𝑏) (𝑎)
𝑑 = ∑ (𝑌 − 𝑌 ).
𝑘 𝑘
𝑝
𝑘=1
If this difference 𝑑 is smaller than -0,3 or larger than +0,3, the factor is considered to have a substantial
[4]
influence on the RLOD. Further analyses techniques can be found in Uhlig and Gowik .
6 Quantitative methods - Technical protocol for factorial interlaboratory
validation
6.1 In-house validation study
The in-house validation study is the part of the validation process that is performed in the organizing
laboratory. It can be conducted according to the conventional approach or the factorial approach
described in part 4 of ISO 16140.
An in-house validation study can be used in order to demonstrate the performance of the method for
the laboratory that conducted the study. In the framework of general method validation, it is the first
step and is needed for assessing the performance of the method across a large number of (food) types
and samples, whereas in the interlaboratory study, the performance of the method is assessed across a
larger number of laboratories.
The factorial interlaboratory validation does not require a full in-house validation in accordance with
ISO 16140-4, because most relevant method validation parameters can be extracted from the
interlaboratory study itself. The only exception is the determination of inclusivity and exclusivity
parameters. For this, an inclusivity and exclusivity study according to ISO 16140-2:2016, 6.1.5, shall be
conducted.
ISO/DIS 16140-5:2017(E)
6.2 Interlaboratory study
6.2.1 General considerations
The aim of the interlaboratory study is to compare the performance (accuracy and precision) of the
reference method to the alternative method by different laboratories, using the same set of samples,
examined under reproducibility conditions and to compare these results with pre-set criteria for the
acceptable difference between the reference method and the alternative method. Wherever possible the
study conditions should reflect the normal variation between laboratories. The interlaboratory study is
organized by the organizing laboratory.
6.2.3 Measurement protocol
Four or more independent laboratories are required to conduct the measurement series. These
laboratories shall be representative for the population of laboratories and shall come from 4 different
locations and belong to a minimum of 3 different organizations, excluding the organizing laboratory, if
the outcome of the validation study is to be applied to the population of laboratories. Laboratories in
different locations, but belonging to one company or institute, are not accepted as different
organizations.
NOTE If the 4 laboratories are independent and representative for the population of laboratories within one
organization, the outcome of the validation study applies only to laboratories within this organization.
If possible, more than 4 laboratories should participate, so that results from at least 8 technicians
remain even if, for some reason, certain data cannot be used.
The organizing laboratory prepares the samples and a data sheet for the recording of all experimental
data and critical experimental conditions used by each laboratory. It is necessary for each laboratory to
demonstrate its competence in the use of the alternative and the reference method according to
ISO 7218 prior to participating in the study.
Technicians, involved in the preparation of the samples used in the interlaboratory study, shall not take
part in the testing of those samples of the interlaboratory study.
The protocol is as follows:
 A relevant (food) item is used to prepare the test samples. The (food) item should contain a natural
background microflora.
 The selected (food) item may be inoculated with the target organism. The protocol for inoculation
of the samples shall be appropriate for the selected (food) item. Samples shall be prepared to
ensure homogeneity between samples using preparation protocols contained in Annex B and C of
ISO 16140-2:2016. In general, liquid samples (compared to solid samples) give greater assurance of
homogeneity. The samples shall be shown to be homogeneous by the organizing laboratory.
[3]
Homogeneity tests and criteria for acc
...


INTERNATIONAL ISO
STANDARD 16140-5
First edition
2020-07
Microbiology of the food chain —
Method validation —
Part 5:
Protocol for factorial interlaboratory
validation for non-proprietary
methods
Microbiologie de la chaîne alimentaire — Validation des méthodes —
Partie 5: Protocole pour la validation interlaboratoires de méthodes
non commerciales par plan factoriel
Reference number
©
ISO 2020
© ISO 2020
All rights reserved. Unless otherwise specified, or required in the context of its implementation, no part of this publication may
be reproduced or utilized otherwise in any form or by any means, electronic or mechanical, including photocopying, or posting
on the internet or an intranet, without prior written permission. Permission can be requested from either ISO at the address
below or ISO’s member body in the country of the requester.
ISO copyright office
CP 401 • Ch. de Blandonnet 8
CH-1214 Vernier, Geneva
Phone: +41 22 749 01 11
Email: copyright@iso.org
Website: www.iso.org
Published in Switzerland
ii © ISO 2020 – All rights reserved

Contents Page
Foreword .iv
Introduction .v
1 Scope . 1
2 Normative references . 1
3 Terms and definitions . 2
4 General principles for the factorial interlaboratory validation of non-proprietary
methods . 3
4.1 General . 3
4.2 Validation against a reference method . 3
4.3 Validation without a reference method . 3
5 Qualitative methods — Technical protocol for factorial interlaboratory validation .3
5.1 In-house validation study . 3
5.2 Interlaboratory validation study against a reference method . 4
5.2.1 General considerations . 4
5.2.2 Measurement protocol . 4
5.2.3 Selection of the factors to be studied . 5
5.2.4 Experimental design . 6
5.3 Calculations and summary of data . 6
5.4 Interpretation of data . 8
5.4.1 Paired study . 8
5.4.2 Unpaired study . 9
5.4.3 Analysis of factorial effects with respect to RLOD . 9
6 Quantitative methods — Technical protocol for factorial interlaboratory validation .10
6.1 In-house validation study .10
6.2 Interlaboratory validation study against a reference method .10
6.2.1 General considerations .10
6.2.2 Measurement protocol .10
6.2.3 Experimental design .11
6.3 Calculations, summary, and interpretation of data .12
6.3.1 Summary of test results .12
6.3.2 Precision data .13
6.3.3 Accuracy profile .14
6.4 Interlaboratory validation study without a reference method .14
Annex A (informative) List of factors and factor levels for factorial validation.15
Annex B (informative) Example of a factorial interlaboratory study for a quantitative method .17
Annex C (informative) Example of a factorial interlaboratory study for a qualitative method .28
Bibliography .34
Foreword
ISO (the International Organization for Standardization) is a worldwide federation of national standards
bodies (ISO member bodies). The work of preparing International Standards is normally carried out
through ISO technical committees. Each member body interested in a subject for which a technical
committee has been established has the right to be represented on that committee. International
organizations, governmental and non-governmental, in liaison with ISO, also take part in the work.
ISO collaborates closely with the International Electrotechnical Commission (IEC) on all matters of
electrotechnical standardization.
The procedures used to develop this document and those intended for its further maintenance are
described in the ISO/IEC Directives, Part 1. In particular, the different approval criteria needed for the
different types of ISO documents should be noted. This document was drafted in accordance with the
editorial rules of the ISO/IEC Directives, Part 2 (see www .iso .org/ directives).
Attention is drawn to the possibility that some of the elements of this document may be the subject of
patent rights. ISO shall not be held responsible for identifying any or all such patent rights. Details of
any patent rights identified during the development of the document will be in the Introduction and/or
on the ISO list of patent declarations received (see www .iso .org/ patents).
Any trade name used in this document is information given for the convenience of users and does not
constitute an endorsement.
For an explanation of the voluntary nature of standards, the meaning of ISO specific terms and
expressions related to conformity assessment, as well as information about ISO’s adherence to the
World Trade Organization (WTO) principles in the Technical Barriers to Trade (TBT) see www .iso .org/
iso/ foreword .html.
This document was prepared by Technical Committee ISO/TC 34, Food products, Subcommittee SC 9,
Microbiology, in collaboration with the European Committee for Standardization (CEN) Technical
Committee CEN/TC 463, Microbiology of the food chain, in accordance with the Agreement on technical
cooperation between ISO and CEN (Vienna Agreement).
A list of all parts in the ISO 16140 series can be found on the ISO website.
Any feedback or questions on this document should be directed to the user’s national standards body. A
complete listing of these bodies can be found at www .iso .org/ members .html.
iv © ISO 2020 – All rights reserved

Introduction
0.1  The ISO 16140 series
The ISO 16140 series has been expanded in response to the need for various ways to validate or verify
test methods. It is the successor to ISO 16140:2003. The ISO 16140 series consists of six parts with the
general title, Microbiology of the food chain — Method validation:
— Part 1: Vocabulary;
— Part 2: Protocol for the validation of alternative (proprietary) methods against a reference method;
— Part 3: Protocol for the verification of reference methods and validated alternative methods in a single
laboratory;
— Part 4: Protocol for method validation in a single laboratory;
— Part 5: Protocol for factorial interlaboratory validation for non-proprietary methods;
— Part 6: Protocol for the validation of alternative (proprietary) methods for microbiological confirmation
and typing procedures.
ISO 17468 is a closely linked International Standard, which establishes technical rules for the
development and validation of standardized methods.
In general, two stages are needed before a method can be used in a laboratory.
— The first stage is the validation of the method. Validation is conducted using a study in a single
laboratory followed by an interlaboratory study (see ISO 16140-2, ISO 16140-6, and as described in
this document). In the case when a method is validated within one laboratory (see ISO 16140-4), no
interlaboratory study is conducted.
— The second stage is method verification, where a laboratory demonstrates that it can satisfactorily
perform a validated method. This is described in ISO 16140-3. Verification is only applicable to
methods that have been validated using an interlaboratory study.
In general, two types of methods are distinguished: reference methods and alternative methods.
A reference method is defined in ISO 16140-1:2016, 2.59, as an “internationally recognized and widely
accepted method”. The note to entry clarifies that “these are ISO standards and standards jointly
published by ISO and CEN or other regional/national standards of equivalent standing”.
In the ISO 16140 series, reference methods include standardized reference (ISO and CEN) methods as
defined in ISO 17468:2016, 3.5, as a “reference method described in a standard”.
An alternative method (method submitted for validation) is defined in ISO 16140-1:2016, 2.4, as a
“method of analysis that detects or quantifies, for a given category of products, the same analyte as
is detected or quantified using the corresponding reference method”. The note to entry clarifies that:
“The method can be proprietary. The term ‘alternative’ is used to refer to the entire ‘test procedure
and reaction system’. This term includes all ingredients, whether material or otherwise, required for
implementing the method.”.
ISO 16140-4 addresses validation within a single laboratory. The results are therefore only valid for
the laboratory that conducted the study. In this case, verification (as described in ISO 16140-3) is not
applicable. This document, ISO 16140-5, describes protocols for non-proprietary methods where a
more rapid validation is required or when the method to be validated is highly specialized and the
number of participating laboratories required by ISO 16140-2 cannot be reached. ISO 16140-4 and this
document can be used for validation against a reference method. ISO 16140-4 (regarding qualitative
and quantitative methods) and this document (regarding quantitative methods only) can also be used
for validation without a reference method.
The flow chart in Figure 1 gives an overview of the links between the different parts mentioned above.
It also guides the user in selecting the right part of the ISO 16140 series, taking into account the purpose
of the study and the remarks given above.
Figure 1 — Flow chart for application of the ISO 16140 series
NOTE In this document, the words “category”, “type” and/or “item” are sometimes combined with “(food)”
to improve readability. However, the word “(food)” is interchangeable with “(feed)” and other areas of the food
chain as mentioned in Clause 1.
ISO 16140-6 is somewhat different from the other parts in the ISO 16140 series in that it relates to
a very specific situation where only the confirmation procedure of a method is to be validated [e.g.
the biochemical confirmation of Enterobacteriaceae (see ISO 21528-2)]. The confirmation procedure
advances a suspected (presumptive) result to a confirmed positive result. The validation of alternative
typing techniques (e.g. serotyping of Salmonella) is also covered by ISO 16140-6. The validation study
in ISO 16140-6 clearly defines the selective agar(s) from which strains can be confirmed using the
alternative confirmation method. If successfully validated, the alternative confirmation method can
only be used if strains are recovered on an agar that was used and shown to be acceptable within the
validation study. Figure 2 shows the possibilities where an alternative confirmation method validated
in accordance with ISO 16140-6 can be applied (see text in the boxes).
vi © ISO 2020 – All rights reserved

Figure 2 — Use of validated alternative confirmation methods (see ISO 16140-6)
EXAMPLE An example application of a validated alternative confirmation method is as follows.
An alternative confirmation method based on ELISA has been validated (in accordance with ISO 16140-6) to
replace the biochemical confirmation for Salmonella as described in ISO 6579-1. In the validation study, XLD
(mandatory agar in accordance with ISO 6579-1) plus BGA and a specified chromogenic agar (two optional agars
for second plating in accordance with ISO 6579-1) were used as the agars to start the confirmation. The validated
confirmation method can be used to replace the biochemical confirmation under the following conditions:
— by laboratories using the ISO 6579-1; or
— by laboratories using an ISO 16140-2 validated alternative method that refers to ISO 6579-1 for confirmation; or
— by laboratories using an ISO 16140-2 validated alternative method that starts the confirmation from XLD
and/or BGA agar and/or the specified chromogenic agar.
The validated confirmation method cannot be used under the following conditions:
— by laboratories using an ISO 16140-2 validated alternative method that refers only to agars other than those
included in the validation to start the confirmation (e.g. Hektoen agar and SS agar only); or
— by laboratories using an ISO 16140-2 validated alternative method that refers only to a confirmation
procedure that does not require isolation on agar.
0.2  Validation protocols in the ISO 16140 series
An interlaboratory validation study, in accordance with ISO 16140-2, requires at least eight laboratories
for quantitative methods and at least ten laboratories for qualitative methods.
This document provides a protocol that addresses the special case where the number of laboratories
required in an interlaboratory validation of a method by ISO 16140-2 cannot be achieved. The protocol
allows a method validation based on a minimum of four laboratories. It applies, for example, in situations
where there is an urgent need for a validated method but the in-house and interlaboratory studies in
accordance with ISO 16140-2 take too long to complete. This document also addresses the problem of
method validation of highly specialized methods, for which only a few laboratories might be available
for a validation study. This document can only be used for non-proprietary methods. Table 1 provides
an overview of the different protocols.
Table 1 — Overview of different validation protocols described in the ISO 16140 series
Number of participating
With reference method Without reference method
laboratories
1 ISO 16140-4 ISO 16140-4
4 to 7 (quantitative method)/ This document: for non-proprietary This document: for non-proprietary
4 to 9 (qualitative method) methods only quantitative methods only
≥ 8 (quantitative method)/ ISO 16140-2: for the interlaboratory
Not applicable
≥ 10 (qualitative method) study part
In order to reduce the number of required laboratories to a minimum of four, while maintaining the
applicability of the validation to all laboratories, the protocol is based on a factorial experimental design.
In the factorial design, factors such as the technician or culture medium are altered simultaneously,
and the method is used in a range of different factor settings. This approach allows a more detailed
analysis of the precision parameters of the method while, at the same time, requiring a smaller number
of laboratories and tests.
viii © ISO 2020 – All rights reserved

INTERNATIONAL STANDARD ISO 16140-5:2020(E)
Microbiology of the food chain — Method validation —
Part 5:
Protocol for factorial interlaboratory validation for non-
proprietary methods
1 Scope
This document specifies the general principles and the technical protocols (based on orthogonal,
factorial studies) for the validation of non-proprietary methods for microbiology of the food chain.
This document is applicable to the validation of methods used for the analysis (detection or
quantification) of microorganisms in:
— products intended for human consumption;
— products intended for animal feeding;
— environmental samples in the area of food and feed production, handling;
— samples from the primary production stage.
This document is, in particular, applicable to bacteria and fungi. Some clauses can be applicable to other
(micro)organisms or their metabolites, to be determined on a case-by-case basis.
This document specifies protocols for the validation against a reference method for both quantitative
and qualitative methods. This document also provides a protocol for the validation of quantitative
methods without a reference method. Qualitative methods cannot be validated without a reference
method in accordance with this document.
NOTE ISO 16140-2 specifies the general principle and the technical protocol for the validation of alternative,
mostly proprietary, methods against a reference method.
This document is only applicable to the validation of methods that are fully specified with regard to all
relevant parameters (including tolerances on temperatures and specifications on culture media) and
that have already been optimized.
Methods that have been validated in accordance with this document can be used by the laboratories of
the specified population of laboratories.
2 Normative references
The following documents are referred to in the text in such a way that some or all of their content
constitutes requirements of this document. For dated references, only the edition cited applies. For
undated references, the latest edition of the referenced document (including any amendments) applies.
ISO 7218, Microbiology of food and animal feeding stuffs — General requirements and guidance for
microbiological examinations
ISO 16140-1:2016, Microbiology of the food chain — Method validation — Part 1: Vocabulary
ISO 16140-2:2016, Microbiology of the food chain — Method validation — Part 2: Protocol for the validation
of alternative (proprietary) methods against a reference method
3 Terms and definitions
For the purposes of this document, the terms and definitions given in ISO 16140-1 and the following apply.
ISO and IEC maintain terminological databases for use in standardization at the following addresses:
— ISO Online browsing platform: available at https:// www .iso .org/ obp
— IEC Electropedia: available at http:// www .electropedia .org/
3.1
factor
qualitative or quantitative parameter within the method that can be varied at two or more levels within
the limits of the specified method
EXAMPLE Technician.
Note 1 to entry: In this document, only those factors that are in line with the protocol of the method are
considered.
3.2
factor level
value of the factors (3.1) within the experimental design
EXAMPLE Technician “a”, technician “b”, etc.
Note 1 to entry: In this document, each factor is varied at two factor levels: “a” and “b”.
Note 2 to entry: This definition is based on how ISO 3534-3:2013, 3.1.12, defines “factor level”. In ISO 3534-3:2013,
3.1.12, the definition is more general, but the statistical meaning is the same.
3.3
orthogonal design
factorial design, in which for every pair of factors (3.1), each combination of factor levels (3.2) occurs the
same number of times across the possible factor levels
Note 1 to entry: This definition is based on how ISO 3534-3:2013, 3.1.31, defines “orthogonal array”, but for
“orthogonal design”, a more general and more theoretical definition is used.
3.4
reference value
estimated concentration level obtained with the reference method
3.5
reference value
estimated concentration
level obtained from the concentration level of the inoculum
3.6
setting
combination of factor levels (3.2)
EXAMPLE Technician “a” + culture media “b” + temperature “a” + etc.
Note 1 to entry: These conditions can be described by the combination of levels of factors varied within the study.
2 © ISO 2020 – All rights reserved

4 General principles for the factorial interlaboratory validation of non-
proprietary methods
4.1 General
This document uses a protocol based on orthogonal, factorial studies. A high certainty of the determined
method validation parameters is achieved by focusing on suitable factors (e.g. technician, culture media,
sample preparation, temperature, test duration) that can influence the test result. This allows the
number of required laboratories to be reduced to a minimum of four. General concepts and considerations
given in ISO 16140-2 shall apply, unless explicitly excluded. The validation can be conducted against a
reference method or, in the case of a quantitative method, without a reference method.
The outcome of the validation study applies to:
— any laboratory: if the four laboratories can be considered a “random sample” of independent
laboratories from different organizations;
— all laboratories within an organization: if the four laboratories can be considered a “random sample”
of laboratories at different sites from one organization.
4.2 Validation against a reference method
The validation protocol comprises two phases:
— an in-house validation study of the non-proprietary method against the reference method carried
out in the organizing laboratory (see ISO 16140-1:2016, 2.45);
— an interlaboratory study of the non-proprietary method against the reference method carried out
in different laboratories.
The technical protocol for performing the in-house validation study and the interlaboratory study are
given in Clauses 5 and 6, depending upon whether the test method is qualitative or quantitative in nature.
The selected factors for the factorial interlaboratory study should be relevant and applied to both the
reference and the alternative method.
4.3 Validation without a reference method
The validation protocol applies to the validation of quantitative methods only. It comprises two phases:
— an in-house validation study of the non-proprietary method against the reference value carried out
in the organizing laboratory;
— an interlaboratory study of the non-proprietary method against the reference value carried out in
different laboratories.
The technical protocol for performing the in-house validation study and the interlaboratory study for
quantitative methods are given in Clause 6.
5 Qualitative methods — Technical protocol for factorial interlaboratory
validation
5.1 In-house validation study
The in-house validation study is the part of the validation process that is performed in the organizing
laboratory. It can be conducted in accordance with the conventional approach or the factorial approach,
as described in ISO 16140-4.
An in-house validation study can be used to demonstrate the performance of the method for the
laboratory that conducted the study. It is the first step in the framework of general method validation.
The in-house validation study assesses the performance of the method across (food) categories, (food)
types and (food) items, whereas the interlaboratory study assesses the performance of the method
across laboratories.
5.2 Interlaboratory validation study against a reference method
5.2.1 General considerations
The aim of the interlaboratory study is to compare the performance of the reference method to the
alternative method in terms of the RLOD obtained by different laboratories. The results of the same
set of samples, examined under reproducibility conditions, are compared with pre-set criteria for the
acceptable difference between the reference method and the alternative method. Wherever possible,
the study conditions should reflect the normal variation between laboratories.
The interlaboratory study is planned by the organizing laboratory. The organizing laboratory prepares
the samples and a data sheet for the recording of all experimental data and critical experimental
conditions used by each laboratory. Each laboratory shall demonstrate its competence in the use of the
alternative and the reference method in accordance with ISO 7218 prior to participating in the study.
Technicians involved in the preparation of the samples used in the interlaboratory study shall not take
part in the testing of the samples in the interlaboratory study.
5.2.2 Measurement protocol
A minimum of four independent laboratories are required to conduct the test series.
The laboratories shall belong to different organizations or shall be located at different sites.
If all laboratories belong to one organization or network, results of the validation study can only be
used by laboratories belonging to this organization or network.
EXAMPLE 1 Laboratories belonging to one public or private organization.
EXAMPLE 2 Network of federal, state and/or provincial laboratories.
EXAMPLE 3 Network of national reference laboratories coordinated by a European Union reference
laboratory.
If possible, more than four laboratories should participate, so that results from at least eight technicians
are available for analysis even if, for some reason, certain data cannot be used.
The protocol is as follows.
— In cases where different enrichment protocols for the alternative method exist, the most challenging
enrichment protocol shall be selected, e.g. the protocol having the shortest incubation time or the
most selective enrichment conditions. The selected (food) type shall be relevant for the chosen
enrichment protocol. The (food) item, which is used to prepare the test samples, should contain
natural background microbiota.
— The selected (food) item shall be artificially contaminated with the target organism. The protocol
for inoculation of the samples shall be appropriate for the selected (food) item. Samples shall
be prepared by the organizing laboratory to ensure homogeneity between and within samples
using preparation protocols contained in ISO 16140-2:2016, Annex C. In general, liquid samples
(compared to solid samples) give greater assurance of homogeneity. The samples should be shown
to be homogeneous by the organizing laboratory. Homogeneity tests and criteria for acceptance are
described in ISO 22117.
4 © ISO 2020 – All rights reserved

— At least three different levels of contamination shall be used: a blank (L ) and two levels (L and
0 1
L ). Level L should be between the LOD of the reference method (LOD ) and the LOD of the
2 1 50 50,ref 50
alternative method (LOD = RLOD · LOD ). Level L should be 1 log above level L . Level L
50,alt 50,ref 2 10 1 1
shall produce fractional positive results.
— Inocula should be enumerated using a non-selective medium. Enumeration shall be performed as
described in ISO 7218.
— For the selected (food) item, for each setting and for each laboratory, four replicates shall be
conducted at level L One replicate is conducted at the two other levels L and L .
1. 0 2
— According to the factorial, orthogonal design, eight settings shall be conducted by each laboratory
for both test methods (alternative and reference) and for all levels of contamination (L , L and L ).
0 1 2
In total 96 tests (1 + 4 + 1 replicates × 8 settings × 2 methods) are conducted in each laboratory.
— All samples should be blind-coded to ensure that the technicians are not aware of their level of
contamination.
— Settings shall be common to both test methods (paired and unpaired). Paired results are obtained
when the primary enrichment is the same for the alternative and reference method. That is,
one test portion is used to conduct tests according to the alternative and the reference method.
Unpaired results are obtained when the alternative and reference methods use different primary
enrichments. That is, two sets of test portions are required: one test portion is analysed by the
alternative method and another test portion by the reference method.
— The data are reported in two tables, giving the results from the reference method and from the
alternative method before and after confirmation of the results.
— If the results for alternative and reference methods have been obtained from the same initial
enrichment broth (paired data), there is no need to confirm the presumptive results of the
alternative method if the results agree with that obtained with the reference method. However,
confirmation of the positive result is required when the reference method gives a negative
result and the alternative method gives a positive result.
— If the results for alternative and reference methods have been obtained from different
enrichments (unpaired data), then all enrichments obtained with the alternative method shall
be taken forward for confirmation. Confirmation pathways are described in ISO 16140-2:2016,
5.1.3.3.
— The organizing laboratory can indicate that broths, plates and/or isolates shall be retained for a
certain period of time to enable confirmation of results obtained by a laboratory, if needed.
— The analysis of samples shall be performed by each laboratory on the stipulated date.
5.2.3 Selection of the factors to be studied
Decisions on the most suitable factors for the particular study should be based on expert knowledge. For
example, optimal conditions are specified in each method, e.g. incubation temperature and duration at
37° C and 24 h, and these will give the best results. However, ranges around these, due to inaccuracies of
the instrument, but which provide still acceptable conditions (e.g. 37 °C ± 1 °C, 24 h ± 1 h), are permitted
and the study design should test the extremes of these. Acceptable operating conditions for equipment
are described in ISO 7218. Other influences such as stress conditions can also be taken into account.
To estimate the accuracy under routine conditions, relevant method factors that are difficult to control
shall be selected and varied systematically, e.g. technicians, culture media and incubation conditions.
The choice of these factors and factor levels is crucial to the reliability of the test result. For unpaired
study designs, chosen settings biased against the reference method cannot be used.
Five relevant method factors shall be varied simultaneously, each on two levels.
For methods for culturable microorganisms, the factors “technicians” and “culture media” have the
greatest significance and shall be included in all studies as follows.
— Technicians: Tests shall be independently conducted in each of the laboratories by two technicians.
— Culture media: Use culture media from two different manufacturers, if available, or two different
batches of culture media (lots), or pre-prepared versus prepared from dehydrated media. If possible,
each laboratory should use manufacturers/batches that are different from the ones used in the
other laboratories.
Three other factors shall be included in the study. A non-comprehensive list of grouped potential factors
is provided in Annex A. Depending on the method, one factor from each of the most relevant groups
shall be selected.
Factors and factor levels shall reflect the normal variation within routine testing laboratories. Factors
are studied simultaneously using the study design described in 5.2.4.
5.2.4 Experimental design
Each setting is a combination of levels of five method factors. At each setting, each of the laboratories
conducts (1 + 4 + 1) tests at levels L , L and L for both test methods. Eight different settings (1 to 8)
0 1 2
shall be considered. The study design is shown in Table 2, where “a” and “b” represent the levels of the
respective factors.
NOTE This study design (5 factors) is different from the design used in ISO 16140-4 for single-laboratory
validation studies (4 factors).
Table 2 — Study design for qualitative methods to be conducted by each of at least four
laboratories
Factor 2: Factor 3: Factor 4: Factor 5:
Factor 1:
Setting culture e.g. thawing e.g. incubation e.g. background
technician
medium process condition microbiota
1 a a a a
2 a b b b b
3 a a b b
4 b b a a
5 a b a b
6 b b a b a
7 a b b a
8 b a a b
With four laboratories, eight settings, three levels of contamination and two test methods (reference
and alternative) the minimum number of individual tests is 4 × 8 × (1 + 4 + 1) × 2 = 384.
The organizing laboratory shall examine the raw data and other information requested in the data
sheet to ascertain that all laboratories have performed the analyses in accordance with both the
alternative and reference methods as written. When there is evidence that results might be obtained
under inappropriate conditions and/or that the methods have not been strictly followed, these or all
results from the laboratory are excluded for further analysis.
Annex C shows an example of a factorial interlaboratory study for a qualitative method.
5.3 Calculations and summary of data
The results obtained by the individual laboratories in the interlaboratory study are summarized in
Tables 3 and 4.
6 © ISO 2020 – All rights reserved

Table 3 — Fraction of positive results by the reference method
Contamination level
Laboratory
L L L
0 1 2
Laboratory 1 /8 /32 /8
Laboratory 2 /8 /32 /8
Laboratory 3 /8 /32 /8
Etc…. /8 /32 /8
Total
Table 4 — Fraction of positive results (before and after confirmation) by the alternative method
Contamination level
Laboratory L L L
0 1 2
Presumptive Confirmed Presumptive Confirmed Presumptive Confirmed
Laboratory 1 /8 /8 /32 /32 /8 /8
Laboratory 2 /8 /8 /32 /32 /8 /8
Laboratory 3 /8 /8 /32 /32 /8 /8
Etc…. /8 /8 /32 /32 /8 /8
Total
Subsequent calculations, using the data from the fractional recovery level L only, are carried out in
accordance with ISO 16140-2:2016, 5.2.3. These calculations shall be conducted across all factor
settings, 1 to 8, and also separately for each subgroup of factor settings that belongs to one of the five
factors and one of the two factor levels, as shown in Table 5.
Table 5 — Summary of results
a b
Factor levels Settings PA NA ND PD FP N SE SE RT SP SP FPR
(alt) (ref) (alt) (ref)
% % % % % %
All settings 1 to 8
Factor 1 (technician) “a” – see
NOTE 2 1,2,3,4
Factor 1 (technician) “b” – see
NOTE 2 5,6,7,8
Factor 2 (culture medium) “a” 1,3,5,7
Factor 2 (culture medium) “b” 2,4,6,8
Factor 3 (e.g. thawing process) “a” 1,3,6,8
Factor 3 (e.g. thawing process) “b” 2,4,5,7
Factor 4 (e.g. incubation condition)
“a” 1,4,5,8
Factor 4 (e.g. incubation condition)
“b” 2,3,6,7
Factor 5 (e.g. background
microbiota) “a” 1,4,6,7
Factor 5 (e.g. background
microbiota) “b” 2,3,5,8
Key
PA: positive agreement, NA: negative agreement, ND: negative deviation, PD: positive deviation, FP: false positive, N: sum, SE : sen-
(alt)
sitivity alternative method, SE : sensitivity reference method, RT: relative trueness, SP : relative specificity alternative method,
(ref) (alt)
SP : relative specificity reference method, FPR: false positive ratio
(ref)
a
N = NA + PA + PD + ND.
b
FPR = FP/NA × 100 %.
NOTE 1  Definitions and the derivation of the parameters can be found in ISO 16140-2:2016, 5.2.3.
NOTE 2  In most cases, factor levels for the factor “technician” are different from one laboratory to the next (except cases where tech-
nician “a” and “b” represent specific training levels). Then the sensitivity analysis cannot be meaningfully interpreted for this factor,
and the corresponding rows should be left empty. This holds also for any other factor when sensitivity analysis for its factor levels
cannot be meaningfully interpreted.
5.4 Interpretation of data
5.4.1 Paired study
For a paired study, calculate the difference, (ND – PD), and the sum, (ND + PD), for the fractional recovery
level L . The values found for (ND – PD) and (ND + PD) shall not be higher than the acceptability limits
(ALs) given in Table 6 with respect to the number of participating laboratories (N ).
lab
Table 6 — Acceptability limits (ALs) for a paired study design in relation to the number
of participating laboratories
Acceptability limits (ALs)
N
lab
(ND – PD) ND + PD
4 3 4
5 4 5
6 4 6
7 5 7
8 5 8
9 6 9
8 © ISO 2020 – All rights reserved

The AL is not met when the observed value is higher than the AL. When the AL is not met, investigations
should be conducted (e.g. root cause analysis) in order to provide an explanation for the observed
results. The decision on whether the alternative method is regarded as fit for purpose is based on the
AL and the findings of the investigations. The reasons for acceptance of the alternative method when
the AL is not met shall be stated in the validation study report.
5.4.2 Unpaired study
For an unpaired study, calculate the difference, (ND – PD), for the fractional recovery level L . The
observed value shall not be higher than the AL. Calculate AL as shown by Formula (1):
AL=46Np + pp−2 × p (1)
()() () ()() ()
lab ++ ++
refalt refalt
where
N is the number of laboratories;
lab
(p ) is the number of samples with a positive result obtained with the reference method at level
+ ref
L for all laboratories divided by the number of samples tested at level L ;
1 1
(p ) is the number of samples with a confirmed positive result obtained with the alternative
+ alt
method at level L for all laboratories divided by the number of samples tested at level L .
1 1
The AL is not met when the observed value is higher than the AL. When the AL is not met, investigations
should be conducted (e.g. root cause analysis) in order to provide an explanation for the observed
results. The decision on whether the alternative method is regarded as fit for purpose is based on the
AL and the findings of the investigations. The reasons for acceptance of the alternative method when
the AL is not met shall be stated in the validation study report.
5.4.3 Analysis of factorial effects with respect to RLOD
In addition, effects of the individual factors (e.g. technician) and of the interactions between factors
(e.g. culture medium and incubation conditions) can be calculated from the factorial design based on
the RLOD values calculated for each laboratory.
1)
NOTE An Excel®-based program is available for performing the RLOD calculations in an interlaboratory
study from https:// standards .iso .org/ iso/ 16140/ -5/ ed -1/ en.
The following notation is used: k refers to the laboratory and p is the number of laboratories (1 ≤ k ≤ p).
For a specific factor of interest, calculate the RLOD using all test results of the four settings of the
()a
laboratory k in which the factor is set to level “a”, and denote the log value Y =log ()RLOD()level a
k 10
. Calculate the RLOD using all test results of the four settings of the laboratory k in which the factor is
()a
set to level “b” and denote the log value Y =log ()RLOD()level b .
k 10
Calculate the average of the difference of these log RLOD values across all laboratories, as shown by
Formula (2):
p
()b ()a
d=−YY (2)
()

k k
p
k=1
If this difference (d) is smaller than −0,3 or larger than +0,3, the factor is considered to have a substantial
influence on the RLOD and shall be reported in the validation study report. Further analysis techniques
can be found in Reference [9].
1) Excel® is the trade name of a product supplied by Microsoft and is an example of a suitable product available
commercially. This information is given for the convenience of users of this document and does not constitute an
endorsement by ISO of this product.
6 Quantitative methods — Technical protocol for factorial interlaboratory
validation
6.1 In-house validation study
The in-house validation study is the part of the validation process that is performed in the organizing
laboratory. It can be conducted according to the conventional approach or the factorial approach
described in ISO 16140-4.
An in-house validation study can be used to demonstrate the performance of the method for the
laboratory that conducted the study. It is the first step in the framework of general method validation.
The in-house validation study assesses the performance of the method acr
...


PROJET DE NORME INTERNATIONALE
ISO/DIS 16140-5
ISO/TC 34/SC 9 Secrétariat: AFNOR
Début de vote: Vote clos le:
2017-12-15 2018-03-10
Microbiologie de la chaîne alimentaire — Validation des
méthodes —
Partie 5:
Protocole pour la validation interlaboratoires de méthodes
non propriétaires par plan factoriel
Microbiology of the food chain — Method validation —
Part 5: Protocol for factorial interlaboratory validation of non-proprietary methods
ICS: 07.100.30
CE DOCUMENT EST UN PROJET DIFFUSÉ POUR
OBSERVATIONS ET APPROBATION. IL EST DONC
SUSCEPTIBLE DE MODIFICATION ET NE PEUT
Le présent document est distribué tel qu’il est parvenu du secrétariat du comité.
ÊTRE CITÉ COMME NORME INTERNATIONALE
AVANT SA PUBLICATION EN TANT QUE TELLE.
OUTRE LE FAIT D’ÊTRE EXAMINÉS POUR
ÉTABLIR S’ILS SONT ACCEPTABLES À DES
FINS INDUSTRIELLES, TECHNOLOGIQUES ET
COMMERCIALES, AINSI QUE DU POINT DE VUE TRAITEMENT PARALLÈLE ISO/CEN
DES UTILISATEURS, LES PROJETS DE NORMES
INTERNATIONALES DOIVENT PARFOIS ÊTRE
CONSIDÉRÉS DU POINT DE VUE DE LEUR
POSSIBILITÉ DE DEVENIR DES NORMES
POUVANT SERVIR DE RÉFÉRENCE DANS LA
RÉGLEMENTATION NATIONALE.
Numéro de référence
LES DESTINATAIRES DU PRÉSENT PROJET
ISO/DIS 16140-5:2017(F)
SONT INVITÉS À PRÉSENTER, AVEC LEURS
OBSERVATIONS, NOTIFICATION DES DROITS
DE PROPRIÉTÉ DONT ILS AURAIENT
ÉVENTUELLEMENT CONNAISSANCE ET À
©
FOURNIR UNE DOCUMENTATION EXPLICATIVE. ISO 2017

ISO/DIS 16140-5:2017(F) ISO/DIS 16140-5:2017(F)

Sommaire Page
Avant-propos . iv
Introduction . v
1 Domaine d’application . 1
2 Références normatives . 1
3 Termes et définitions . 2
4 Principes généraux pour la validation interlaboratoires de méthodes non
commerciales par plan factoriel . 3
4.1 Généralités . 3
4.2 Validation par rapport à une méthode de référence . 3
4.3 Validation sans la méthode de référence . 3
5 Méthodes qualitatives - Protocole technique de validation interlaboratoires par plan
factoriel . 4
5.1 Étude de validation interne . 4
5.2 Étude interlaboratoires . 4
5.2.1 Considérations générales . 4
5.2.2 Protocole de mesure . 4
5.2.3 Plan d’expérimentation . 7
5.3 Calculs et résumé des données . 7
5.4 Interprétation des données . 9
5.4.1 Étude de méthodes appariées . 9
5.4.2 Étude de méthodes non appariées . 10
5.4.3 Analyse des effets factoriels . 10
6 Méthodes quantitatives - Protocole technique de validation interlaboratoires par
plan factoriel . 11
6.1 Étude de validation interne . 11
6.2 Étude interlaboratoires . 11
6.2.1 Considérations générales . 11
6.2.2 Protocole de mesure . 11
6.2.3 Plan d’expérimentation . 13
6.3 Calculs et résumé des données . 13
6.4 Étude de fidélité sans valeur de référence . 16
Annexe A (normative) Liste des facteurs relatifs au plan d’étude factoriel . 17
Annexe B (informative) Exemple d’étude interlaboratoires factorielle applicable à une
méthode quantitative . 19
B.1 Plan d’étude . 19
DOCUMENT PROTÉGÉ PAR COPYRIGHT
B.2 Calculs et résumé des données . 22
B.2.1 Résumé des résultats des laboratoires 1 à 5 de l’étude interlaboratoires . 22
© ISO 2017
B.2.2 Données de fidélité . 23
Tous droits réservés. Sauf prescription différente ou nécessité dans le contexte de sa mise en oeuvre, aucune partie de cette
B.2.3 Profil d’exactitude . 25
publication ne peut être reproduite ni utilisée sous quelque forme que ce soit et par aucun procédé, électronique ou mécanique,
y compris la photocopie, ou la diffusion sur l’internet ou sur un intranet, sans autorisation écrite préalable. Une autorisation peut
Annexe C (informative) Exemple d’étude interlaboratoires factorielle applicable à une
être demandée à l’ISO à l’adresse ci-après ou au comité membre de l’ISO dans le pays du demandeur.
méthode qualitative . 30
ISO copyright office
CP 401 • Ch. de Blandonnet 8
Bibliographie . 38
CH-1214 Vernier, Geneva, Switzerland

Tel. +41 22 749 01 11
Fax +41 22 749 09 47
copyright@iso.org
www.iso.org
Publié en Suisse
© ISO 2017 – Tous droits réservés
iii
ii © ISO 2017 – Tous droits réservés

ISO/DIS 16140-5:2017(F)
Sommaire Page
Avant-propos . iv
Introduction . v
1 Domaine d’application . 1
2 Références normatives . 1
3 Termes et définitions . 2
4 Principes généraux pour la validation interlaboratoires de méthodes non
commerciales par plan factoriel . 3
4.1 Généralités . 3
4.2 Validation par rapport à une méthode de référence . 3
4.3 Validation sans la méthode de référence . 3
5 Méthodes qualitatives - Protocole technique de validation interlaboratoires par plan
factoriel . 4
5.1 Étude de validation interne . 4
5.2 Étude interlaboratoires . 4
5.2.1 Considérations générales . 4
5.2.2 Protocole de mesure . 4
5.2.3 Plan d’expérimentation . 7
5.3 Calculs et résumé des données . 7
5.4 Interprétation des données . 9
5.4.1 Étude de méthodes appariées . 9
5.4.2 Étude de méthodes non appariées . 10
5.4.3 Analyse des effets factoriels . 10
6 Méthodes quantitatives - Protocole technique de validation interlaboratoires par
plan factoriel . 11
6.1 Étude de validation interne . 11
6.2 Étude interlaboratoires . 11
6.2.1 Considérations générales . 11
6.2.2 Protocole de mesure . 11
6.2.3 Plan d’expérimentation . 13
6.3 Calculs et résumé des données . 13
6.4 Étude de fidélité sans valeur de référence . 16
Annexe A (normative) Liste des facteurs relatifs au plan d’étude factoriel . 17
Annexe B (informative) Exemple d’étude interlaboratoires factorielle applicable à une
méthode quantitative . 19
B.1 Plan d’étude . 19
B.2 Calculs et résumé des données . 22
B.2.1 Résumé des résultats des laboratoires 1 à 5 de l’étude interlaboratoires . 22
B.2.2 Données de fidélité . 23
B.2.3 Profil d’exactitude . 25
Annexe C (informative) Exemple d’étude interlaboratoires factorielle applicable à une
méthode qualitative . 30
Bibliographie . 38

© ISO 2017 – Tous droits réservés
iii
ISO/DIS 16140-5:2017(F)
Avant-propos
L’ISO (Organisation internationale de normalisation) est une fédération mondiale d’organismes
nationaux de normalisation (comités membres de l’ISO). L’élaboration des Normes internationales est
en général confiée aux comités techniques de l'ISO. Chaque comité membre intéressé par une étude a le
droit de faire partie du comité technique créé à cet effet. Les organisations internationales,
gouvernementales et non gouvernementales, en liaison avec l'ISO participent également aux travaux.
L'ISO collabore étroitement avec la Commission électrotechnique internationale (IEC) en ce qui
concerne la normalisation électrotechnique.
Les procédures utilisées pour élaborer le présent document et celles destinées à sa mise à jour sont
décrites dans les Directives ISO/IEC, Partie 1. Il convient, en particulier de prendre note des différents
critères d’approbation requis pour les différents types de documents ISO. Le présent document a été
rédigé conformément aux règles de rédaction données dans les Directives ISO/IEC, Partie 2 (voir
www.iso.org/directives).
L’attention est appelée sur le fait que certains des éléments du présent document peuvent faire l’objet
de droits de propriété intellectuelle ou de droits analogues. L’ISO ne saurait être tenue pour
responsable de ne pas avoir identifié de tels droits de propriété et averti de leur existence. Les détails
concernant les références aux droits de propriété intellectuelle ou autres droits analogues identifiés
lors de l’élaboration du document sont indiqués dans l’Introduction et/ou dans la liste des déclarations
de brevets reçues par l’ISO (voir www.iso.org/brevets).
Les appellations commerciales éventuellement mentionnées dans le présent document sont données
pour information, par souci de commodité, à l’intention des utilisateurs et ne sauraient constituer un
engagement.
Pour une explication de la signification des termes et expressions spécifiques de l’ISO liés à l’évaluation
de la conformité, ou pour toute autre information au sujet de l’adhésion de l’ISO aux principes de
l’Organisation mondiale du commerce (OMC) concernant les obstacles techniques au commerce (OTC),
voir le lien suivant : www.iso.org/iso/foreword.html.
Le présent document a été élaboré par le comité technique ISO/TC 34, Produits alimentaires,
sous‐comité SC 9, Microbiologie (Groupe de travail GT 3, Validation des méthodes).
Une liste de toutes les parties de la série ISO 16140 est disponible sur le site Internet de l’ISO.
© ISO 2017 – Tous droits réservés
iv
ISO/DIS 16140-5:2017(F)
Introduction
La série ISO 16140 a été élaborée en réponse à la nécessité de disposer de différentes techniques de
validation ou de vérification des méthodes d’essai. Elle succède à l’ISO 16140:2003, Microbiologie des
aliments — Protocole pour la validation des méthodes alternatives. La série ISO 16140 comprend
plusieurs parties ayant le titre général Microbiologie de la chaîne alimentaire — Validation des
méthodes :
 Partie 1 : Vocabulaire
 Partie 2 : Protocole pour la validation de méthodes alternatives (commerciales) par rapport à une
méthode de référence
 Partie 3 : Protocole pour la vérification des méthodes de référence et des méthodes alternatives
validées appliquées dans un laboratoire
 Partie 4 : Protocole pour la validation de méthodes internes dans un laboratoire
 Partie 5 : Protocole pour la validation interlaboratoires de méthodes non commerciales par plan
factoriel
 Partie 6 : Protocole pour la validation de méthodes alternatives (commerciales) pour la confirmation
microbiologique et le typage
L’ISO 17468, Microbiologie de la chaîne alimentaire — Exigences et recommandations techniques pour le
[2]
développement ou la révision d’une méthode de référence normalisée , est une Norme internationale
étroitement liée. La présente Norme internationale, qui établit les règles techniques pour le
développement et la validation de méthodes normalisées, est destinée au développement de méthodes
normalisées par l’ISO/TC 34, Produits alimentaires, sous‐comité SC 9, Microbiologie et le
CEN/TC 275/GT 6, Microbiologie de la chaîne alimentaire.
En général, deux étapes sont nécessaires avant de pouvoir utiliser une méthode en laboratoire.
 La première étape est la validation de la méthode. Celle‐ci est effectuée dans plusieurs laboratoires
(parties 2 et 5 de l’ISO 16140) ou dans un laboratoire (partie 4 de l’ISO 16140).
 La deuxième étape est la vérification des méthodes, au cours de laquelle un laboratoire prouve qu’il
peut effectuer une méthode validée de manière satisfaisante. Celle‐ci est décrite dans la partie 3
de l’ISO 16140 (vérification des méthodes). Dans la partie 3, une distinction est faite entre la
vérification des éléments (d’aliments) inclus dans l’étude de validation et les produits
(alimentaires) qui ne sont pas soumis à essai dans l’étude de validation mais qui font partie du
domaine d’application de la validation.
NOTE 1 Les méthodes de référence normalisées (avec et sans données de validation publiées) doivent
seulement être vérifiées avant d’être appliquées en laboratoire.
NOTE 2 Dans la présente partie de l’ISO 16140, les termes « catégorie », « type » et « élément » sont parfois
associés au terme « aliment » pour mieux comprendre le présent document. Cependant, le terme « aliment » peut
être remplacé par « aliment pour animaux » et par les autres secteurs de la chaîne alimentaire tels que
mentionnés dans le domaine d’application de l’ISO 16140‐5.
© ISO 2017 – Tous droits réservés
v
ISO/DIS 16140-5:2017(F)
La partie 4 de l’ISO 16140 traite de la validation dans un seul laboratoire. Par conséquent, les résultats
sont uniquement valides dans le laboratoire effectuant l’étude. Dans ce cas, aucune vérification (partie 3
de l’ISO 16140) n’est requise.
La partie 5 de l’ISO 16140 décrit les protocoles applicables aux situations dans lesquelles une validation
plus rapide est nécessaire ou dans lesquelles la méthode à valider est hautement spécialisée, et le
nombre de laboratoires participants requis par l’ISO 16140‐2 ne peut pas être atteint.
Le logigramme de la Figure 1 donne un aperçu des relations entre les différentes parties
susmentionnées. Il aide également les utilisateurs à choisir la partie appropriée de la série ISO 16140,
en tenant compte de l’objectif de l’étude et des remarques énoncées ci‐dessus. Pour cela, il est
important de faire la distinction entre la « méthode de référence » et la « méthode de référence
normalisée ». Une méthode de référence est une méthode reconnue internationalement et largement
acceptée (terme 2.59 de l’ISO 16140‐1:2016) et une méthode de référence normalisée est une méthode
de référence décrite dans une norme (terme 3.5 de l’ISO 17468:2016). Dans la série ISO 16140, la
méthode de référence inclut la méthode de référence normalisée. Le logigramme admet que les données
de validation publiées peuvent ne pas être disponibles pour certaines méthodes de référence
normalisées.
© ISO 2017 – Tous droits réservés
vi
ISO/DIS 16140-5:2017(F)
Figure 1 — Logigramme relatif à l’application de différentes parties de la série ISO 16140
La partie 6 de l’ISO 16140 est quelque peu différente des autres parties de la série ISO 16140 car elle
concerne une situation très spécifique dans laquelle le mode opératoire de confirmation d’une méthode
est validé. Le mode opératoire de confirmation modifie un résultat suspecté (présomptif) en un résultat
positif confirmé. Le typage de souches pures (par exemple, sérotypage de Salmonella) est inclus dans la
partie 6 de l’ISO 16140.
Une étude interlaboratoires, conformément à l’ISO 16140‐2 (méthodes commerciales), requiert au
moins 8 laboratoires pour les méthodes quantitatives et 10 laboratoires pour les méthodes qualitatives.
L’ISO 16140‐5 est destinée à être utilisée lors d’études interlaboratoires comprenant 4 à 7 laboratoires
pour les méthodes quantitatives et 4 à 9 laboratoires pour les méthodes qualitatives. L’ISO 16140‐5 ne
peut être utilisée que pour des méthodes non commerciales. Le Tableau 1 donne un aperçu des
différents protocoles.
© ISO 2017 – Tous droits réservés
vii
ISO/DIS 16140-5:2017(F)
Tableau 1 — Aperçu des différents protocoles de validation décrits dans l’ISO 16140
Nombre de laboratoires Avec la méthode de référence Sans la méthode de référence
Partie 4 de l’ISO 16140 : factorielle ou Partie 4 de l’ISO 16140 : factorielle ou
conventionnelle conventionnelle
4 à 7 (méthode quantitative)/ Partie 5 de l’ISO 16140 : pour les méthodes Partie 5 de l’ISO 16140 : pour les méthodes
4 à 9 (méthode qualitative) non commerciales uniquement non commerciales uniquement
≥ 8 (méthode quantitative)/ Partie 2 de l’ISO 16140 (pour la partie de
Non disponible
≥ 10 (méthode qualitative) l’étude interlaboratoires)
La présente partie de l’ISO 16140 fournit un protocole applicable au cas particulier dans lequel le
nombre de laboratoires (8 pour les méthodes quantitatives et 10 pour les méthodes qualitatives) requis
lors d’une validation interlaboratoires d’une méthode selon l’ISO 16140‐2 ne peut pas être atteint. Le
protocole comprend une validation des méthodes fondée sur seulement 4 laboratoires. Il s’applique, par
exemple, dans les cas où il est urgent de disposer d’une méthode validée mais où l’application des
protocoles de l’ISO 16140‐2 prend trop de temps. La présente partie de l’ISO 16140 concerne également
le problème de validation des méthodes hautement spécialisées, pour lesquelles seuls quelques
laboratoires peuvent être disponibles pour une étude de validation.
Pour réduire le nombre de laboratoires requis à 4 tout en conservant la possibilité de généraliser la
validation à tous les laboratoires, le protocole repose sur un plan d’expérimentation factoriel. Dans le
plan factoriel, plusieurs facteurs tels que le technicien ou le milieu de culture sont simultanément
modifiés et la méthode est utilisée dans une gamme de configurations de facteurs différentes. Cette
approche permet d’analyser plus en détails les paramètres de fidélité de la méthode tout en ayant
recours à un nombre moins élevé de laboratoires et d’essais.

© ISO 2017 – Tous droits réservés
viii
PROJET DE NORME INTERNATIONALE ISO/DIS 16140-5:2017(F)

Microbiologie de la chaîne alimentaire — Validation des
méthodes — Partie 5: Protocole pour la validation
interlaboratoires de méthodes non commerciales par plan
factoriel
1 Domaine d’application
La présente partie de l’ISO 16140 décrit le principe général ainsi que le protocole technique (fondé sur
des études factorielles orthogonales) de validation de méthodes non commerciales, dans le domaine de
la microbiologie de la chaîne alimentaire.
La présente partie de l’ISO 16140 est applicable à la validation de méthodes non commerciales utilisées
pendant l’analyse (détection ou quantification) de micro‐organismes présents dans :
 les produits destinés à la consommation humaine,
 les produits destinés à l’alimentation animale,
 les échantillons environnementaux dans le domaine de la production et de la manutention de
produits alimentaires, et
 les échantillons au stade de la production primaire.
La présente partie de l’ISO 16140 est notamment applicable aux bactéries et aux champignons. Certains
articles peuvent être applicables à d’autres (micro)organismes ou à leurs métabolites, qui doivent être
déterminés au cas par cas.
La présente partie de l’ISO 16140 s’applique uniquement à la validation de méthodes qui sont
intégralement spécifiées par rapport à tous les paramètres pertinents (notamment les tolérances sur les
températures et les spécifications sur les milieux de culture) et qui ont déjà été optimisées.
2 Références normatives
Les documents suivants sont référencés dans le texte de telle sorte qu’une partie ou la totalité de leur
contenu constitue les exigences du présent document. Pour les références datées, seule l'édition citée
s'applique. Pour les références non datées, la dernière édition du document de référence s'applique (y
compris les éventuels amendements).
ISO 7218, Microbiologie des aliments — Exigences générales et recommandations pour les examens
microbiologiques
ISO 16140‐1:2016, Microbiologie de la chaîne alimentaire — Validation des méthodes —
Partie 1 : Vocabulaire
© ISO 2017 – Tous droits réservés
ISO/DIS 16140-5:2017(F)
ISO 16140‐2:2016, Microbiologie de la chaîne alimentaire — Validation des méthodes —
Partie 2 : Protocole pour la validation de méthodes alternatives (commerciales) par rapport à une
méthode de référence
3 Termes et définitions
Pour les besoins du présent document, les termes et définitions donnés dans l'ISO 16140‐1 ainsi que les
suivants s’appliquent. L’ISO et l’IEC tiennent à jour des bases de données terminologiques destinées à
être utilisées en normalisation, consultables aux adresses suivantes :
— IEC Electropedia : disponible à l’adresse http://www.electropedia.org/
— ISO Online Browsing Platform (OBP) : disponible à l’adresse http://www.iso.org/obp
3.1
bloc
groupe de configurations qui doivent être effectuées en parallèle ou dans un court laps de temps, et qui
sont utilisées pour les mêmes échantillons
EXEMPLE Bloc = configurations effectuées en parallèle =
Technicien ‘a’ + milieu de culture ‘b’ + température ‘a’ + incubateur ‘a’
ET
Technicien ‘b’ + milieu de culture ‘a’ + température ‘b’ + incubateur ‘b’
3.2
facteur
paramètre qualitatif ou quantitatif de la méthode, qui peut être modifié à deux niveaux ou plus, dans les
limites de la méthode spécifiée
EXEMPLE Technicien.
Note 1 à l’article Dans la présente partie de l’ISO 16140, seuls les facteurs conformes aux exigences de la
méthode sont pris en compte.
3.3
niveau de facteur
valeur des facteurs du plan d’expérimentation
EXEMPLE Technicien ‘a’, technicien ‘b’, etc.
Note 1 à l’article Dans la présente partie de l’ISO 16140, chaque facteur est modifié à deux niveaux de facteur, ‘a’
et ‘b’.
3.4
configuration
combinaison de niveaux de facteurs
EXEMPLE Technicien ‘a’ + milieu de culture ‘b’ + température ‘a’ + etc.
Note 1 à l’article Ces conditions peuvent être décrites par la combinaison des niveaux de facteurs modifiés lors
de l’étude.
© ISO 2017 – Tous droits réservés
ISO/DIS 16140-5:2017(F)
4 Principes généraux pour la validation interlaboratoires de méthodes non
commerciales par plan factoriel
4.1 Généralités
La présente partie de l’ISO 16140 utilise un protocole reposant sur des études orthogonales factorielles.
Une haute certitude des paramètres déterminés de validation des méthodes est obtenue, en ciblant des
facteurs appropriés (par exemple, technicien, milieu de culture, préparation des échantillons,
température, durée) susceptibles d’influencer le résultat d’essai. Ceci permet de réduire le nombre de
laboratoires requis à au moins 4. Les concepts et considérations d’ordre général donnés dans
l’ISO 16140‐2 doivent être utilisés, sauf s’ils sont explicitement exclus. La validation peut être effectuée
par rapport à une méthode de référence ou en utilisant des matériaux de référence appropriés.
Ce protocole de validation peut être utilisé de différentes manières :
 Pour tous les laboratoires : si 4 laboratoires peuvent être considérés comme un ‘échantillon
aléatoire’ de laboratoires indépendants provenant de différents organismes, alors la méthode
d’essai peut être considérée comme étant validée pour tout laboratoire dans le sens où des mesures
exactes et précises doivent être attendues de la part de n’importe quel laboratoire.
 Pour les laboratoires d’un organisme : si 4 laboratoires peuvent être considérés comme un
‘échantillon aléatoire’ de laboratoires indépendants provenant d’un organisme, la méthode d’essai
peut être considérée comme étant validée pour cet organisme dans le sens où des mesures exactes
et précises doivent être attendues de la part de n’importe quel laboratoire de l’organisme.
4.2 Validation par rapport à une méthode de référence
Le protocole de validation comprend deux étapes :
 une étude de validation interne de la méthode non commerciale par rapport à la méthode de
référence effectuée dans le laboratoire organisateur ;
 une étude interlaboratoires de la méthode non commerciale par rapport à la méthode de référence
effectuée dans différents laboratoires.
Le protocole technique de réalisation de l’étude de validation interne et de l’étude interlaboratoires est
donné dans les Articles 5 et 6, en fonction de la nature qualitative ou quantitative de la méthode d’essai.
Il convient que les facteurs choisis pour l’étude interlaboratoires factorielle soient adaptés à la méthode
de référence et à la méthode alternative.
4.3 Validation sans la méthode de référence
Le protocole de validation comprend deux étapes :
 une étude de validation interne de la méthode non commerciale par rapport à la valeur de
référence, effectuée dans le laboratoire organisateur ;
 une étude interlaboratoires de la méthode non commerciale par rapport à la valeur de référence,
effectuée dans différents laboratoires.
Le protocole technique de réalisation de l’étude de validation interne et de l’étude interlaboratoires
pour les méthodes d’essai quantitatives est donné dans l’Article 6.
© ISO 2017 – Tous droits réservés
ISO/DIS 16140-5:2017(F)
Les méthodes d’essai qualitatives ne peuvent pas être validées en l’absence d’une méthode de référence
selon la présente partie de l’ISO 16140.
5 Méthodes qualitatives - Protocole technique de validation interlaboratoires
par plan factoriel
5.1 Étude de validation interne
L’étude de validation interne est la partie du processus de validation qui est effectuée dans le
laboratoire organisateur. Elle peut être réalisée conformément à l’approche conventionnelle ou à
l’approche factorielle, comme décrit dans la partie 4 de l’ISO 16140.
Une étude de validation interne peut être utilisée afin de démontrer la performance de la méthode pour
le laboratoire ayant effectué l’étude. Elle constitue la première étape de la validation générale de
méthodes générales et sert à évaluer la performance de la méthode dans un grand nombre de types
(d’aliments) et d’échantillons, alors que dans l’étude interlaboratoires, la performance de la méthode
est évaluée dans un plus grand nombre de laboratoires.
5.2 Étude interlaboratoires
5.2.1 Considérations générales
L'objectif de l’étude interlaboratoires est de comparer la performance de la méthode de référence avec
celle de la méthode alternative en termes de RLOD obtenu par différents laboratoires, en utilisant le
même ensemble d’échantillons examinés dans des conditions de reproductibilité, et de comparer ces
résultats avec des critères préétablis pour la différence acceptable entre la méthode de référence et la
méthode alternative. L'étude interlaboratoires est planifiée par le laboratoire organisateur.
Le laboratoire organisateur prépare les échantillons et une fiche de données pour consigner toutes les
données expérimentales et les conditions expérimentales déterminantes utilisées par chaque
laboratoire. Il est nécessaire que chaque laboratoire démontre ses compétences en matière d’utilisation
de la méthode alternative et de la méthode de référence conformément à l’ISO 7218 avant de participer
à l'étude.
Les techniciens, impliqués dans la préparation des échantillons utilisés dans l'étude interlaboratoires,
ne doivent pas prendre part aux essais des échantillons de l'étude interlaboratoires.
5.2.2 Protocole de mesure
Quatre laboratoires indépendants ou plus sont requis pour effectuer la série de mesurages. Ces
laboratoires doivent être représentatifs de la population de laboratoires et doivent appartenir à
au moins 3, de préférence 4, organismes différents, à l’exclusion du laboratoire organisateur.
NOTE 1 Les laboratoires situés à des emplacements différents, mais appartenant à une même société ou à un
même institut, sont reconnus comme étant des organismes différents.
NOTE 2 Si les 4 laboratoires sont indépendants et représentatifs de la population de laboratoires au sein d’un
même organisme, le résultat de l’étude de validation s’applique uniquement aux laboratoires de cet organisme.
Si possible, il convient que plus de 4 laboratoires participent, afin qu’il reste les résultats
d’au moins 8 techniciens, même si, pour une quelconque raison, certaines données ne pouvaient pas
être utilisées.
© ISO 2017 – Tous droits réservés
ISO/DIS 16140-5:2017(F)
Le protocole est le suivant :
 dans le cas où plusieurs protocoles d’enrichissement existent pour la méthode alternative, le
protocole d'enrichissement le plus « challenging » doit être sélectionné, par exemple le protocole
présentant la plus courte durée d'incubation ou les conditions d'enrichissement les plus sélectives.
L’élément (d’aliment) sélectionné doit être adapté au protocole d'enrichissement choisi. Il convient
que ce type (d’aliment) adapté, qui est utilisé pour préparer les échantillons pour essai, contienne
une microflore annexe naturelle.
 L’élément (d’aliment) sélectionné doit être ensemencé avec l'organisme cible. Le protocole
d'ensemencement des échantillons doit être adapté à l’aliment sélectionné. Les échantillons doivent
être préparés par le laboratoire organisateur pour garantir l’homogénéité entre et au sein des
échantillons en utilisant les protocoles de préparation présentés dans les Annexes B et C
de l’ISO 16140‐2:2016.
 Au moins trois niveaux de contamination différents doivent être utilisés : un témoin négatif (L) et
deux niveaux (L et L). Il convient que le niveau L soit compris entre le LOD de la méthode de
1 2 1 50
référence (LOD ) et le LOD de la méthode alternative (LOD = RLOD · LOD ). Il convient que
50,ref 50 50,alt 50,ref
le niveau L soit 1 niveau log au‐dessus de L.
2 10 1
 Pour l’élément (d’aliment) sélectionné, pour chaque configuration et pour chaque laboratoire,
4 réplicats doivent être effectués au niveau L.Un seul essai est réalisé aux deux autres niveaux L
1 0
et L.
 Selon le plan orthogonal factoriel, 8 configurations doivent être effectuées par chaque laboratoire
pour les deux méthodes d’essai et pour tous les niveaux de contamination (L, L et L). Au total, 96
0 1 2
résultats (1  4  1 essais × 8 configurations × 2 méthodes) sont obtenus dans chaque laboratoire.
 Il convient que tous les échantillons soient codés de manière à travailler en aveugle pour garantir
que les analystes ne pourront pas déduire leur niveau de contamination.
 Pour les essais qui donnent des résultats appariés (un résultat apparié survient lorsque
l'enrichissement primaire de la méthode alternative est identique à celui de la méthode de
référence), une prise d’essai est requise pour obtenir un résultat pour la méthode alternative et
pour la méthode de référence. Pour les essais qui donnent des résultats non appariés (un résultat
non apparié survient lorsque la méthode alternative et la méthode de référence débutent par des
enrichissements primaires différents), deux ensembles de prises d’essai sont requis. Une prise
d'essai est analysée par la méthode alternative et l'autre prise d'essai est analysée par la méthode
de référence.
 Les données sont reportées dans deux tableaux donnant les résultats émanant de la méthode de
référence et de la méthode alternative avant et après confirmation des résultats. Si les résultats de
la méthode alternative et de la méthode de référence ont été obtenus à partir du même bouillon
d’enrichissement de départ (données appariées), il est nécessaire de confirmer les résultats de la
méthode alternative si les résultats correspondent à ceux obtenus avec la méthode de référence.
Dans le cas où la méthode de référence donne un résultat négatif et la méthode alternative donne
un résultat positif, alors une confirmation du résultat positif est requise. Si les résultats de la
méthode alternative et de la méthode de référence ont été obtenus à partir d'enrichissements
différents (données non appariées), alors tous les enrichissements obtenus avec la méthode
alternative doivent être soumis à confirmation. Les méthodes de confirmation sont décrites dans le
paragraphe 5.1.3.3 de l’ISO 16140‐2:2016.
© ISO 2017 – Tous droits réservés
ISO/DIS 16140-5:2017(F)
 Le laboratoire organisateur peut indiquer que les bouillons, les boîtes et/ou isolats doivent être
conservés pendant un certain laps de temps afin d’être en mesure de confirmer les résultats
obtenus par un laboratoire, si nécessaire.
 L'analyse des échantillons doit être effectuée par chaque laboratoire à la date stipulée.
Pour prévoir l’exactitude et la fidélité dans le laboratoire dans des conditions de routine, les facteurs de
la méthode pertinents, qui sont difficiles à contrôler, doivent être choisis et modifiés systématiquement,
par exemple le personnel, les milieux et les conditions d’incubation. Du choix de ces facteurs et des
niveaux de facteurs dépend la fiabilité du résultat d’essai. Quatre facteurs de la méthode pertinents
doivent être modifiés simultanément, chacun sur 2 niveaux.
Pour les méthodes applicables aux micro‐organismes cultivables, les facteurs ‘techniciens’ et ‘milieux de
culture’ ont la plus grande importance et doivent être inclus dans toutes les études.
 Techniciens : les essais doivent être effectués dans le laboratoire par 2 techniciens de façon
indépendante.
 Milieux de culture : utiliser des milieux de 2 fabricants différents, si possible, ou des milieux
préalablement préparés contre des milieux préparés à partir de milieux déshydratés, sinon,
utiliser 2 lots différents ; si possible, il convient que chaque laboratoire utilise des fabricants/lots
différents de ceux utilisés dans les autres laboratoires.
Trois facteurs supplémentaires doivent être choisis pour être utilisés dans l’étude. Il convient de
prendre l’avis d’experts avant de choisir les facteurs supplémentaires appropriés à l’étude en
particulier. La liste suivante donne des exemples pour choisir des facteurs et niveaux de facteurs
supplémentaires :
 préparation des échantillons, le cas échéant (par exemple, décongélation d’échantillons congelés à
température ambiante = ‘a’ ou à 4 °C = ‘b’) ;
 différents incubateurs (utiliser deux incubateurs différents ; si un seul incubateur est disponible,
faire varier les conditions d’incubation à deux niveaux, par exemple ‘a’ = durée et température
minimales autorisées par la tolérance de la méthode, et ‘b’ = durée et température maximales).
Les conditions optimales sont spécifiées dans chaque méthode, par exemple, la température et la durée
d’incubation à 37 °C et 24 h, et celles‐ci donneront les meilleurs résultats. Toutefois, les gammes situées
autour de ces valeurs, en raison des inexactitudes de l’instrument, mais qui donnent encore des
conditions acceptables (par exemple, 37 °C ± 1 °C, 24 h ± 1 h), sont autorisées et il convient que le plan
soumette à essai les extrêmes de ces gammes. D’autres influences telles que les conditions de stress
peuvent également être prises en compte.
Si, selon les experts, d’autres facteurs sont considérés comme étant plus pertinents eu égard au résultat
de la méthode étudiée, ils peuvent également être modifiés à deux niveaux dans le plan
d’expérimentation. D’autres facteurs peuvent être les facteurs de stress ou les conditions de stockage
des échantillons. Une liste non exhaustive de facteurs potentiels est fournie dans l’Annexe A. Selon la
méthode, un facteur de chacun des principaux groupes doit être choisi.
Les facteurs et niveaux de facteurs doivent refléter la variation normale observée dans les laboratoires
de routine. Les facteurs sont étudiés simultanément à l’aide du plan d’étude décrit en 5.2.3.
© ISO 2017 – Tous droits réservés
ISO/DIS 16140-5:2017(F)
5.2.3 Plan d’expérimentation
Chaque configuration est une combinaison de niveaux de 5 facteurs de la méthode. À chaque
configuration, chacun des laboratoires participants effectue 1  4  1 essais aux niveaux L, L et L et
0 1 2
pour les deux méthodes d’essai. Huit configurations différentes (1 à 8) doivent être prises en compte. Le
plan d’étude est indiqué dans le Tableau 2 : ‘a’ et ’b’ représentent les niveaux des facteurs respectifs.
Tableau 2 — Plan d’étude applicable aux méthodes qualitatives à effectuer par chacun d’au
moins 4 laboratoires
Configuration Facteur 1 Facteur 2 Facteur 3 Facteur 4 Facteur 5
technicie milieu de par exemple par exemple par exemple flore
n culture processus de incubateur annexe
décongélation
1 a a a a
2 b b b b
a
3 a a b b
4 b b a a
5 a b a b
6 b a b a
b
7 a b b a
8 b a a b
NOTE Ce plan d’étude (5 facteurs) est différent du plan utilisé dans la partie 4 de l’ISO 16140 relative aux
études de validation dans un laboratoire (4 facteurs).
Avec 4 laboratoires, 8 configurations, 3 niveaux de contamination et 2 méthodes d’essai (référence et
alternative), le nombre minimal d’essais individuels est de 4 × 8 × (1  4  1) × 2 = 384.
Le laboratoire organisateur doit examiner les données brutes et les
...


NORME ISO
INTERNATIONALE 16140-5
Première édition
2020-07
Microbiologie de la chaîne
alimentaire — Validation des
méthodes —
Partie 5:
Protocole pour la validation
interlaboratoires de méthodes non
commerciales par plan factoriel
Microbiology of the food chain — Method validation —
Part 5: Protocol for factorial interlaboratory validation for non-
proprietary methods
Numéro de référence
©
ISO 2020
DOCUMENT PROTÉGÉ PAR COPYRIGHT
© ISO 2020
Tous droits réservés. Sauf prescription différente ou nécessité dans le contexte de sa mise en œuvre, aucune partie de cette
publication ne peut être reproduite ni utilisée sous quelque forme que ce soit et par aucun procédé, électronique ou mécanique,
y compris la photocopie, ou la diffusion sur l’internet ou sur un intranet, sans autorisation écrite préalable. Une autorisation peut
être demandée à l’ISO à l’adresse ci-après ou au comité membre de l’ISO dans le pays du demandeur.
ISO copyright office
Case postale 401 • Ch. de Blandonnet 8
CH-1214 Vernier, Genève
Tél.: +41 22 749 01 11
E-mail: copyright@iso.org
Web: www.iso.org
Publié en Suisse
ii © ISO 2020 – Tous droits réservés

Sommaire Page
Avant-propos .iv
Introduction .v
1 Domaine d’application . 1
2 Références normatives . 1
3 Termes et définitions . 2
4 Principes généraux pour la validation interlaboratoires de méthodes non
commerciales par plan factoriel . 3
4.1 Généralités . 3
4.2 Validation par rapport à une méthode de référence . 3
4.3 Validation sans méthode de référence . 3
5 Méthodes qualitatives — Protocole technique de validation interlaboratoires par
plan factoriel . 4
5.1 Étude de validation interne . 4
5.2 Étude de validation interlaboratoires par rapport à une méthode de référence . 4
5.2.1 Considérations générales . 4
5.2.2 Protocole de mesure . 4
5.2.3 Sélection des facteurs à étudier . 6
5.2.4 Plan d’expérience . 6
5.3 Calculs et résumé des données . 7
5.4 Interprétation des données. 9
5.4.1 Étude de méthodes appariées . 9
5.4.2 Étude de méthodes non appariées . 9
5.4.3 Analyse des effets factoriels en fonction du RLOD .10
6 Méthodes quantitatives — Protocole technique de validation interlaboratoires par
plan factoriel .10
6.1 Étude de validation interne .10
6.2 Étude de validation interlaboratoires par rapport à une méthode de référence .10
6.2.1 Considérations générales .10
6.2.2 Protocole de mesure .11
6.2.3 Plan d’expérience .12
6.3 Calculs, résumé et interprétation des données .12
6.3.1 Résumé des résultats d’essai .12
6.3.2 Données de fidélité .13
6.3.3 Profil d’exactitude .15
6.4 Étude de validation interlaboratoires sans méthode de référence .15
Annexe A (informative) Liste des facteurs et niveaux de facteurs relatifs à la validation par
plan factoriel .16
Annexe B (informative) Exemple d’étude factorielle interlaboratoires applicable à une
méthode quantitative .18
Annexe C (informative) Exemple d’étude factorielle interlaboratoires applicable à une
méthode qualitative .30
Bibliographie .38
Avant-propos
L’ISO (Organisation internationale de normalisation) est une fédération mondiale d’organismes
nationaux de normalisation (comités membres de l’ISO). L’élaboration des Normes internationales est
en général confiée aux comités techniques de l’ISO. Chaque comité membre intéressé par une étude
a le droit de faire partie du comité technique créé à cet effet. Les organisations internationales,
gouvernementales et non gouvernementales, en liaison avec l’ISO participent également aux travaux.
L’ISO collabore étroitement avec la Commission électrotechnique internationale (IEC) en ce qui
concerne la normalisation électrotechnique.
Les procédures utilisées pour élaborer le présent document et celles destinées à sa mise à jour sont
décrites dans les Directives ISO/IEC, Partie 1. Il convient, en particulier, de prendre note des différents
critères d’approbation requis pour les différents types de documents ISO. Le présent document a été
rédigé conformément aux règles de rédaction données dans les Directives ISO/IEC, Partie 2 (voir www
.iso .org/ directives).
L’attention est attirée sur le fait que certains des éléments du présent document peuvent faire l’objet de
droits de propriété intellectuelle ou de droits analogues. L’ISO ne saurait être tenue pour responsable
de ne pas avoir identifié de tels droits de propriété et averti de leur existence. Les détails concernant
les références aux droits de propriété intellectuelle ou autres droits analogues identifiés lors de
l’élaboration du document sont indiqués dans l’Introduction et/ou dans la liste des déclarations de
brevets reçues par l’ISO (voir www .iso .org/ brevets).
Les appellations commerciales éventuellement mentionnées dans le présent document sont données
pour information, par souci de commodité, à l’intention des utilisateurs et ne sauraient constituer un
engagement.
Pour une explication de la nature volontaire des normes, la signification des termes et expressions
spécifiques de l’ISO liés à l’évaluation de la conformité, ou pour toute information au sujet de l’adhésion
de l’ISO aux principes de l’Organisation mondiale du commerce (OMC) concernant les obstacles
techniques au commerce (OTC), voir www .iso .org/ avant -propos.
Le présent document a été élaboré par le comité technique ISO/TC 34, Produits alimentaires, sous-
comité SC 9, Microbiologie, en collaboration avec le comité technique CEN/TC 463, Microbiologie
de la chaîne alimentaire, du Comité européen de normalisation (CEN) conformément à l’Accord de
coopération technique entre l’ISO et le CEN (Accord de Vienne).
Une liste de toutes les parties de la série ISO 16140 se trouve sur le site web de l’ISO.
Il convient que l’utilisateur adresse tout retour d’information ou toute question concernant le présent
document à l’organisme national de normalisation de son pays. Une liste exhaustive desdits organismes
se trouve à l’adresse www .iso .org/ fr/ members .html.
iv © ISO 2020 – Tous droits réservés

Introduction
0.1  Série ISO 16140
La série ISO 16140 a été étendue en réponse à la nécessité de disposer de différents protocoles pour la
validation ou la vérification des méthodes d’essai. Elle succède à l’ISO 16140:2003. La série ISO 16140
comprend six parties ayant le titre général, Microbiologie de la chaîne alimentaire — Validation des
méthodes:
— Partie 1: Vocabulaire;
— Partie 2: Protocole pour la validation de méthodes alternatives (commerciales) par rapport à une
méthode de référence;
— Partie 3: Protocole pour la vérification de méthodes de référence et de méthodes alternatives validées
dans un seul laboratoire;
— Partie 4: Protocole pour la validation de méthodes dans un seul laboratoire;
— Partie 5: Protocole pour la validation interlaboratoires de méthodes non commerciales par plan
factoriel;
— Partie 6: Protocole pour la validation de méthodes alternatives (commerciales) pour la confirmation
microbiologique et le typage.
L’ISO 17468 est une Norme internationale étroitement liée, qui établit les règles techniques pour le
développement et la validation de méthodes normalisées.
En général, deux étapes sont nécessaires avant de pouvoir utiliser une méthode en laboratoire.
— La première étape est la validation de la méthode. Celle-ci est effectuée à l’aide d’une étude dans un
seul laboratoire suivie d’une étude interlaboratoires (voir l’ISO 16140-2, l’ISO 16140-6, et le présent
document). Dans le cas où une méthode est validée dans un seul laboratoire (voir l’ISO 16140-4),
aucune étude interlaboratoires n’est effectuée.
— La deuxième étape est la vérification des méthodes, au cours de laquelle un laboratoire prouve qu’il
peut effectuer une méthode validée de manière satisfaisante. Celle-ci est décrite dans l’ISO 16140-3.
La vérification est uniquement applicable aux méthodes qui ont été validées à l’aide d’une étude
interlaboratoires.
On distingue en général deux types de méthodes: les méthodes de référence et les méthodes alternatives.
Une méthode de référence est définie dans l’ISO 16140-1:2016, 2.59, comme étant une «méthode
reconnue internationalement et largement acceptée». La note à l’article clarifie que «ces normes sont
des normes ISO et des normes publiées conjointement par l’ISO et le CEN ou d’autres normes régionales/
nationales de niveau équivalent».
Dans la série ISO 16140, les méthodes de référence comprennent les méthodes de référence normalisées
(ISO et CEN) telles que définies dans l’ISO 17468:2016, 3.5, en tant que «méthode de référence décrite
dans une norme».
Une méthode alternative (méthode soumise à validation) est définie dans l’ISO 16140-1:2016, 2.4, en
tant que «méthode d’analyse permettant de détecter ou de quantifier, pour une catégorie de produits
donnée, le même analyte que celui détecté ou quantifié avec la méthode de référence correspondante».
La note à l’article clarifie que: «La méthode peut être commerciale. L’adjectif «alternatif» se réfère à la
totalité du «mode opératoire d’analyse et du système réactionnel». Ce terme recouvre tous les éléments
nécessaires à la mise en œuvre de la méthode, qu’ils soient matériels ou autres.»
L’ISO 16140-4 traite de la validation dans un seul laboratoire. Par conséquent, les résultats sont
uniquement valides pour le laboratoire effectuant l’étude. Dans ce cas, aucune vérification (comme
décrit dans l’ISO 16140-3) n’est applicable. Le présent document, l’ISO 16140-5, décrit les protocoles
applicables aux méthodes non commerciales dans lesquelles une validation plus rapide est nécessaire
ou dans lesquelles la méthode à valider est hautement spécialisée, et le nombre de laboratoires
participants requis par l’ISO 16140-2 ne peut pas être atteint. L’ISO 16140-4 et le présent document
peuvent être utilisés pour la validation avec méthode de référence. L’ISO 16140-4 (pour les méthodes
qualitatives et quantitatives) et le présent document (pour les méthodes quantitatives uniquement)
peuvent également être utilisés pour la validation sans méthode de référence.
Le logigramme de la Figure 1 donne une vue d’ensemble des relations entre les différentes parties
susmentionnées. Il aide également l’utilisateur à choisir la partie appropriée de la série ISO 16140, en
tenant compte de l’objectif de l’étude et des remarques énoncées ci-dessus.
Figure 1 — Logigramme relatif à l’application de la série ISO 16140
NOTE Dans le présent document, les termes «catégorie», «type» et/ou «élément» sont parfois associés au
terme «(aliment)» pour une meilleure compréhension. Cependant, le terme «(aliment)» peut être remplacé par
«(aliment pour animaux)» et par les autres secteurs de la chaîne alimentaire tels que mentionnés à l’Article 1.
L’ISO 16140-6 est quelque peu différente des autres parties de la série ISO 16140 car elle concerne une
situation très spécifique dans laquelle seul le mode opératoire de confirmation d’une méthode doit
être validé [par exemple, la confirmation biochimique des Enterobacteriaceae (voir l’ISO 21528-2)].
Le mode opératoire de confirmation modifie un résultat suspecté (présomptif) en un résultat positif
confirmé. La validation des méthodes alternatives de typage (par exemple, sérotypage de Salmonella)
est également couverte par l’ISO 16140-6. L’étude de validation de l’ISO 16140-6 définit clairement la ou
les gélose(s) sélective(s) à partir de laquelle/desquelles les souches peuvent être confirmées en utilisant
la méthode alternative de confirmation. Lorsque la méthode alternative de confirmation est validée,
elle ne peut être appliquée que si les souches sont cultivées sur une gélose utilisée et jugée acceptable
lors de l’étude de validation. La Figure 2 illustre les situations dans lesquelles une méthode alternative
de confirmation validée conformément à l’ISO 16140-6 peut être appliquée (voir le texte dans les cases).
vi © ISO 2020 – Tous droits réservés

Figure 2 — Utilisation de méthodes alternatives de confirmation (voir ISO 16140-6)
EXEMPLE Un exemple d’application d’une méthode alternative de confirmation validée est donné ci-après.
Une méthode alternative de confirmation fondée sur un ELISA a été validée (conformément à
l’ISO 16140-6) pour remplacer la confirmation biochimique de Salmonella tel qu’il est décrit dans
l’ISO 6579-1. Lors de l’étude de validation, la gélose XLD (gélose obligatoire conformément à l’ISO 6579-1)
ainsi que la gélose BGA et une gélose chromogène spécifiée (deux géloses facultatives pour le deuxième
ensemencement conformément à l’ISO 6579-1) ont été utilisées pour commencer la confirmation. La
méthode de confirmation validée peut être utilisée pour remplacer la confirmation biochimique dans
les conditions suivantes:
— par des laboratoires utilisant l’ISO 6579-1; ou
— par des laboratoires utilisant une méthode alternative validée de l’ISO 16140-2 faisant référence à
l’ISO 6579-1 pour la confirmation; ou
— par des laboratoires utilisant une méthode alternative validée de l’ISO 16140-2 qui commence la
confirmation à partir de la gélose XLD et/ou la gélose BGA et/ou la gélose chromogène spécifiée.
La méthode de confirmation validée ne peut pas être utilisée dans les conditions suivantes:
— par des laboratoires utilisant une méthode alternative validée selon l’ISO 16140-2 faisant uniquement
référence à des géloses autres que celles incluses dans la validation pour commencer la confirmation
(par exemple, la gélose Hektoen et la gélose SS uniquement); ou
— par des laboratoires utilisant une méthode alternative validée de l’ISO 16140-2 faisant uniquement
référence à un mode opératoire de confirmation ne nécessitant pas d’isolement sur gélose.
0.2  Protocoles de validation dans la série ISO 16140
Une étude de validation interlaboratoires, conformément à l’ISO 16140-2, requiert au moins
huit laboratoires pour les méthodes quantitatives et dix laboratoires pour les méthodes qualitatives.
Le présent document fournit un protocole applicable au cas particulier dans lequel le nombre de
laboratoires requis lors d’une validation interlaboratoires d’une méthode selon l’ISO 16140-2 ne peut
pas être atteint. Le protocole comprend une validation des méthodes fondée sur au moins quatre
laboratoires. Il s’applique, par exemple, dans les cas où il est urgent de disposer d’une méthode validée
mais où la réalisation des études internes et interlaboratoires selon l’ISO 16140-2 prend trop de
temps. Le présent document concerne également le problème de validation des méthodes hautement
spécialisées, pour lesquelles seuls quelques laboratoires peuvent être disponibles pour une étude de
validation. Le présent document ne peut être utilisé que pour des méthodes non commerciales. Le
Tableau 1 donne une vue d’ensemble des différents protocoles.
Tableau 1 — Vue d’ensemble des différents protocoles de validation décrits dans la série
ISO 16140
Nombre de laboratoires
Avec la méthode de référence Sans la méthode de référence
participants
1 ISO 16140-4 ISO 16140-4
Le présent document: pour les Le présent document: pour les
4 à 7 (méthode quantitative)/
méthodes non commerciales méthodes quantitatives non
4 à 9 (méthode qualitative)
uniquement commerciales uniquement
≥ 8 (méthode quantitative)/ ISO 16140-2: pour la partie de l’étude Non applicable
≥ 10 (méthode qualitative) interlaboratoires
Pour réduire le nombre de laboratoires requis à un minimum de quatre tout en conservant la validation
applicable à tous les laboratoires, le protocole repose sur un plan d’expérience factoriel. Dans le plan
factoriel, plusieurs facteurs tels que le technicien ou le milieu de culture sont simultanément modifiés
et la méthode est utilisée dans une gamme de différentes configurations de facteurs. Cette approche
permet d’analyser plus en détails les paramètres de fidélité de la méthode tout en ayant recours à un
nombre moins élevé de laboratoires et d’essais.
viii © ISO 2020 – Tous droits réservés

NORME INTERNATIONALE ISO 16140-5:2020(F)
Microbiologie de la chaîne alimentaire — Validation des
méthodes —
Partie 5:
Protocole pour la validation interlaboratoires de méthodes
non commerciales par plan factoriel
1 Domaine d’application
Le présent document établit les principes généraux ainsi que les protocoles techniques (fondé sur des
études factorielles orthogonales) de validation de méthodes non commerciales, dans le domaine de la
microbiologie de la chaîne alimentaire.
Le présent document est applicable à la validation de méthodes utilisées pour l’analyse (détection ou
quantification) de micro-organismes présents dans:
— les produits destinés à la consommation humaine;
— les produits destinés à l’alimentation animale;
— les échantillons environnementaux dans les domaines de la production et de la manutention de
produits alimentaires;
— les échantillons au stade de la production primaire.
Le présent document est notamment applicable aux bactéries et aux champignons. Certains articles
peuvent être applicables à d’autres (micro-)organismes ou à leurs métabolites, qui doivent être
déterminés au cas par cas.
Le présent document spécifie des protocoles pour la validation de méthodes quantitatives et
qualitatives par rapport à une méthode de référence. Il établit également un protocole pour la validation
de méthodes quantitatives sans méthode de référence. Les méthodes qualitatives ne peuvent pas être
validées sans méthode de référence conformément au présent document.
NOTE L’ISO 16140-2 spécifie le principe général et le protocole technique pour la validation de méthodes
alternatives, majoritairement commerciales, par rapport à une méthode de référence.
Le présent document est uniquement applicable à la validation de méthodes dont les paramètres
pertinents sont intégralement spécifiés (notamment les tolérances sur les températures et les
spécifications sur les milieux de culture) et qui ont déjà été optimisées.
Les méthodes qui ont été validées conformément au présent document peuvent être utilisées par les
laboratoires de la population de laboratoires spécifiée.
2 Références normatives
Les documents suivants sont cités dans le texte de sorte qu’ils constituent, pour tout ou partie de leur
contenu, des exigences du présent document. Pour les références datées, seule l’édition citée s’applique.
Pour les références non datées, la dernière édition du document de référence s’applique (y compris les
éventuels amendements).
ISO 7218, Microbiologie des aliments — Exigences générales et recommandations
ISO 16140-1:2016, Microbiologie de la chaîne alimentaire — Validation des méthodes — Partie 1:
Vocabulaire
ISO 16140-2:2016, Microbiologie de la chaîne alimentaire — Validation des méthodes — Partie 2: Protocole
pour la validation de méthodes alternatives (commerciales) par rapport à une méthode de référence
3 Termes et définitions
Pour les besoins du présent document, les termes et les définitions de l’ISO 16140-1 ainsi que les
suivants s’appliquent.
L’ISO et l’IEC tiennent à jour des bases de données terminologiques destinées à être utilisées en
normalisation, consultables aux adresses suivantes:
— ISO Online browsing platform: disponible à l’adresse https:// www .iso .org/ obp
— IEC Electropedia: disponible à l’adresse http:// www .electropedia .org/
3.1
facteur
paramètre qualitatif ou quantitatif de la méthode, qui peut être modifié à deux niveaux ou plus, dans les
limites de la méthode spécifiée
EXEMPLE Technicien.
Note 1 à l'article: à l’article Dans le présent document, seuls les facteurs conformes au protocole de la méthode
sont pris en compte.
3.2
niveau de facteur
valeur des facteurs (3.1) du plan d’expérience
EXEMPLE Technicien «a», technicien «b», etc.
Note 1 à l'article: à l’article Dans le présent document, chaque facteur est modifié à deux niveaux de facteurs:
«a» et «b».
Note 2 à l'article: à l’article Cette définition repose sur la façon dont l’ISO 3534-3:2013, 3.1.12, définit le «niveau de
facteur». Dans l’ISO 3534-3:2013, 3.1.12, la définition est plus générale, mais la signification statistique est la même.
3.3
plan orthogonal
plan factoriel, dans lequel pour chaque paire de facteurs (3.1), chaque combinaison de niveaux de facteur
(3.2) apparaît autant de fois parmi les niveaux de facteur possibles
Note 1 à l'article: à l’article Cette définition repose sur la façon dont l’ISO 3534-3:2013, 3.1.31, définit
l’«arrangement orthogonal», mais pour le «plan orthogonal», une définition plus générale et plus théorique est
utilisée.
3.4
valeur de référence
niveau de concentration estimé obtenu avec la méthode de
référence
3.5
valeur de référence
uniquement> niveau de concentration estimé obtenu à partir du niveau de concentration de l’inoculum
2 © ISO 2020 – Tous droits réservés

3.6
configuration
combinaison de niveaux de facteurs (3.2)
EXEMPLE Technicien «a» + milieu de culture «b» + température «a» + etc.
Note 1 à l'article: à l’article Ces conditions peuvent être décrites par la combinaison des niveaux de facteurs
modifiés lors de l’étude.
4 Principes généraux pour la validation interlaboratoires de méthodes non
commerciales par plan factoriel
4.1 Généralités
Le présent document utilise un protocole reposant sur des études orthogonales factorielles. Une
haute certitude est obtenue pour les paramètres de validation des méthodes déterminés, en ciblant
des facteurs appropriés (par exemple, technicien, milieu de culture, préparation des échantillons,
température, durée de l’essai) et susceptibles d’influencer le résultat d’essai. Cela permet de réduire
le nombre de laboratoires requis à un minimum de quatre. Les concepts généraux et considérations
donnés dans l’ISO 16140-2 doivent s’appliquer, sauf s’ils sont explicitement exclus. La validation peut
être effectuée par rapport à une méthode de référence ou, dans le cas d’une méthode quantitative, sans
méthode de référence.
Le résultat de l’étude de validation s’applique à:
— tout laboratoire: si les quatre laboratoires peuvent être considérés comme un «échantillon aléatoire»
de laboratoires indépendants provenant de différents organismes;
— tous les laboratoires d’un organisme: si les quatre laboratoires peuvent être considérés comme un
«échantillon aléatoire» de laboratoires sur différents sites d’un organisme.
4.2 Validation par rapport à une méthode de référence
Le protocole de validation comprend deux étapes:
— une étude de validation interne de la méthode non commerciale par rapport à la méthode de
référence réalisée dans le laboratoire organisateur (voir l’ISO 16140-1:2016, 2.45);
— une étude interlaboratoires de la méthode non commerciale par rapport à la méthode de référence
réalisée dans des laboratoires différents.
Le protocole technique pour la réalisation de l’étude de validation interne et de l’étude interlaboratoires
est donné dans les Articles 5 et 6, en fonction de la nature qualitative ou quantitative de la méthode
d’essai.
Il convient que les facteurs choisis pour l’étude factorielle interlaboratoires soient pertinents et
appliqués à la méthode de référence et à la méthode alternative.
4.3 Validation sans méthode de référence
Le protocole de validation s’applique uniquement à la validation de méthodes quantitatives. Il comprend
deux étapes:
— une étude de validation interne de la méthode non commerciale par rapport à la valeur de référence,
réalisée dans le laboratoire organisateur;
— une étude interlaboratoires de la méthode non commerciale par rapport à la valeur de référence,
réalisée dans des laboratoires différents.
Le protocole technique pour la réalisation de l’étude de validation interne et de l’étude interlaboratoires
pour les méthodes quantitatives est donné dans l’Article 6.
5 Méthodes qualitatives — Protocole technique de validation interlaboratoires
par plan factoriel
5.1 Étude de validation interne
L’étude de validation interne est la partie du processus de validation qui est effectuée dans le laboratoire
organisateur. Elle peut être réalisée conformément à l’approche conventionnelle ou à l’approche
factorielle, comme décrit dans l’ISO 16140-4.
Une étude de validation interne peut être utilisée pour démontrer la performance de la méthode pour le
laboratoire ayant effectué l’étude. Elle constitue la première étape dans le cadre général de la validation
de méthodes. L’étude de validation interne évalue la performance de la méthode pour des catégories
(d’aliments), types (d’aliments) et éléments (d’aliments), alors que l’étude interlaboratoires évalue la
performance de la méthode par des laboratoires.
5.2 Étude de validation interlaboratoires par rapport à une méthode de référence
5.2.1 Considérations générales
L’objectif de l’étude interlaboratoires est de comparer la performance de la méthode de référence avec
celle de la méthode alternative en termes de RLOD obtenu par différents laboratoires. Les résultats
du même ensemble d’échantillons examinés dans des conditions de reproductibilité sont comparés
avec des critères préétablis pour la différence acceptable entre la méthode de référence et la méthode
alternative. Chaque fois que cela est possible, il convient que les conditions d’étude reflètent la variation
normale entre laboratoires.
L’étude interlaboratoires est planifiée par le laboratoire organisateur. Le laboratoire organisateur
prépare les échantillons et une fiche de données pour consigner toutes les données expérimentales et
les conditions expérimentales déterminantes utilisées par chaque laboratoire. Chaque laboratoire doit
démontrer ses compétences pour l’utilisation de la méthode alternative et de la méthode de référence
conformément à l’ISO 7218 avant de participer à l’étude.
Les techniciens, impliqués dans la préparation des échantillons utilisés dans l’étude interlaboratoires,
ne doivent pas prendre part aux essais des échantillons de l’étude interlaboratoires.
5.2.2 Protocole de mesure
Un minimum de quatre laboratoires indépendants sont requis pour effectuer les séries d’essais.
Les laboratoires doivent appartenir à des organismes différents ou doivent être situés à des
emplacements différents.
Si tous les laboratoires appartiennent à un même organisme ou réseau, les résultats de l’étude de
validation ne peuvent être utilisés que par les laboratoires appartenant à cet organisme ou réseau.
EXEMPLE 1 Laboratoires appartenant à un organisme public ou privé.
EXEMPLE 2 Réseau de laboratoires fédéraux, nationaux et/ou provinciaux.
EXEMPLE 3 Réseau de laboratoires nationaux de référence coordonnés par un laboratoire de référence de
l’Union européenne.
Si possible, il convient que plus de quatre laboratoires participent, afin de pouvoir analyser les résultats
d’au moins huit techniciens même si, pour une quelconque raison, certaines données ne pouvaient pas
être utilisées.
4 © ISO 2020 – Tous droits réservés

Le protocole est le suivant:
— dans le cas où plusieurs protocoles d’enrichissement existent pour la méthode alternative, le
protocole d’enrichissement le plus «challenging» doit être sélectionné, par exemple le protocole
présentant la plus courte durée d’incubation ou les conditions d’enrichissement les plus sélectives.
Le type (d’aliment) sélectionné doit être adapté au protocole d’enrichissement choisi. Il convient
que l’élément (d’aliment), qui est utilisé pour préparer les échantillons pour essai, contienne un
microbiote annexe naturel;
— l’élément (d’aliment) sélectionné doit être artificiellement contaminé avec l’organisme cible.
Le protocole d’ensemencement des échantillons doit être approprié pour l’élément (d’aliment)
sélectionné. Les échantillons doivent être préparés par le laboratoire organisateur pour assurer
l’homogénéité entre et au sein des échantillons en utilisant les protocoles de préparation contenus
dans l’ISO 16140 2:2016, Annexe C. En général, les échantillons liquides (en comparaison avec
les échantillons solides) donnent de meilleures garanties quant à l’obtention de l’homogénéité. Il
convient que l’homogénéité des échantillons soit démontrée par le laboratoire organisateur. Des
essais d’homogénéité et des critères d’acceptabilité sont décrits dans l’ISO 22117;
— au moins trois niveaux de contamination différents doivent être utilisés: un blanc (L ) et deux
niveaux (L et L ). Il convient que le niveau L soit compris entre le LOD de la méthode de
1 2 1 50
référence (LOD ) et le LOD de la méthode alternative (LOD = RLOD · LOD ). Il convient
50,ref 50 50,alt 50,ref
que le niveau L soit 1 log au-dessus du niveau L . Le niveau L doit produire des résultats positifs
2 10 1 1
partiels;
— il convient de dénombrer les inoculums à l’aide d’un milieu non sélectif. Le dénombrement doit être
effectué conformément à l’ISO 7218;
— pour l’élément (d’aliment) sélectionné, pour chaque configuration et pour chaque laboratoire, quatre
réplicats doivent être effectués au niveau L . Un réplicat est réalisé aux deux autres niveaux L et L ;
1 0 2
— selon le plan factoriel orthogonal, huit configurations doivent être effectuées par chaque laboratoire
pour les deux méthodes d’essai (alternative et référence) et pour tous les niveaux de contamination
(L , L et L ). Au total, 96 essais (1 + 4 + 1 réplicats × 8 configurations × 2 méthodes) sont réalisés
0 1 2
dans chaque laboratoire;
— il convient que tous les échantillons soient codés de manière à travailler en aveugle pour s’assurer
que les techniciens ne peuvent pas déduire leur niveau de contamination;
— les configurations doivent être communes aux deux méthodes d’essai (méthodes appariées et
méthodes non appariées). Des résultats appariés sont obtenus lorsque l’enrichissement primaire
est le même pour la méthode alternative et pour la méthode de référence. Ainsi, une prise d’essai
est utilisée pour effectuer les essais avec la méthode alternative et la méthode de référence. Des
résultats non appariés sont obtenus lorsque la méthode alternative et la méthode de référence
sont réalisées à partir d’enrichissements primaires différents. Ainsi, deux séries de prises d’essai
sont requises: une prise d’essai est analysée par la méthode alternative et l’autre prise d’essai est
analysée par la méthode de référence;
— les données sont reportées dans deux tableaux donnant les résultats émanant de la méthode de
référence et de la méthode alternative avant et après confirmation des résultats:
— si les résultats de la méthode alternative et de la méthode de référence ont été obtenus à partir
du même bouillon d’enrichissement de départ (données appariées), il n’est pas nécessaire de
confirmer les résultats présomptifs de la méthode alternative si les résultats sont en accord avec
ceux de la méthode de référence. Cependant, une confirmation du résultat positif est requise
dans le cas où la méthode de référence donne un résultat négatif et la méthode alternative
donne un résultat positif;
— si les résultats de la méthode alternative et de la méthode de référence ont été obtenus à partir
d’enrichissements différents (données non appariées), alors tous les enrichissements obtenus
avec la méthode alternative doivent être soumis à confirmation. Les méthodes de confirmation
sont décrites dans l’ISO 16140-2:2016, 5.1.3.3;
— le laboratoire organisateur peut indiquer que les bouillons, les boîtes et/ou isolats doivent être
conservés pendant un certain temps afin de pouvoir confirmer les résultats obtenus par un
laboratoire, si nécessaire;
— l’analyse des échantillons doit être effectuée par chaque laboratoire à la date stipulée.
5.2.3 Sélection des facteurs à étudier
Il convient de prendre l’avis des experts avant de choisir les facteurs appropriés à l’étude en particulier.
Par exemple, les conditions optimales sont spécifiées dans chaque méthode, par exemple, la température
et la durée d’incubation à 37 °C et 24 h, et celles-ci donneront les meilleurs résultats. Toutefois, les
gammes situées autour de ces valeurs, en raison des inexactitudes de l’instrument, mais qui donnent
encore des conditions acceptables (par exemple, 37 °C ± 1 °C, 24 h ± 1 h), sont autorisées et il convient
que le plan d’étude soumette à essai les extrêmes de ces gammes. Les conditions de fonctionnement
acceptables pour le matériel sont décrites dans l’ISO 7218. D’autres influences telles que les conditions
de stress peuvent également être prises en compte.
Pour estimer l’exactitude dans des conditions de routine, des facteurs pertinents pour la méthode et
difficiles à contrôler, doivent être choisis et modifiés systématiquement, par exemple les techniciens,
les milieux et les conditions d’incubation. Du choix de ces facteurs et des niveaux de facteurs dépend
la fiabilité du résultat d’essai. Pour les études de méthodes non appariées, les configurations choisies
biaisées par rapport à la méthode de référence ne peuvent pas être utilisées.
Cinq facteurs pertinents pour la méthode doivent être modifiés simultanément, chacun sur deux
niveaux.
Pour les méthodes applicables aux micro-organismes cultivables, les facteurs «techniciens» et «milieux
de culture» ont la plus grande importance et doivent être inclus dans toutes les études comme suit:
— techniciens: les essais doivent être effectués dans chaque laboratoire par deux techniciens de façon
indépendante;
— milieux de culture: utiliser deux milieux de culture provenant de deux fabricants différents, ou deux
lots différents de milieux de culture, ou des milieux préalablement préparés contre des milieux
préparés à partir de milieux déshydratés. Si possible, il convient que chaque laboratoire utilise des
fabricants/lots différents de ceux utilisés dans les autres laboratoires.
Trois autres facteurs doivent être inclus dans l’étude. Une liste non exhaustive de facteurs potentiels
est fournie à l’Annexe A. Selon la méthode, un facteur de chacun des principaux groupes doit être choisi.
Les facteurs et niveaux de facteurs doivent refléter la variation normale observée dans les laboratoires
d’essai de routine. Les facteurs sont étudiés simultanément à l’aide du plan d’expérience décrit en 5.2.4.
5.2.4 Plan d’expérience
Chaque configuration est une combinaison de niveaux de cinq facteurs de la méthode. À chaque
configuration, chacun des laboratoires effectue (1 + 4 + 1) essais aux niveaux L , L et L pour les
0 1 2
deux méthodes d’essai. Huit configurations différentes (1 à 8) doivent être prises en compte. Le plan
d’expérience est indiqué dans le Tableau 2, «a» et «b» représentant les niveaux des facteurs respectifs.
NOTE Ce plan d’expérience (5 facteurs) est différent du plan utilisé dans l’ISO 16140-4 relative aux études de
validation dans un seul laboratoire (4 facteurs).
6 © ISO 2020 – Tous droits réservés

Tableau 2 — Plan d’expérience applicable aux méthodes quantitatives à effectuer par chacun
d’au moins quatre laboratoires
Facteur 3: Facteur 4: Facteur 5:
Facteur 2:
Facteur 1: par exemple pro- par exemple par exemple
Configuration milieu de
technicien cessus de condition microbiote
culture
décongélation d’incubation annexe
1 a a a a
2 a b b b b
3 a a b b
4 b b a a
5 a b a b
6 b b a b a
7 a b b a
8 b a a b
Avec quatre laboratoires, huit configurations, trois niveaux de contamination et deux méthodes d’essai
(référence et alternative), le nombre minimal d’essais individuels est de 4 × 8 × (1 + 4 + 1) × 2 = 384.
Le laboratoire organisateur doit examiner les données brutes et les autres informations requises dans
la feuille de données, afin de s’assurer que tous les laboratoires ont effectué les analyses conformément
aux instructions écrites de la méthode alternative et de la méthode de référence. Si la preuve est faite
que les résultats peuvent avoir été obtenus dans des conditions inappropriées et/ou que les instructions
des méthodes n’ont pas été suivies scrupuleusement, les résultats concernés ou la totalité des résultats
émanant du laboratoire concerné sont exclus des analyses subséquentes.
L’Annexe C présente un exemple d’étude factorielle interlaboratoires pour une méthode qualitative.
5.3 Calculs et résumé des données
Les résultats obtenus par chaque laboratoire dans le cadre de l’étude interlaboratoires sont récapitulés
dans les Tableaux 3 et 4.
Tableau 3 — Fraction de résultats positifs par la méthode de référence
Niveau de contamination
Laboratoire
L L L
0 1 2
Laboratoire 1 /8 /32 /8
Laboratoire 2 /8 /32 /8
Laboratoire 3 /8 /32 /8
Etc…. /8 /32 /8
Total
Tableau 4 — Fraction de résultats positifs (avant et après confirmation) par la méthode
alternative
Niveau de contamination
Laboratoire L L L
0 1 2
Présomptif Confirmé Présomptif Confirmé Présomptif Confirmé
Laboratoire 1 /8 /8 /32 /32 /8 /8
Laboratoire 2 /8 /8 /32 /32 /8 /8
Laboratoire 3 /8 /8 /32 /32 /8 /8
Etc…. /8 /8 /32 /32 /8 /8
Total
Les calculs ultérieurs, réalisés à l’aide des données du niveau fractionnel L uniquement, sont effectués
conformément à l’ISO 16140-2:2016, 5.2.3. Ces calculs doivent être réalisés pour toutes les configurations
de facteurs, de 1 à 8, et également séparément pour chaque sous-groupe de configurations de facteurs
qui appartient à l’un des cinq facteurs et à l’un des deux niveaux de facteurs, comme indiqué dans le
Tableau 5.
Tableau 5 — Résumé des résultats
a b
Niveaux de facteurs Configurations PA NA ND PD FP N SE SE RT SP SP FPR
(alt) (ref) (alt) (ref)
% % % % % %
Toutes les configurations 1 à 8
Facteur 1 (technicien) «a» – voir
NOTE 2 1,2,3,4
Facteur 1 (technicien) «b» – voir
NOTE 2 5,6,7,8
Facteur 2 (milieu de culture) «a» 1,3,5,7
Facteur 2 (milieu de culture) «b» 2,4,6,8
Facteur 3 (par exemple processus
de décongélation) «a» 1,3,6,8
Facteur 3 (par exemple processus
de décongélation) «b» 2,4,5,7
Facteur 4 (par exemple condition
d’incubation) «a» 1,4,5,8
Facteur 4 (par exemple condition
d’incubation) «b» 2,3,6,7
Facteur 5 (par exemple microbiote
annexe) «a» 1,4,6,7
Facteur 5 (par exemple microbiote
annexe) «b» 2,3,5,8
Légende
PA:  accord positif, NA: accord négatif, ND: déviation négative, PD: déviation positive, FP: faux positif, N: somme, SE : sensibilité de
...

Questions, Comments and Discussion

Ask us and Technical Secretary will try to provide an answer. You can facilitate discussion about the standard in here.