Reproducibility of the level of detection (LOD) of binary methods in collaborative and in-house validation studies

This document provides statistical techniques for the determination of the reproducibility of the level of detection for a) binary (qualitative) test methods for continuous measurands, e.g. the content of a chemical substance, and b) binary (qualitative) test methods for discrete measurands, e.g. the number of RNA copies in a sample. The reproducibility precision is determined according to ISO 5725 (all parts). Precision estimates are subject to random variability. Accordingly, it is important to determine the uncertainty associated with each estimate, and to understand the relationship between this uncertainty, the number of participants and the experimental design. This document thus provides not only a description of statistical tools for the calculation of the LOD reproducibility precision, but also for the standard error of the estimates.

Reproductibilité du niveau de détection (LOD) des méthodes binaires pour des études de validation collaboratives et internes

Le présent document fournit des techniques statistiques pour la détermination de la reproductibilité du niveau de détection pour: a) les méthodes d’essai binaires (qualitatives) pour les mesurandes continus, par exemple dans le contenu d’une substance chimique; b) les méthodes d’essai binaires (qualitatives) pour les mesurandes discrets, par exemple dans le nombre de copies d’ARN dans un échantillon. La fidélité de la reproductibilité est déterminée conformément à l’ISO 5725 (toutes les parties). Les estimations de la fidélité sont sujettes à une variabilité aléatoire. Par conséquent, il est important de déterminer l’incertitude associée à chaque estimation et de comprendre la relation entre cette incertitude, le nombre de participants et le plan d’expérience. À cet effet, le présent document décrit les outils statistiques non seulement pour le calcul de la fidélité de la reproductibilité de LOD, mais aussi pour l’erreur-type des estimations.

General Information

Status
Published
Publication Date
23-Jan-2023
Current Stage
9020 - International Standard under periodical review
Start Date
15-Jan-2026
Completion Date
15-Jan-2026

Relations

Effective Date
06-Jun-2022

Overview

ISO/TS 27878:2023 establishes statistical techniques to determine the reproducibility of the level of detection (LOD) for binary (yes/no) test methods in both collaborative and in‑house validation studies. It covers binary methods for continuous measurands (e.g., chemical concentrations) and discrete measurands (e.g., colony forming units or RNA copies). The technical specification links LOD estimation to probability of detection (POD) models and follows precision concepts from ISO 5725. Importantly, the document addresses not only LOD reproducibility but also the standard error and uncertainty of those estimates.

Key topics and requirements

  • Scope of methods: Binary qualitative tests for continuous and discrete measurands.
  • LOD definition: Concentration level at which POD reaches a specified value (e.g., 50% or 95%).
  • Statistical models: Separate parametric models for continuous and discrete measurands, converting binary outcomes into quantitative LOD estimates.
  • Precision and reproducibility: Reproducibility precision estimated according to ISO 5725 (all parts). Emphasis on estimating the uncertainty (standard error) associated with precision estimates.
  • Study designs:
    • Conventional approach - tests performed under repeatability within labs; variability arises between labs. Recommended minimum designs include at least 8 participants, 5 concentration levels, and 12 replicates per level for more reliable LOD/POD curves (minimum acceptable: 8 participants, 4 levels, 8 replicates).
    • Factorial approach - deliberate variation of factors (analyst, instrument, reagent lot, temperature, etc.) to identify specific sources of variability and increase efficiency.
  • Reliability checks: Guidance on evaluating the reliability of precision and LOD estimates and on selecting concentration ranges where POD spans expected response (typically 20–80% across levels).
  • Software: Reference to software tools for implementing the statistical procedures.

Applications

  • Validation of diagnostic assays, microbiological methods, PCR and molecular tests, and chemical qualitative screens where a binary outcome is reported but an LOD characterization is required.
  • Informing method acceptance criteria, routine lab quality control, regulatory submissions, and interlaboratory studies by quantifying how LOD varies across laboratories and conditions.
  • Designing efficient validation studies (conventional vs factorial) to estimate LOD reproducibility and uncertainty.

Who should use this standard

  • Laboratory validation scientists, method developers, quality managers, regulatory assessors, and statisticians involved in method validation and interlaboratory studies.
  • Organizations performing collaborative trials or in‑house validation of qualitative/binary assays that require robust LOD and POD estimation.

Related standards

  • ISO 5725 (accuracy, trueness and precision of measurement methods)
  • ISO 3534-1 (statistics - vocabulary and symbols)
  • ISO 16140 series and ISO/TS 16393 (validation protocols for microbiological and qualitative methods)
  • AOAC guidelines (relevant validation approaches)

Keywords: ISO/TS 27878:2023, level of detection, LOD reproducibility, binary methods, probability of detection (POD), collaborative validation, in‑house validation, ISO 5725, factorial design, experimental design, validation statistics.

Buy Documents

Technical specification

ISO/TS 27878:2023 - Reproducibility of the level of detection (LOD) of binary methods in collaborative and in-house validation studies Released:24. 01. 2023

English language (16 pages)
sale 15% off
Preview
sale 15% off
Preview
Technical specification

ISO/TS 27878:2023 - Reproductibilité du niveau de détection (LOD) des méthodes binaires pour des études de validation collaboratives et internes Released:3/7/2023

French language (16 pages)
sale 15% off
Preview
sale 15% off
Preview

Get Certified

Connect with accredited certification bodies for this standard

BSI Group

BSI (British Standards Institution) is the business standards company that helps organizations make excellence a habit.

UKAS United Kingdom Verified

Bureau Veritas

Bureau Veritas is a world leader in laboratory testing, inspection and certification services.

COFRAC France Verified

DNV

DNV is an independent assurance and risk management provider.

NA Norway Verified

Sponsored listings

Frequently Asked Questions

ISO/TS 27878:2023 is a technical specification published by the International Organization for Standardization (ISO). Its full title is "Reproducibility of the level of detection (LOD) of binary methods in collaborative and in-house validation studies". This standard covers: This document provides statistical techniques for the determination of the reproducibility of the level of detection for a) binary (qualitative) test methods for continuous measurands, e.g. the content of a chemical substance, and b) binary (qualitative) test methods for discrete measurands, e.g. the number of RNA copies in a sample. The reproducibility precision is determined according to ISO 5725 (all parts). Precision estimates are subject to random variability. Accordingly, it is important to determine the uncertainty associated with each estimate, and to understand the relationship between this uncertainty, the number of participants and the experimental design. This document thus provides not only a description of statistical tools for the calculation of the LOD reproducibility precision, but also for the standard error of the estimates.

This document provides statistical techniques for the determination of the reproducibility of the level of detection for a) binary (qualitative) test methods for continuous measurands, e.g. the content of a chemical substance, and b) binary (qualitative) test methods for discrete measurands, e.g. the number of RNA copies in a sample. The reproducibility precision is determined according to ISO 5725 (all parts). Precision estimates are subject to random variability. Accordingly, it is important to determine the uncertainty associated with each estimate, and to understand the relationship between this uncertainty, the number of participants and the experimental design. This document thus provides not only a description of statistical tools for the calculation of the LOD reproducibility precision, but also for the standard error of the estimates.

ISO/TS 27878:2023 is classified under the following ICS (International Classification for Standards) categories: 03.120.30 - Application of statistical methods; 17.020 - Metrology and measurement in general. The ICS classification helps identify the subject area and facilitates finding related standards.

ISO/TS 27878:2023 has the following relationships with other standards: It is inter standard links to ISO 25119-3:2018/Amd 1:2020. Understanding these relationships helps ensure you are using the most current and applicable version of the standard.

ISO/TS 27878:2023 is available in PDF format for immediate download after purchase. The document can be added to your cart and obtained through the secure checkout process. Digital delivery ensures instant access to the complete standard document.

Standards Content (Sample)


TECHNICAL ISO/TS
SPECIFICATION 27878
First edition
2023-01
Reproducibility of the level of
detection (LOD) of binary methods in
collaborative and in-house validation
studies
Reproductibilité de la limite de détection (LD) des méthodes binaires
pour des études de validation internes et collaboratives
Reference number
© ISO 2023
All rights reserved. Unless otherwise specified, or required in the context of its implementation, no part of this publication may
be reproduced or utilized otherwise in any form or by any means, electronic or mechanical, including photocopying, or posting on
the internet or an intranet, without prior written permission. Permission can be requested from either ISO at the address below
or ISO’s member body in the country of the requester.
ISO copyright office
CP 401 • Ch. de Blandonnet 8
CH-1214 Vernier, Geneva
Phone: +41 22 749 01 11
Email: copyright@iso.org
Website: www.iso.org
Published in Switzerland
ii
Contents Page
Foreword .iv
Introduction .v
1 Scope . 1
2 Normative references . 1
3 Terms and definitions . 1
4 Symbols . 2
5 General principles . 3
5.1 General considerations. 3
5.2 Considerations for the conventional approach . 3
5.3 Considerations for the factorial approach . 3
6 Conventional approach . 4
6.1 Experimental design . 4
6.2 Statistical model for methods for continuous measurands. 4
6.3 Statistical model for methods for discrete measurands . 7
6.4 Reliability of precision estimates . 10
7 Factorial approach .10
8 In-house validation .13
9 Software .13
Bibliography .15
iii
Foreword
ISO (the International Organization for Standardization) is a worldwide federation of national standards
bodies (ISO member bodies). The work of preparing International Standards is normally carried out
through ISO technical committees. Each member body interested in a subject for which a technical
committee has been established has the right to be represented on that committee. International
organizations, governmental and non-governmental, in liaison with ISO, also take part in the work.
ISO collaborates closely with the International Electrotechnical Commission (IEC) on all matters of
electrotechnical standardization.
The procedures used to develop this document and those intended for its further maintenance are
described in the ISO/IEC Directives, Part 1. In particular, the different approval criteria needed for the
different types of ISO documents should be noted. This document was drafted in accordance with the
editorial rules of the ISO/IEC Directives, Part 2 (see www.iso.org/directives).
Attention is drawn to the possibility that some of the elements of this document may be the subject of
patent rights. ISO shall not be held responsible for identifying any or all such patent rights. Details of
any patent rights identified during the development of the document will be in the Introduction and/or
on the ISO list of patent declarations received (see www.iso.org/patents).
Any trade name used in this document is information given for the convenience of users and does not
constitute an endorsement.
For an explanation of the voluntary nature of standards, the meaning of ISO specific terms and
expressions related to conformity assessment, as well as information about ISO's adherence to
the World Trade Organization (WTO) principles in the Technical Barriers to Trade (TBT), see
www.iso.org/iso/foreword.html.
This document was prepared by Technical Committee ISO/TC 69, Applications of statistical methods,
Subcommittee SC 6, Measurement methods and results.
Any feedback or questions on this document should be directed to the user’s national standards body. A
complete listing of these bodies can be found at www.iso.org/members.html.
iv
Introduction
An appropriate approach for the validation of binary methods will often differ considerably from that
of quantitative methods. Nevertheless, core concepts from the validation of quantitative methods can
be successfully carried over to binary methods. In particular, the precision of a method – a performance
characteristic usually associated with quantitative methods – can be determined for the level of
detection (LOD) of binary methods.
In analytical chemistry, one of the fundamental indicators of method performance is the reproducibility
[1]
of quantitative test results as described in ISO 5725 (all parts) . This aspect of method performance is
not usually taken into consideration in the validation of binary methods. However, in the last few years,
novel validation approaches have been proposed in which the reproducibility of a binary method can be
determined and meaningfully interpreted.
Why is it important to determine a method’s reproducibility? In order to answer this question, consider
an example from the field of microbiology. Take the case that, in the validation study, a method’s LOD
is determined as 3 CFU/ml (CFU = colony forming unit), but that the LOD is sometimes much higher
depending on the laboratory or on the test conditions. Failing to detect the occasional unreliability of
the method could lead to mistakes in routine laboratory determinations. On the other hand, if an LOD
of 300 CFU/ml is obtained in the validation study, the method will not be validated even though this
excessive LOD is not representative of its average performance. Accordingly, both the average LOD
value and the reproducibility parameter – describing the variability of the LOD across laboratories or
test conditions – capture important information about the performance of the method and should be
determined in the course of the validation process.
In order to accomplish this, a suitable approach should be identified for the conversion of the binary
results into quantitative ones. In this standard, two parametric models for the calculation of the LOD
will be used: one model for methods for discrete measurands, e.g. microbiological and Polymerase
Chain Reaction (PCR) methods, and one model for methods for continuous measurands, e.g. chemical
methods.
Two different study designs will be applied. In the conventional approach, test conditions vary randomly
from one laboratory to the other, whereas in the factorial approach, at least to some extent, test
conditions are controlled. The factorial approach makes it possible to assess different sources of errors
such as the variability arising in connection with different analysts, different instruments, different
lots of reagents, different elapsed assay times, different assay temperatures etc. Such an approach also
allows a reduction in workload and fewer participating laboratories.
v
TECHNICAL SPECIFICATION ISO/TS 27878:2023(E)
Reproducibility of the level of detection (LOD) of binary
methods in collaborative and in-house validation studies
1 Scope
This document provides statistical techniques for the determination of the reproducibility of the level
of detection for
a) binary (qualitative) test methods for continuous measurands, e.g. the content of a chemical
substance, and
b) binary (qualitative) test methods for discrete measurands, e.g. the number of RNA copies in a
sample.
The reproducibility precision is determined according to ISO 5725 (all parts).
Precision estimates are subject to random variability. Accordingly, it is important to determine
the uncertainty associated with each estimate, and to understand the relationship between this
uncertainty, the number of participants and the experimental design. This document thus provides not
only a description of statistical tools for the calculation of the LOD reproducibility precision, but also
for the standard error of the estimates.
2 Normative references
The following documents are referred to in the text in such a way that some or all of their content
constitutes requirements of this document. For dated references, only the edition cited applies. For
undated references, the latest edition of the referenced document (including any amendments) applies.
ISO 3534-1, Statistics — Vocabulary and symbols — Part 1: General statistical terms and terms used in
probability
ISO 5725-1, Accuracy (trueness and precision) of measurement methods and results — Part 1: General
principles and definitions
3 Terms and definitions
For the purposes of this document, the terms and definitions given in ISO 3534-1 and ISO 5725-1 and
the following apply.
ISO and IEC maintain terminology databases for use in standardization at the following addresses:
— ISO Online browsing platform: available at https:// www .iso .org/ obp
— IEC Electropedia: available at https:// www .electropedia .org/
3.1
factor
binary or quantitative parameter within the method that can be varied at two or more levels within the
limits of the specified method
EXAMPLE Technician.
3.2
factor level
value of the factors (3.1) within the experimental design
EXAMPLE Technician 1, Technician 2, etc.
3.3
level of detection
LOD
concentration from which on the POD (3.4) is not below a specified limit, e.g. 0,5 or 0,95 (LOD or
50%
LOD ).
95%
Note 1 to entry: This definition is mathematically equivalent to the definitions for “level of detection” in
[2] [3] [4]
ISO 16140-1 , ISO 16140-2 and ISO 16140-4 . It differs from the definition used for chemical and physical
methods for which a “limit of detection” is defined as the lowest quantity of an analyte that can be distinguished
from the absence of that analyte with a stated confidence level.
Note 2 to entry: In this document, the term concentration (or concentration level) is used as a generic term to
mean not only the actual concentration in the case of a measurand that can be quantified on a continuous scale,
but also the number of colony forming units or DNA copies per aliquot in the case of measurands which are
quantified on a discrete scale.
3.4
probability of detection
POD
probability of a positive analytical outcome of a qualitative test method at a given concentration for a
specific sample type
Note 1 to entry: This definition is based on the two slightly different definitions for “probability of detection” in
[6]
ISO/TS 16393 and ISO 16140-1, ISO 16140-2 and ISO 16140-4.
Note 2 to entry: The POD is a measure of the probability of a positive analytical result and thus a theoretical
value which can be approximated by a mathematical model.
3.5
rate of detection
ROD
proportion of positive analytical outcomes in a test series, when a qualitative method is performed
several times with a specific sample
Note 1 to entry: The ROD is not a theoretical value based on a mathematical model [like the POD (3.4)] but the
result of a series of repeated tests performed on a given sample.
4 Symbols
p number of participating laboratories
between-laboratory variance
σ
L
POD = P probability of detection
x concentration level (see Note 1 to entry 3.3) at which the POD is calculated
ROD rate of detection
LOD = L 50 % of the level of detection
50% 50
LOD = L 95 % of the level of detection
95% 95
L, H, B, C global model parameters for the four-parameter sigmoid curve
a laboratory-specific correction of laboratory i for the global inflection point C
i
normal distribution with mean μ and variance σ
N μσ,
()
5 General principles
5.1 General considerations
In order to ensure that tests are conducted in the same manner in all participating laboratories, the test
method should be standardized. All tests forming part of an experiment within an individual laboratory
or of an interlaboratory experiment shall be carried out according to the corresponding standardized
protocol.
The statistical methods described in this document are applicable for binary test methods which yield
a yes/no result (e.g. the substance of interest is present or absent). For such test methods, one of the
main criteria of the method’s fitness for purpose is the level of detection (e.g. LOD or LOD ), i.e.
50% 95%
the (concentration) level required to ensure a POD of 50 % or 95 %. The aim is thus to determine LOD
values for the individual laboratories as well as an overall LOD across laboratories. The precision of the
method can then be evaluated in terms of the variability to which the laboratory-specific LOD values
are subjected.
The laboratory-specific LOD values and the mean LOD across laboratories can be computed based on a
mathematical model for the relationship between level, x, and probability of detection POD xP= ()x
()
ii
for laboratory i: The LOD of laboratory i is then the lowest level, x, for which POD xP=≥()x 09, 5
()
95% ii
.
5.2 Considerations for the conventional approach
The conventional approach is based on the assumption that, according to the design used in ISO 5725-2,
all tests are performed under repeatability conditions in each of the laboratories involved. In particular,
all tests in the laboratory are performed by the same technician, with the same equipment, under the
same conditions and directly one after the other. Test results are considered to have been obtained
from different laboratories under reproducibility conditions, i.e. many factors contribute to observed
variability, e.g. differences in equipment, environmental conditions, reagent batches or technician.
NOTE Validation protocols according to the conventional approach based on LOD and POD can be found
[7]
in ISO 16140-2, ISO 16140-4 and ISO/TS 16393 and AOAC Guidelines . Examples and further protocols are
discussed e.g. in References [8][9][10][11][12] and [13].
5.3 Considerations for the factorial approach
Compared to the conventional approach, in which tests are made under repeatability conditions in each
of the laboratories, the factorial approach systematically varies one or more factors. For instance, half
the tests are conducted with reagents from batch A, and the other half with reagents from batch B.
Thus, the factorial approach makes it possible to ensure the full spectrum of test conditions is covered
in the validation study and assess contributions to variability from separate sources of error. This
approach translates to more efficient and reliable estimation of the total variability.
NOTE Validation protocols based on LOD for microbiological methods according to the factorial approach
[4] [5]
are given in ISO 16140-4 and ISO 16140-5 .
6 Conventional approach
6.1 Experimental design
Results from at least 8 participants, 4 concentration levels, and 8 replicates per level and laboratory
are required to obtain a statistically reliable POD curve. However, with such a design, the reliability
of the results may not be sufficient and will need to be checked. For more reliable estimation of the
LOD and the corresponding variability, it is recommended that results from at least 8 participants,
5 concentration levels, and 12 replicates per level and laboratory are available. If the number of
participants is increased, the number of replicates can be reduced.
The lowest concentration level should be selected so that no further reduction in POD is expected,
even if the concentration level is further reduced. The highest concentration level should be selected in
such a way that no further increase in POD is to be expected even if the concentration level is further
increased. The expected proportions of positive test results across laboratories should be between
20 % and 80 % for at least two concentration levels.
The proportion of positive test results expected at the beginning of the collaborative trial usually differs
from the final POD. This may mean that the proportion of positive test results actually determined in
the collaborative trial does not meet the above requirements. In this case, the results of the evaluation
and, in particular, the calculated reproducibility of the LOD can only be regarded as an estimate.
NOTE These recommendations for the experimental design are based on simulation studies in which the
standard error of the estimate of the laboratory standard deviation was evaluated.
6.2 Statistical model for methods for continuous measurands
The calculation of the LOD is based on a generalized linear mixed-effects model (GLMM) together with
a four-parameter sigmoid curve given by Formula (1):
LH−
POD=P = +H (1)
ii
B
 x 
1+
 
aC
 i 
where
i denotes the laboratory (i = 1, 2,., p);
POD = P denote the probability of detection for laboratory i;
i i
x denotes a given concentration level;
L, H, B, C are global model parameters (i.e. they are valid across all laboratories);
a denotes the laboratory-specific correction of laboratory i;
i
C denotes the global inflection point C.
It is assumed that the parameters, L (lowest probability of detection), H (highest probability of
detection), and B (slope) are the same for all laboratories. The product a C describes the location of the
i
inflection point of the curve for laboratory i; for L = 0 %, H = 100 %, it corresponds to the concentration
at which a POD of 50 % is reached. The value of this product is thus a direct measure of the performance
of the specific laboratory. The parameter, C, corresponds to the performance of an average laboratory.
The a values are modelled as realizations of a random variable: It is assumed that the ln a values follow
i i
a normal distribution with
lna ∼N 0,σ
()
i L
The parameters L, H, B, C and σ can be provided by maximum likelihood estimation, e.g. in
L
mathematical-statistical software package. The variance σ characterizes the variability of sensitivity
L
between laboratories.
NOTE 1 Although there is no guarantee that the distribution of ln a values actually follows a normal
i
distribution, the log transformation usually leads to a better approximation of the normal distribution. If the
method displays poor precision, then the prediction range of the LOD values without log transformation could
include infeasible negative values.
NOTE 2 It is assumed that the parameters L, H, C and B are the same for all laboratories, i.e. that the shape
of the curve is sigmoidal and the same across laboratories. It should be checked whether this assumption is
justified, e.g. through a graphic check of laboratory-specific POD curves.
The interpretation of the parameters will be explained with an example, see Reference [13]. A
collaborative study of a method for the binary analysis of gluten in corn products was conducted to
demonstrate that the binary test method can detect gluten contaminations below the threshold of
20 mg/kg gluten. A total of four corn sample lots with different gluten concentrations was submitted
to 18 laboratories to evaluate the sensitivity and reproducibility of the test method. Each of the 18
laboratories conducted 10 tests for each of four concentration levels. Table 1 provides the corresponding
numbers of positive results per laboratory and concentration level.
Table 1 — Number of positive test results per concentration level and laboratory (10 replicates)
Concentration level
Laboratory
No.
0,88 mg/kg 2,42 mg/kg 5,48 mg/kg 9,38 mg/kg
01 0 10 10 10
02 0 10 10 10
03 0 10 10 10
04 0 10 10 10
05 0 10 10 10
06 0 10 10 10
07 0 10 10 10
08 0 9 10 10
09 0 10 10 10
10 0 9 8 10
11 0 10 10 10
12 0 10 10 10
13 0 10 10 10
14 0 10 10 10
15 0 9 10 10
16 0 10 10 10
17 0 10 10 10
18 2 10 10 10
Figure 1 shows the POD curve of a laboratory with average performance (solid line) along with 95 %
prediction range of laboratory-specific POD (dark grey zone) and 95 % prediction range of laboratory-
specific RODs (light grey step-functions). The numbers adjacent to the diamonds indicate the
laboratory numbers having obtained the corresponding ROD.
For instance, at the concentration level 0,88 mg/kg, one laboratory has an ROD of 0,2, and 17
laboratories have an ROD of 0. Comparison with Table 1 shows that the laboratory with the ROD of
0,2 is laboratory 18. The light grey step-functions show the 95 % prediction range for the ROD values,
obtained from simulation runs performed on the basis of the parameter estimates (Monte Carlo
simulation). Figure 1 can be read as follows: a POD of 80 % is reached by a laboratory with an average
performance at a concentration of about 1,7 mg/kg (solid line), whereas a top-performing laboratory
will reach this POD at 1,3 mg/kg (upper dark grey zone) and a low-performing laboratory will need a
concentration of about 2,2 mg/kg (lower dark grey zone).
NOTE 3 None of the selected concentration levels is within the 20 % to 80 % interval; therefore, the calculated
reproducibility data can only be considered as an inaccurate estimate.
Key
X concentration, in mg/kg Y POD and ROD
Figure 1 — Mean POD curve, laboratory-specific RODs and prediction ranges
A special case of the model in 6.2 with L = 0, H = 1 and constant a value is equivalent to the logit
i
model for x > 0. In other words, the logit model is already included in the model in 6.2. In practical
terms, this statement also holds for the probit model, since it is very simil
...


SPÉCIFICATION ISO/TS
TECHNIQUE 27878
Première édition
2023-01
Reproductibilité du niveau de
détection (LOD) des méthodes
binaires pour des études de validation
collaboratives et internes
Reproducibility of the level of detection (LOD) of binary methods in
collaborative and in-house validation studies
Numéro de référence
DOCUMENT PROTÉGÉ PAR COPYRIGHT
© ISO 2023
Tous droits réservés. Sauf prescription différente ou nécessité dans le contexte de sa mise en œuvre, aucune partie de cette
publication ne peut être reproduite ni utilisée sous quelque forme que ce soit et par aucun procédé, électronique ou mécanique,
y compris la photocopie, ou la diffusion sur l’internet ou sur un intranet, sans autorisation écrite préalable. Une autorisation peut
être demandée à l’ISO à l’adresse ci-après ou au comité membre de l’ISO dans le pays du demandeur.
ISO copyright office
Case postale 401 • Ch. de Blandonnet 8
CH-1214 Vernier, Genève
Tél.: +41 22 749 01 11
E-mail: copyright@iso.org
Web: www.iso.org
Publié en Suisse
ii
Sommaire Page
Avant-propos .iv
Introduction .v
1 Domaine d’application . 1
2 Références normatives .1
3 Termes et définitions . 1
4 Symboles . 2
5 Principes généraux . 3
5.1 Considérations générales . 3
5.2 Considérations relatives à l’approche conventionnelle . 3
5.3 Considérations relatives à l’approche factorielle . 3
6 Approche conventionnelle . 4
6.1 Plan d’expérience . 4
6.2 Modèle statistique pour les méthodes applicables aux mesurandes continus . 4
6.3 Modèle statistique pour les méthodes applicables aux mesurandes discrets . 7
6.4 Fiabilité des estimations de la fidélité . 10
7 Approche factorielle.10
8 Validation interne .13
9 Logiciel.14
Bibliographie .15
iii
Avant-propos
L’ISO (Organisation internationale de normalisation) est une fédération mondiale d’organismes
nationaux de normalisation (comités membres de l’ISO). L’élaboration des Normes internationales est
en général confiée aux comités techniques de l’ISO. Chaque comité membre intéressé par une étude
a le droit de faire partie du comité technique créé à cet effet. Les organisations internationales,
gouvernementales et non gouvernementales, en liaison avec l’ISO participent également aux travaux.
L’ISO collabore étroitement avec la Commission électrotechnique internationale (IEC) en ce qui
concerne la normalisation électrotechnique.
Les procédures utilisées pour élaborer le présent document et celles destinées à sa mise à jour sont
décrites dans les Directives ISO/IEC, Partie 1. Il convient, en particulier de prendre note des différents
critères d’approbation requis pour les différents types de documents ISO. Le présent document
a été rédigé conformément aux règles de rédaction données dans les Directives ISO/IEC, Partie 2
(voir www.iso.org/directives).
L’attention est attirée sur le fait que certains des éléments du présent document peuvent faire l’objet de
droits de propriété intellectuelle ou de droits analogues. L’ISO ne saurait être tenu pour responsable
de ne pas avoir identifié de tels droits de brevets. Les détails concernant les références aux droits
de propriété intellectuelle ou autres droits analogues identifiés lors de l’élaboration du document
sont indiqués dans l’Introduction et/ou dans la liste des déclarations de brevets reçues par l’ISO
(voir www.iso.org/brevets).
Les appellations commerciales éventuellement mentionnées dans le présent document sont données
pour information, par souci de commodité, à l’intention des utilisateurs et ne sauraient constituer un
engagement.
Pour une explication de la nature volontaire des normes, la signification des termes et expressions
spécifiques de l’ISO liés à l’évaluation de la conformité, ou pour toute information au sujet de l’adhésion
de l’ISO aux principes de l’Organisation mondiale du commerce (OMC) concernant les obstacles
techniques au commerce (OTC), voir le lien suivant: www.iso.org/iso/fr/avant-propos.
Le présent document a été élaboré par le comité technique ISO/TC 69, Application des méthodes
statistiques, sous-comité SC 6, Méthodes et résultats de mesure.
Il convient que l’utilisateur adresse tout retour d’information ou toute question concernant le présent
document à l’organisme national de normalisation de son pays. Une liste exhaustive desdits organismes
se trouve à l’adresse www.iso.org/fr/members.html.
iv
Introduction
En général, une approche adéquate pour la validation des méthodes binaires diffère considérablement
de celle adéquate pour les méthodes quantitatives. Les concepts essentiels de la validation des méthodes
quantitatives peuvent néanmoins être transposés aux méthodes binaires avec succès. Il est notamment
possible de déterminer la fidélité d’une méthode (une caractéristique de performance généralement
associée aux méthodes quantitatives) pour le niveau de détection (LOD) des méthodes binaires.
En chimie analytique, l’un des indicateurs fondamentaux de performance d’une méthode est la
reproductibilité des résultats d’essai quantitatifs, comme décrit dans l’ISO 5725 (toutes les parties).
[1]
. Cet aspect de la performance n’est habituellement pas pris en considération dans la validation des
méthodes binaires. Cependant, ces dernières années ont vu se développer de nouvelles approches de
validation dans lesquelles la reproductibilité d’une méthode binaire peut être déterminée et interprétée
de manière pertinente.
Pourquoi est-il important de déterminer la reproductibilité d’une méthode ? Un exemple dans le domaine
de la microbiologie peut aider à répondre à cette question. Dans une étude de validation, la valeur de LOD
d’une méthode est déterminée comme étant égale à 3 UFC/ml (UFC = unité formant colonie), mais cette
valeur est parfois nettement plus élevée selon le laboratoire ou les conditions d’essai. Ne pas détecter
le manque de fiabilité occasionnel de la méthode peut mener à des erreurs dans les déterminations
de routine en laboratoire. De même, si une valeur de LOD de 300 UFC/ml est obtenue dans l’étude de
validation, la méthode n’est pas validée même si cette valeur excessive n’est pas représentative de la
performance moyenne. La valeur de LOD moyenne et le paramètre de reproductibilité (décrivant
la variabilité de LOD entre les laboratoires ou les conditions d’essai) fournissent donc tous deux des
informations importantes sur la performance de la méthode et il convient de les déterminer au cours du
processus de validation.
Pour cela, il convient d’identifier une approche appropriée permettant de convertir les résultats
binaires en résultats quantitatifs. Dans la présente norme, deux modèles paramétriques pour le calcul
de LOD sont utilisés: un modèle pour les méthodes applicables aux mesurandes discrets, telles que les
méthodes de microbiologie et de réaction de polymérisation en chaîne (PCR), et un modèle pour les
méthodes applicables aux mesurandes continus, telles les méthodes chimiques.
Les études sont planifiées selon deux approches différentes. Dans l’approche conventionnelle, les
conditions d’essai varient de manière aléatoire d’un laboratoire à l’autre, tandis que dans l’approche
factorielle, les conditions d’essai sont, au moins dans une certaine mesure, contrôlées. L’approche
factorielle permet d’évaluer diverses sources d’erreur telles que la variabilité due aux différents
analystes, différents instruments, différents lots de réactifs, différentes durées d’essai, différentes
températures d’essai, etc. Ce type d’approche permet également de réduire la charge de travail ainsi
que le nombre de laboratoires participants.
v
SPÉCIFICATION TECHNIQUE ISO/TS 27878:2023(F)
Reproductibilité du niveau de détection (LOD) des
méthodes binaires pour des études de validation
collaboratives et internes
1 Domaine d’application
Le présent document fournit des techniques statistiques pour la détermination de la reproductibilité du
niveau de détection pour:
a) les méthodes d’essai binaires (qualitatives) pour les mesurandes continus, par exemple dans le
contenu d’une substance chimique;
b) les méthodes d’essai binaires (qualitatives) pour les mesurandes discrets, par exemple dans le
nombre de copies d’ARN dans un échantillon.
La fidélité de la reproductibilité est déterminée conformément à l’ISO 5725 (toutes les parties).
Les estimations de la fidélité sont sujettes à une variabilité aléatoire. Par conséquent, il est important
de déterminer l’incertitude associée à chaque estimation et de comprendre la relation entre cette
incertitude, le nombre de participants et le plan d’expérience. À cet effet, le présent document décrit les
outils statistiques non seulement pour le calcul de la fidélité de la reproductibilité de LOD, mais aussi
pour l’erreur-type des estimations.
2 Références normatives
Les documents suivants sont cités dans le texte de sorte qu’ils constituent, pour tout ou partie de leur
contenu, des exigences du présent document. Pour les références datées, seule l’édition citée s’applique.
Pour les références non datées, la dernière édition du document de référence s’applique (y compris les
éventuels amendements).
ISO 3534-1, Statistique — Vocabulaire et symboles — Partie 1: Termes statistiques généraux et termes
utilisés en calcul des probabilités
ISO 5725-1, Exactitude (justesse et fidélité) des résultats et méthodes de mesure — Partie 1: Principes
généraux et définitions
3 Termes et définitions
Pour les besoins du présent document, les termes et définitions donnés dans l’ISO 3534-1 et l’ISO 5725-1
ainsi que les suivants s’appliquent.
L’ISO et l’IEC tiennent à jour des bases de données terminologiques destinées à être utilisées en
normalisation, consultables aux adresses suivantes:
— ISO Online browsing platform: disponible à l’adresse https:// www .iso .org/ obp
— IEC Electropedia: disponible à l’adresse https:// www .electropedia .org/
3.1
facteur
paramètre binaire ou quantitatif de la méthode, qui peut être modifié à deux niveaux ou plus dans les
limites de la méthode spécifiée
EXEMPLE Technicien.
3.2
niveau de facteur
valeur des facteurs (3.1) du plan d’expérience
EXEMPLE Technicien 1, Technicien 2, etc.
3.3
niveau de détection
LOD
concentration pour laquelle la probabilité de détection (POD) (3.4) ne dépasse pas une limite spécifiée,
par exemple 0,5 ou 0,95 (LOD ou LOD )
50 % 95 %
Note 1 à l'article: La présente définition est mathématiquement équivalente aux définitions du «niveau de
[3] [4] [5]
détection» de l’ISO 16140-1 , l’ISO 16140-2 et l’ISO 16140-4 . Elle diffère de la définition utilisée pour les
méthodes chimiques et physiques, pour lesquelles une «limite de détection» est définie comme la quantité
minimale d’un analyte qui peut être distinguée de l’absence de cet analyte avec un niveau de confiance déclaré.
Note 2 à l'article: Dans le présent document, le terme «concentration» (ou «niveau de concentration») est utilisé
comme terme générique pour indiquer non seulement la concentration réelle dans le cas d’un mesurande pouvant
être quantifié sur une échelle continue, mais également le nombre d’unités formant colonie ou de copies d’ADN
par aliquote dans le cas de mesurandes quantifiés sur une échelle discrète.
3.4
probabilité de détection
POD
probabilité d’obtenir un résultat d’analyse positif à partir d’une méthode d’essai qualitative à une
concentration donnée pour un type d’échantillon spécifique
Note 1 à l'article: La présente définition s’appuie sur les deux définitions légèrement différentes de la «probabilité
[6]
de détection» de l’ISO/TS 16393 , l’ISO 16140-1, l’ISO 16140-2 et l’ISO 16140-4.
Note 2 à l'article: La POD est une mesure de la probabilité d’un résultat d’analyse positif et représente donc une
valeur théorique qui peut être approximée par un modèle mathématique.
3.5
taux de détection
ROD
proportion de résultats d’analyse positifs dans une série d’essais, lorsqu’une méthode qualitative est
appliquée plusieurs fois avec un échantillon spécifique
Note 1 à l'article: Le ROD n’est pas une valeur théorique basée sur un modèle mathématique [comme la POD (3.4)],
mais le résultat d’une série d’essais répétés réalisés sur un échantillon donné.
4 Symboles
p nombre de laboratoires participants
variance interlaboratoires
σ
L
POD = P probabilité de détection
ROD taux de détection, x
LOD = L 50 % du niveau de détection
50 % 50
LOD = L 95 % du niveau de détection
95 % 95
L, H, B, C paramètres du modèle général pour la courbe sigmoïde à quatre paramètres
a correction spécifique du laboratoire i
i
C point d’inflexion global C
distribution normale avec moyenne μ et variance σ
N μσ,
()
5 Principes généraux
5.1 Considérations générales
Afin de s’assurer que les essais sont réalisés de la même manière dans tous les laboratoires participants,
il convient de normaliser la méthode d’essai. Tous les essais faisant partie d’une expérience au sein d’un
laboratoire individuel ou d’une expérience interlaboratoires doivent être réalisés conformément au
protocole normalisé correspondant.
Les méthodes statistiques décrites dans le présent document sont applicables aux méthodes d’essai
binaires qui donnent un résultat de type oui/non (par exemple la substance étudiée est présente ou
absente). Pour de telles méthodes d’essai, l’un des principaux critères d’aptitude à l’emploi de la méthode
est le niveau de détection (par exemple LOD ou LOD ), c’est-à-dire le niveau (de concentration)
50 % 95 %
requis pour garantir une POD de 50 % ou 95 %. L’objectif est donc de déterminer les valeurs de LOD
pour chacun des laboratoires ainsi qu’une valeur de LOD globale entre les laboratoires. La fidélité de la
méthode peut ensuite être évaluée en ce qui concerne la variabilité des valeurs de LOD spécifiques des
laboratoires.
Les valeurs de LOD spécifiques des laboratoires et la valeur de LOD moyenne entre les laboratoires
peuvent être calculées à partir d’un modèle mathématique de la relation entre le niveau x et la
probabilité de détection POD ()xP= ()x pour le laboratoire i: la valeur LOD du laboratoire i est
95 %
ii
alors le niveau le plus bas, x, pour lequel POD ()xP=≥()x 09, 5 .
ii
5.2 Considérations relatives à l’approche conventionnelle
L’approche conventionnelle repose sur l’hypothèse selon laquelle, conformément au plan utilisé
dans l’ISO 5725-2, tous les essais sont réalisés dans des conditions de répétabilité dans chacun des
laboratoires impliqués. En particulier, tous les essais en laboratoire sont réalisés par le même technicien,
avec le même équipement, dans les mêmes conditions et directement l’un après l’autre. Les résultats
d’essai sont considérés comme ayant été obtenus auprès de différents laboratoires dans des conditions
de reproductibilité, ce qui signifie que de nombreux facteurs contribuent à la variabilité observée,
par exemple les différences d’équipement, de conditions environnementales, de lots de réactifs ou de
techniciens.
NOTE Des protocoles de validation conformes à l’approche conventionnelle basée sur le LOD et la POD sont
[7]
disponibles dans l’ISO 16140-2, l’ISO 16140-4 et l’ISO/TS 16393 ainsi que dans les lignes directrices de l’AOAC .
Des exemples et d’autres protocoles sont donnés dans les Références [8][9][10][11][12] et [13].
5.3 Considérations relatives à l’approche factorielle
Comparée à l’approche conventionnelle dans laquelle les essais sont réalisés dans des conditions de
répétabilité au sein de chacun des laboratoires, l’approche factorielle implique la variation systématique
d’un ou de plusieurs facteurs. Par exemple, la moitié des essais est réalisée avec des réactifs du lot A et
l’autre moitié avec les réactifs du lot B. Par conséquent, l’approche factorielle permet de s’assurer que
l’ensemble des conditions d’essai est couvert dans l’étude de validation et d’évaluer les contributions à
la variabilité provenant de sources d’erreur distinctes. Cette approche se traduit par une estimation
plus efficace et plus fiable de la variabilité totale.
NOTE Des protocoles de validation basés sur le LOD pour les méthodes microbiologiques conformes à
[5] [14]
l’approche factorielle sont données dans l’ISO 16140-4 et l’ISO 16140-5 .
6 Approche conventionnelle
6.1 Plan d’expérience
Les résultats d’au moins 8 participants, 4 niveaux de concentration et 8 répétitions par niveau et par
laboratoire sont requis pour obtenir une courbe de POD statistiquement fiable. Cependant, avec un tel
plan, la fiabilité des résultats peut ne pas être suffisante et devra être vérifiée. Pour une estimation
plus fiable de LOD et de la variabilité correspondante, il est recommandé que les résultats d’au moins
8 participants, 5 niveaux de concentration et 12 répétitions par niveau et par laboratoire soient
disponibles. Si le nombre de participants est augmenté, le nombre de répétitions peut être réduit.
Il convient de choisir le niveau de concentration le plus bas de telle sorte qu’aucune réduction
supplémentaire de la POD ne soit attendue, même si le niveau de concentration est encore réduit. Il
convient de choisir le niveau de concentration le plus élevé de telle sorte qu’aucune augmentation
supplémentaire de la POD ne soit attendue, même si le niveau de concentration est encore augmenté. Il
convient que les proportions attendues de résultats d’essai positifs entre laboratoires soient comprises
entre 20 % et 80 % pour au moins deux niveaux de concentration.
La proportion de résultats d’essai positifs attendus au début de l’essai interlaboratoires diffère
habituellement de la POD finale. Cela peut signifier que la proportion de résultats d’essai positifs
réellement déterminés lors de l’essai interlaboratoires ne satisfait pas aux exigences ci-dessus. Dans
ce cas, les résultats de l’évaluation et, en particulier, la reproductibilité calculée de la valeur de LOD ne
peuvent être considérés que comme une estimation.
NOTE Ces recommandations pour la conception expérimentale s’appuient sur des études de simulation dans
lesquelles l’erreur-type de l’estimation de l’écart-type du laboratoire a été évaluée.
6.2 Modèle statistique pour les méthodes applicables aux mesurandes continus
Le calcul de LOD est basé sur un modèle linéaire généralisé à effets mixtes (GLMM) avec une courbe
sigmoïde à quatre paramètres, donné par la Formule (1):
LH−
POD =P +H (1)
ii
B
 x 
1+
 
aC
 
i

i désigne le laboratoire (i = 1, 2,…, p);
POD = P désigne la probabilité de détection pour le laboratoire i;
i i
x désigne un niveau de concentration donné;
L, H, B, C sont des paramètres du modèle général (c’est-à-dire qu’ils sont valides dans tous les
laboratoires);
a désigne la correction spécifique du laboratoire i;
i
C désigne le point d’inflexion global C.
Les paramètres L (probabilité de détection la plus faible), H (probabilité de détection la plus élevée) et
B (pente) sont réputés être les mêmes pour tous les laboratoires. Le produit a C décrit l’emplacement
i
du point d’inflexion de la courbe pour le laboratoire i; pour L = 0 % et H = 100 %, il correspond à la
concentration à laquelle une POD de 50 % est atteinte. La valeur de ce produit est donc une mesure
directe de la performance du laboratoire concerné. Le paramètre C correspond à la performance d’un
laboratoire moyen. Les valeurs a sont modélisées comme des réalisations d’une variable aléatoire: les
i
valeurs ln a sont réputées suivre une distribution normale avec
i
lna ∼N 0,σ
()
i L
Les paramètres L, H, B, C et σ sont fournis par une estimation du maximum de vraisemblance, par
L
exemple dans un progiciel de statistiques mathématiques. La variance σ caractérise la variabilité de
L
la sensibilité entre les laboratoires.
NOTE 1 Bien qu’il n’y ait aucune garantie que la distribution des valeurs ln a suive réellement une distribution
i
normale, la transformation logarithmique conduit généralement à une meilleure approximation de la distribution
normale. Si la méthode présente une faible fidélité, alors la plage de prédiction des valeurs de LOD sans
transformation logarithmique peut inclure des valeurs négatives irréalisables.
NOTE 2 Les paramètres L, H, C et B sont réputés être les mêmes pour tous les laboratoires, c’est-à-dire que
la forme de la courbe est sigmoïde et la même dans l’ensemble des laboratoires. Il convient de vérifier si cette
hypothèse est justifiée, par exemple par un contrôle graphique des courbes de POD spécifiques des laboratoires.
L’interprétation des paramètres sera expliquée au moyen d’un exemple issu de la Référence [13]. Une
étude interlaboratoires portant sur une méthode d’analyse binaire du gluten dans les produits à base de
maïs a été réalisée afin de démontrer que la méthode d’essai binaire peut détecter des contaminations
par le gluten en dessous du seuil de 20 mg/kg de gluten. Un total de quatre lots d’échantillons de maïs
ayant différentes concentrations de gluten a été soumis à 18 laboratoires afin d’évaluer la sensibilité et
la reproductibilité de la méthode d’essai. Chacun des 18 laboratoires a réalisé 10 essais pour chacun des
quatre niveaux de concentration. Le Tableau 1 indique les nombres correspondants de résultats positifs
par laboratoire et par niveau de concentration.
Tableau 1 — Nombre de résultats d’essai positifs par niveau de concentration et par laboratoire
(10 répétitions)
o
Niveau de concentration
N de labo-
ratoire
0,88 mg/kg 2,42 mg/kg 5,48 mg/kg 9,38 mg/kg
01 0 10 10 10
02 0 10 10 10
03 0 10 10 10
04 0 10 10 10
05 0 10 10 10
06 0 10 10 10
07 0 10 10 10
08 0 9 10 10
09 0 10 10 10
10 0 9 8 10
11 0 10 10 10
12 0 10 10 10
13 0 10 10 10
14 0 10 10 10
15 0 9 10 10
16 0 10 10 10
17 0 10 10 10
18 2 10 10 10
La Figure 1 représente la courbe de POD d’un laboratoire avec les performances moyennes (ligne
pleine), ainsi que la plage de prédiction à 95 % de la POD spécifique d’un laboratoire (zone gris foncé)
et une plage de prédiction à 95 % des ROD spécifiques d’un laboratoire (fonctions en escalier gris
clair). Les chiffres adjacents aux losanges indiquent le nombre de laboratoires ayant obtenu le ROD
correspondant. Ainsi, au niveau de concentration 0,88 mg/kg, un laboratoire a une valeur de ROD de
0,2 et 17 laboratoires ont une valeur de ROD de 0. La comparaison avec le Tableau 1 montre que le
laboratoire associé à un ROD de 0,2 est le laboratoire 18. Les fonctions en escalier gris clair indiquent
la plage de prédiction à 95 % pour les valeurs de ROD, obtenue à partir de simulations effectuées sur la
base des estimations des paramètres (simulation de Monte-Carlo). La Figure 1 peut être lue comme suit:
une POD de 80 % est atteinte par un laboratoire ayant une performance moyenne à une concentration
d’environ 1,7 mg/kg (ligne pleine), tandis qu’un laboratoire performant atteindra cette POD à 1,3 mg/
kg (zone gris foncé supérieure) et un laboratoire peu performant aura besoin d’une concentration
d’environ 2,2 mg/kg (zone gris foncé inférieure).
NOTE 3 Aucun des niveaux de concentration sélectionnés ne se situe dans la plage de 20 % à 80 %;
par conséquent, les données de reproductibilité calculées ne peuvent être considérées que comme une estimation
imprécise.
Légende
X concentration, en mg/kg Y POD et ROD
Figure 1 — Courbe de POD moyenne, valeurs de ROD spécifiques des laboratoires et plages de
prédiction
Un cas particulier du modèle en 6.2 avec L = 0, H = 1 et une valeur a constante est équivalent au modèle
i
logit pour x > 0. En d’autres termes, le modèle logit est déjà inclus dans le modèle de 6.2. En termes
pratiques, cette déclaration s’applique également au modèle probit, car il est très similaire au modèle
logit; voir par exemple la Référence [15].
Si des résultats d’essai
...

Questions, Comments and Discussion

Ask us and Technical Secretary will try to provide an answer. You can facilitate discussion about the standard in here.

Loading comments...