ISO 13528:2022
(Main)Statistical methods for use in proficiency testing by interlaboratory comparison
Statistical methods for use in proficiency testing by interlaboratory comparison
This document provides detailed descriptions of statistical methods for proficiency testing providers to use to design proficiency testing schemes and to analyse the data obtained from those schemes. This document provides recommendations on the interpretation of proficiency testing data by participants in such proficiency testing schemes and by accreditation bodies. The procedures in this document can be applied to demonstrate that the measurement results obtained by laboratories, inspection bodies, and individuals meet specified criteria for acceptable performance. This document is applicable to proficiency testing where the results reported are either quantitative measurements or qualitative observations on test items. NOTE The procedures in this document can also be applied for the assessment of expert opinion where the opinions or judgments are reported in a form which can be compared objectively with an independent reference value or a consensus statistic. For example, when classifying proficiency test items into known categories by inspection - or in determining by inspection whether proficiency test items arise, or do not arise, from the same original source - and the classification results are compared objectively, the provisions of this document that relate to nominal (qualitative) properties can be applied.
Méthodes statistiques utilisées dans les essais d'aptitude par comparaison interlaboratoires
Le présent document fournit des descriptions détaillées de méthodes statistiques à utiliser par les organisateurs d’essais d’aptitude pour concevoir des programmes d’essais d’aptitude et pour analyser les données obtenues à partir de tels programmes. Le présent document donne des recommandations sur l’interprétation des données d’essais d’aptitude par les participants à de tels programmes d'essais d'aptitude et par les organismes d’accréditation. Les procédures du présent document peuvent être appliquées pour démontrer que les résultats de mesure obtenus par des laboratoires, des organismes de contrôle et des personnes remplissent les critères spécifiés pour des performances acceptables. Le présent document est applicable à des essais d’aptitude dans lesquels les résultats consignés sont des observations quantitatives ou qualitatives sur des entités soumises à l’essai. NOTE Les procédures énoncées dans le présent document peuvent être également appliquées pour l’évaluation d’un avis d’expert lorsque les avis ou les jugements sont consignés sous une forme qui peut être comparée de manière objective avec une valeur de référence indépendante ou avec une statistique consensuelle. Par exemple, lorsque des entités soumises à l’essai d’aptitude sont classées en catégories connues par contrôle – ou lorsque l’on cherche à déterminer par contrôle si des entités soumises à l’essai d’aptitude proviennent ou non de la même source d’origine – et lorsque les résultats de la classification sont comparés de manière objective, les dispositions du présent document qui se rapportent à des propriétés (qualitatives) nominales peuvent être appliquées.
Statistične metode za uporabo pri preverjanju strokovnosti z medlaboratorijsko primerjavo
Ta dokument zagotavlja natančne opise statističnih metod za ponudnike preverjanja strokovnosti, ki so namenjeni za uporabo pri zasnovi shem za preverjanje strokovnosti in analizi podatkov, pridobljenih v okviru teh shem. Ta dokument zagotavlja priporočila v zvezi z razlago podatkov, pridobljenih s preverjanjem strokovnosti, ki so namenjena udeležencem teh shem za preverjanje strokovnosti in akreditacijskim organom.
Postopke v tem dokumentu je mogoče uporabiti za dokazovanje, da rezultati meritev, ki so jih pridobili laboratoriji, inšpekcijski organi in posamezniki, izpolnjujejo določena merila sprejemljive uspešnosti.
Ta dokument se uporablja za preverjanje strokovnosti, pri kateri so sporočeni rezultati kvantitativne meritve ali kvalitativna opažanja v zvezi z nalogami preskusa.
OPOMBA: Postopke v tem dokumentu je mogoče uporabljati tudi za ocenjevanje strokovnih mnenj, če se ta mnenja ali sodbe sporočijo v obliki, ki jo je mogoče objektivno primerjati z neodvisno referenčno vrednostjo ali statistiko, glede katere vlada konsenz. Pri razvrščanju nalog preskusa usposobljenosti v znane kategorije s pregledom – ali pri ugotavljanju, ali naloge preskusa usposobljenosti izvirajo iz istega izvirnega vira ali ne – in pri objektivni primerjavi rezultatov razvrščanja se lahko uporabijo določbe tega dokumenta, ki se nanašajo na nominalne (kakovostne) lastnosti.
General Information
Relations
Standards Content (Sample)
SLOVENSKI STANDARD
01-september-2023
Statistične metode za uporabo pri preverjanju strokovnosti z medlaboratorijsko
primerjavo
Statistical methods for use in proficiency testing by interlaboratory comparison
Méthodes statistiques utilisées dans les essais d'aptitude par comparaison
interlaboratoires
Ta slovenski standard je istoveten z: ISO 13528:2022
ICS:
03.120.30 Uporaba statističnih metod Application of statistical
methods
2003-01.Slovenski inštitut za standardizacijo. Razmnoževanje celote ali delov tega standarda ni dovoljeno.
INTERNATIONAL ISO
STANDARD 13528
Third edition
2022-08
Statistical methods for use in
proficiency testing by interlaboratory
comparison
Méthodes statistiques utilisées dans les essais d'aptitude par
comparaison interlaboratoires
Reference number
© ISO 2022
All rights reserved. Unless otherwise specified, or required in the context of its implementation, no part of this publication may
be reproduced or utilized otherwise in any form or by any means, electronic or mechanical, including photocopying, or posting on
the internet or an intranet, without prior written permission. Permission can be requested from either ISO at the address below
or ISO’s member body in the country of the requester.
ISO copyright office
CP 401 • Ch. de Blandonnet 8
CH-1214 Vernier, Geneva
Phone: +41 22 749 01 11
Email: copyright@iso.org
Website: www.iso.org
Published in Switzerland
ii
Contents Page
Foreword .v
Introduction . vi
1 Scope . 1
2 Normative references . 1
3 Terms and definitions . 1
4 General principles . 4
4.1 General requirements for statistical methods . 4
4.2 Basic model . 5
4.3 General approaches for the evaluation of performance . 5
5 Guidelines for the statistical design of proficiency testing schemes .6
5.1 Introduction to the statistical design of proficiency testing schemes . 6
5.2 Basis of a statistical design . 6
5.3 Considerations for the statistical distribution of results . 7
5.4 Considerations for small numbers of participants . 8
5.5 Guidelines for choosing the reporting format . 8
5.5.1 General requirements for reporting format . 8
5.5.2 Reporting of replicate measurements . . 9
5.5.3 Reporting of ‘less than’ or ‘greater than’ a limit (censored data) . 9
5.5.4 Number of significant digits . . 9
6 Guidelines for the initial review of proficiency testing items and results.10
6.1 Homogeneity and stability of proficiency test items . 10
6.2 Considerations for different measurement methods . 11
6.3 Blunder removal . 11
6.4 Visual review of data . .12
6.5 Robust statistical methods .12
6.6 Outlier techniques for individual results . 13
7 Determination of the assigned value and its standard uncertainty .14
7.1 Choice of method of determining the assigned value . 14
7.2 Determining the uncertainty of the assigned value . 14
7.3 Formulation . 15
7.4 Certified reference material . 16
7.5 Results from one laboratory . 16
7.6 Consensus value from expert laboratories . 17
7.7 Consensus value from participant results . 18
7.8 Comparison of the assigned value with an independent reference value . 19
8 Determination of criteria for evaluation of performance .20
8.1 Approaches for determining evaluation criteria . 20
8.2 By perception of experts. 21
8.3 By experience from previous rounds of a proficiency testing scheme . . 21
8.4 By use of a general model . 21
8.5 Using the repeatability and reproducibility standard deviations from a previous
collaborative study of precision of a measurement method .22
8.6 From data obtained in the same round of a proficiency testing scheme .22
8.7 Monitoring interlaboratory agreement . 23
9 Calculation of performance statistics .24
9.1 General considerations for determining performance . 24
9.2 Limiting the uncertainty of the assigned value . 24
9.3 Estimates of deviation (measurement error) . 25
9.4 z scores . 26
9.5 z′ scores . 27
iii
9.6 Zeta scores (ζ) .28
9.7 E scores . 29
n
9.8 Evaluation of participant uncertainties in testing .30
9.9 Combined performance scores . 31
10 Graphical methods for describing performance scores .32
10.1 Application of graphical methods . 32
10.2 Histograms of results or performance scores . 32
10.3 Kernel density plots . 33
10.4 Bar-plots of standardized performance scores .34
10.5 Youden plot.34
10.6 Plots of repeatability standard deviations . 35
10.7 Split samples . 36
10.8 Graphical methods for combining performance scores over several rounds of a
proficiency testing scheme . 37
11 Design and analysis of qualitative proficiency testing schemes (including nominal
and ordinal properties) .38
11.1 Types of qualitative data .38
11.2 Statistical design.38
11.3 Assigned values for qualitative proficiency testing schemes .39
11.4 Performance evaluation and scoring for qualitative proficiency testing schemes .40
Annex A (normative) Symbols .42
Annex B (informative) Homogeneity and stability of proficiency test items . 44
Annex C (informative) Robust analysis .52
Annex D (informative) Additional guidance on statistical procedures .63
Annex E (informative) Illustrative examples .68
Annex F (Informative) Example of computer code for plotting and resampling analysis
(“bootstrapping”) of PT results .91
Bibliography .
...
INTERNATIONAL ISO
STANDARD 13528
Third edition
2022-08
Statistical methods for use in
proficiency testing by interlaboratory
comparison
Méthodes statistiques utilisées dans les essais d'aptitude par
comparaison interlaboratoires
Reference number
© ISO 2022
All rights reserved. Unless otherwise specified, or required in the context of its implementation, no part of this publication may
be reproduced or utilized otherwise in any form or by any means, electronic or mechanical, including photocopying, or posting on
the internet or an intranet, without prior written permission. Permission can be requested from either ISO at the address below
or ISO’s member body in the country of the requester.
ISO copyright office
CP 401 • Ch. de Blandonnet 8
CH-1214 Vernier, Geneva
Phone: +41 22 749 01 11
Email: copyright@iso.org
Website: www.iso.org
Published in Switzerland
ii
Contents Page
Foreword .v
Introduction . vi
1 Scope . 1
2 Normative references . 1
3 Terms and definitions . 1
4 General principles . 4
4.1 General requirements for statistical methods . 4
4.2 Basic model . 5
4.3 General approaches for the evaluation of performance . 5
5 Guidelines for the statistical design of proficiency testing schemes .6
5.1 Introduction to the statistical design of proficiency testing schemes . 6
5.2 Basis of a statistical design . 6
5.3 Considerations for the statistical distribution of results . 7
5.4 Considerations for small numbers of participants . 8
5.5 Guidelines for choosing the reporting format . 8
5.5.1 General requirements for reporting format . 8
5.5.2 Reporting of replicate measurements . . 9
5.5.3 Reporting of ‘less than’ or ‘greater than’ a limit (censored data) . 9
5.5.4 Number of significant digits . . 9
6 Guidelines for the initial review of proficiency testing items and results.10
6.1 Homogeneity and stability of proficiency test items . 10
6.2 Considerations for different measurement methods . 11
6.3 Blunder removal . 11
6.4 Visual review of data . .12
6.5 Robust statistical methods .12
6.6 Outlier techniques for individual results . 13
7 Determination of the assigned value and its standard uncertainty .14
7.1 Choice of method of determining the assigned value . 14
7.2 Determining the uncertainty of the assigned value . 14
7.3 Formulation . 15
7.4 Certified reference material . 16
7.5 Results from one laboratory . 16
7.6 Consensus value from expert laboratories . 17
7.7 Consensus value from participant results . 18
7.8 Comparison of the assigned value with an independent reference value . 19
8 Determination of criteria for evaluation of performance .20
8.1 Approaches for determining evaluation criteria . 20
8.2 By perception of experts. 21
8.3 By experience from previous rounds of a proficiency testing scheme . . 21
8.4 By use of a general model . 21
8.5 Using the repeatability and reproducibility standard deviations from a previous
collaborative study of precision of a measurement method .22
8.6 From data obtained in the same round of a proficiency testing scheme .22
8.7 Monitoring interlaboratory agreement . 23
9 Calculation of performance statistics .24
9.1 General considerations for determining performance . 24
9.2 Limiting the uncertainty of the assigned value . 24
9.3 Estimates of deviation (measurement error) . 25
9.4 z scores . 26
9.5 z′ scores . 27
iii
9.6 Zeta scores (ζ) .28
9.7 E scores . 29
n
9.8 Evaluation of participant uncertainties in testing .30
9.9 Combined performance scores . 31
10 Graphical methods for describing performance scores .32
10.1 Application of graphical methods . 32
10.2 Histograms of results or performance scores . 32
10.3 Kernel density plots . 33
10.4 Bar-plots of standardized performance scores .34
10.5 Youden plot.34
10.6 Plots of repeatability standard deviations . 35
10.7 Split samples . 36
10.8 Graphical methods for combining performance scores over several rounds of a
proficiency testing scheme . 37
11 Design and analysis of qualitative proficiency testing schemes (including nominal
and ordinal properties) .38
11.1 Types of qualitative data .38
11.2 Statistical design.38
11.3 Assigned values for qualitative proficiency testing schemes .39
11.4 Performance evaluation and scoring for qualitative proficiency testing schemes .40
Annex A (normative) Symbols .42
Annex B (informative) Homogeneity and stability of proficiency test items . 44
Annex C (informative) Robust analysis .52
Annex D (informative) Additional guidance on statistical procedures .63
Annex E (informative) Illustrative examples .68
Annex F (Informative) Example of computer code for plotting and resampling analysis
(“bootstrapping”) of PT results .91
Bibliography .92
iv
Foreword
ISO (the International Organization for Standardization) is a worldwide federation of national standards
bodies (ISO member bodies). The work of preparing International Standards is normally carried out
through ISO technical committees. Each member body interested in a subject for which a technical
committee has been established has the right to be represented on that committee. International
organizations, governmental and non-governmental, in liaison with ISO, also take part in the work.
ISO collaborates closely with the International Electrotechnical Commission (IEC) on all m
...
NORME ISO
INTERNATIONALE 13528
Troisième édition
2022-08
Méthodes statistiques utilisées dans
les essais d'aptitude par comparaison
interlaboratoires
Statistical methods for use in proficiency testing by interlaboratory
comparison
Numéro de référence
DOCUMENT PROTÉGÉ PAR COPYRIGHT
© ISO 2022
Tous droits réservés. Sauf prescription différente ou nécessité dans le contexte de sa mise en œuvre, aucune partie de cette
publication ne peut être reproduite ni utilisée sous quelque forme que ce soit et par aucun procédé, électronique ou mécanique,
y compris la photocopie, ou la diffusion sur l’internet ou sur un intranet, sans autorisation écrite préalable. Une autorisation peut
être demandée à l’ISO à l’adresse ci-après ou au comité membre de l’ISO dans le pays du demandeur.
ISO copyright office
Case postale 401 • Ch. de Blandonnet 8
CH-1214 Vernier, Genève
Tél.: +41 22 749 01 11
E-mail: copyright@iso.org
Web: www.iso.org
Publié en Suisse
ii
Sommaire Page
Avant-propos .v
0 Introduction . vi
1 Domaine d’application . 1
2 Références normatives .1
3 Termes et définitions . 1
4 Principes généraux . 5
4.1 Exigences générales relatives aux méthodes statistiques . 5
4.2 Modèle de base . 5
4.3 Approches générales pour l’évaluation des performances . 6
5 Lignes directrices pour le plan statistique des programmes d’essais d’aptitude .6
5.1 Présentation du plan statistique de programmes d’essais d’aptitude . 6
5.2 Base d’un plan statistique . 6
5.3 Considérations sur la distribution statistique des résultats . 7
5.4 Considérations sur les petits nombres de participants . 8
5.5 Lignes directrices pour choisir le format de rendu . 9
5.5.1 Exigences générales relatives au format de rendu . 9
5.5.2 Consignation des mesurages répétés. 9
5.5.3 Consignation sous la forme «inférieur à» ou «supérieur à» une limite
(données tronquées) . 10
5.5.4 Nombre de chiffres significatifs . 10
6 Lignes directrices pour la revue initiale des entités soumises à l’essai d’aptitude et
des résultats .11
6.1 Homogénéité et stabilité des entités soumises à l’essai d’aptitude . 11
6.2 Considérations sur les différentes méthodes de mesure .12
6.3 Élimination des valeurs aberrantes . 13
6.4 Examen visuel des données .13
6.5 Méthodes statistiques robustes . 13
6.6 Techniques de détection des valeurs aberrantes pour des résultats individuels. 14
7 Détermination de la valeur assignée et de son incertitude-type .15
7.1 Choix de la méthode de détermination de la valeur assignée . 15
7.2 Détermination de l’incertitude de la valeur assignée . 16
7.3 Formulation . 17
7.4 Matériau de référence certifié . 18
7.5 Résultats provenant d’un seul laboratoire . 18
7.6 Valeur consensuelle déterminée par des laboratoires experts . 19
7.7 Valeur consensuelle déterminée à partir des résultats des participants .20
7.8 Comparaison de la valeur assignée avec une valeur de référence indépendante . 21
8 Détermination des critères d’évaluation des performances .22
8.1 Approches pour la détermination des critères d’évaluation .22
8.2 Détermination par perception d’experts . 23
8.3 Détermination à partir de l’expérience acquise lors des campagnes précédentes
d’un programme d’essais d’aptitude . 23
8.4 Détermination par l’utilisation d’un modèle général . 24
8.5 Utilisation des écarts-types de répétabilité et de reproductibilité obtenus lors
d’une étude collaborative de la fidélité d’une méthode de mesure. 24
8.6 Détermination à partir de données obtenues lors d’une même campagne d’un
programme d’essais d’aptitude .25
8.7 Surveillance de la concordance interlaboratoires . 26
9 Calcul des statistiques de performances .26
9.1 Considérations générales pour la détermination des performances .26
9.2 Limitation de l’incertitude de la valeur assignée . 27
iii
9.3 Estimations des écarts (erreur de mesure) .28
9.4 Scores z .29
9.5 Scores z′ . 30
9.6 Scores zêta (ζ) . 31
9.7 Scores E . 32
n
9.8 Évaluation des incertitudes d’essais des participants . 33
9.9 Scores composés de performance .34
10 Méthodes graphiques de description des scores de performance .35
10.1 Application de méthodes graphiques . 35
10.2 Histogrammes de résultats ou de scores de performance . 35
10.3 Diagrammes de densité par la méthode du noyau .36
10.4 Diagrammes en bâtons des scores de performance normalisés .38
10.5 Graphique de Youden .38
10.6 Graphiques d’écarts-types de répétabilité . 39
10.7 Échantillons fractionnés .40
10.8 Méthodes graphiques de combinaison des scores de performance sur plusieurs
campagnes d’un programme d’essais d’aptitude . 41
11 Plan et analyse de programmes d’essais d’aptitude qualitatifs (y compris les
propriétés nominales et ordinales) .42
11.1 Types de données qualitatives . 42
11.2 Plan statistique . 42
11.3 Valeurs assignées pour les programmes d’essais d’aptitude . 43
11.4 Évaluation des performances et attribution de scores pour les programmes
d’essais d’aptitude qualitatifs . 45
Annexe A (normative) Symboles .47
Annexe B (informative) Homogénéité et stabilité des entités soumises à l’essai d’aptitude .49
Annexe C (informative) Analyse robuste .57
Annexe D (informative) Recommandations supplémentaires concernant
les procédures statistiques .68
Annexe E (informative) Exemples illustratifs .73
Annexe F (Informative) Exemple de code informatique pour la création de la représentation
graphique et l’analyse de rééchantillonnage (bootstrapping) des résultats des
essais d’aptitude .97
Bibliographie .98
iv
Avant-propos
L’ISO (Organisation internationale de normalisation) est une fédération mondiale d’organismes
nationaux de normalisation (comités membres de l’ISO). L’élaboration des Normes internationales est
en général confiée aux comités techniques de l’ISO. Chaque comité membre intéressé par une étude
a le droit de faire partie du comité technique cr
...
Questions, Comments and Discussion
Ask us and Technical Secretary will try to provide an answer. You can facilitate discussion about the standard in here.