ISO/TR 14468:2010
(Main)Selected illustrations of attribute agreement analysis
Selected illustrations of attribute agreement analysis
ISO/TR 14468:2010 assesses a measurement process where the characteristic(s) being measured is (are) in the form of attribute data (including nominal and ordinal data). ISO/TR 14468:2010 provides examples of attribute agreement analysis (AAA) and derives various results to assess closeness of agreement amongst appraisers, such as agreement within appraisers, agreement between appraisers, agreement of each appraiser vs. a standard, and agreement of all appraisers vs. a standard.
Illustrations choisies d'une analyse d'accord d'attribut
L'ISO/TR 14468:2010 évalue un processus de mesure dans lequel la (les) caractéristique(s) mesurée(s) a (ont) la forme de données d'attribut (comprenant des données nominales et des données ordinales). L'ISO/TR 14468:2010 fournit des exemples d'analyse d'accord d'attribut (AAA) et utilise divers résultats pour évaluer l'étroitesse de l'accord parmi les évaluateurs, tel que l'accord par évaluateur, l'accord entre les évaluateurs, l'accord de chaque évaluateur par rapport à une référence et l'accord de tous les évaluateurs par rapport à une référence.
General Information
Buy Standard
Standards Content (Sample)
TECHNICAL ISO/TR
REPORT 14468
First edition
2010-12-15
Selected illustrations of attribute
agreement analysis
Illustrations choisies d'une analyse d'accord d'attribut
Reference number
ISO/TR 14468:2010(E)
©
ISO 2010
---------------------- Page: 1 ----------------------
ISO/TR 14468:2010(E)
PDF disclaimer
This PDF file may contain embedded typefaces. In accordance with Adobe's licensing policy, this file may be printed or viewed but
shall not be edited unless the typefaces which are embedded are licensed to and installed on the computer performing the editing. In
downloading this file, parties accept therein the responsibility of not infringing Adobe's licensing policy. The ISO Central Secretariat
accepts no liability in this area.
Adobe is a trademark of Adobe Systems Incorporated.
Details of the software products used to create this PDF file can be found in the General Info relative to the file; the PDF-creation
parameters were optimized for printing. Every care has been taken to ensure that the file is suitable for use by ISO member bodies. In
the unlikely event that a problem relating to it is found, please inform the Central Secretariat at the address given below.
COPYRIGHT PROTECTED DOCUMENT
© ISO 2010
All rights reserved. Unless otherwise specified, no part of this publication may be reproduced or utilized in any form or by any means,
electronic or mechanical, including photocopying and microfilm, without permission in writing from either ISO at the address below or
ISO's member body in the country of the requester.
ISO copyright office
Case postale 56 • CH-1211 Geneva 20
Tel. + 41 22 749 01 11
Fax + 41 22 749 09 47
E-mail copyright@iso.org
Web www.iso.org
Published in Switzerland
ii © ISO 2010 – All rights reserved
---------------------- Page: 2 ----------------------
ISO/TR 14468:2010(E)
Contents Page
Foreword .iv
Introduction.v
1 Scope.1
2 Normative references.1
3 Terms and definitions .1
4 Symbols and abbreviated terms .3
5 Generic description of attribute agreement analysis .3
5.1 Overview of the structure of attribute agreement analysis.3
5.2 Overall objectives of attribute agreement analysis .3
5.3 Measurement process description.4
5.4 Agreement analysis methodology.4
5.5 Sampling plan for attribute agreement analysis .5
5.6 Data analysis.6
5.7 Conclusions and suggestions .6
6 Description of Annexes A to E.7
Annex A (informative) Liquid crystal display manufacture .8
Annex B (informative) Technical support centre triage of issues .14
Annex C (informative) Tasting differences in water .20
Annex D (informative) Thermistor defects .26
Annex E (informative) Assessment of level of disability following a stroke .34
Bibliography.42
© ISO 2010 – All rights reserved iii
---------------------- Page: 3 ----------------------
ISO/TR 14468:2010(E)
Foreword
ISO (the International Organization for Standardization) is a worldwide federation of national standards bodies
(ISO member bodies). The work of preparing International Standards is normally carried out through ISO
technical committees. Each member body interested in a subject for which a technical committee has been
established has the right to be represented on that committee. International organizations, governmental and
non-governmental, in liaison with ISO, also take part in the work. ISO collaborates closely with the
International Electrotechnical Commission (IEC) on all matters of electrotechnical standardization.
International Standards are drafted in accordance with the rules given in the ISO/IEC Directives, Part 2.
The main task of technical committees is to prepare International Standards. Draft International Standards
adopted by the technical committees are circulated to the member bodies for voting. Publication as an
International Standard requires approval by at least 75 % of the member bodies casting a vote.
In exceptional circumstances, when a technical committee has collected data of a different kind from that
which is normally published as an International Standard (“state of the art”, for example), it may decide by a
simple majority vote of its participating members to publish a Technical Report. A Technical Report is entirely
informative in nature and does not have to be reviewed until the data it provides are considered to be no
longer valid or useful.
Attention is drawn to the possibility that some of the elements of this document may be the subject of patent
rights. ISO shall not be held responsible for identifying any or all such patent rights.
ISO/TR 14468 was prepared by Technical Committee ISO/TC 69, Applications of statistical methods,
Subcommittee SC 7, Applications of statistical and related techniques for the implementation of Six Sigma.
iv © ISO 2010 – All rights reserved
---------------------- Page: 4 ----------------------
ISO/TR 14468:2010(E)
Introduction
1 )
The Six Sigma and statistical International Standards communities share a philosophy of continuous
improvement and many analytical tools. The statistical International Standards community arrives at rigorous
documents through long-term consensus. The disparities in time pressures, mathematical rigour, and
statistical software usage have inhibited exchanges, synergy, and mutual appreciation between the two
groups.
This Technical Report takes one specific statistical tool, attribute agreement analysis, develops the topic
somewhat generically (in the spirit of International Standards), then illustrates it through the use of five
detailed and distinct applications. The generic description focuses on the commonalities across studies
designed to assess the agreement of attribute measurements. The annexes, containing five illustrations,
follow the basic framework, but also identify the nuances and peculiarities in the specific applications.
1) Six Sigma is a trademark of Motorola, Inc.
© ISO 2010 – All rights reserved v
---------------------- Page: 5 ----------------------
TECHNICAL REPORT ISO/TR 14468:2010(E)
Selected illustrations of attribute agreement analysis
1 Scope
This Technical Report assesses a measurement process where the characteristic(s) being measured is (are)
in the form of attribute data (including nominal and ordinal data).
This Technical Report provides examples of attribute agreement analysis (AAA) and derives various results to
assess closeness of agreement amongst appraisers, such as agreement within appraisers, agreement
between appraisers, agreement of each appraiser vs. a standard, and agreement of all appraisers vs. a
standard.
2 Normative references
The following referenced documents are indispensable for the application of this document. For dated
references, only the edition cited applies. For undated references, the latest edition of the referenced
document (including any amendments) applies.
ISO 3534-1, Statistics — Vocabulary and symbols — Part 1: General statistical terms and terms used in
probability
ISO 3534-2, Statistics — Vocabulary and symbols — Part 2: Applied statistics
3 Terms and definitions
For the purposes of this document, the terms and definitions given in ISO 3534-1, ISO 3534-2, and the
following apply.
3.1
measurement system
collection of operations, procedures, devices and other equipment, software, and personnel used to assign a
value to the characteristic being measured
[4]
[IWA 1:2005 , 3.1.9]
NOTE In the context of this Technical Report, the personnel refer to the appraiser.
3.2
nominal data
categorical variables that have two or more levels with no natural ordering
3.3
ordinal data
categorical variables that have three or more levels with a natural ordering
3.4
binary data
categorical variables that have two levels with no natural ordering
© ISO 2010 – All rights reserved 1
---------------------- Page: 6 ----------------------
ISO/TR 14468:2010(E)
3.5
agreement within appraiser
extent to which each appraiser agrees with himself or herself on all trials when each appraiser conducts more
than one trial
3.6
agreement between appraisers
extent to which all appraisers agree with each other on all trials when more than one appraiser makes one or
more appraisals
3.7
agreement of each appraiser vs. standard
extent to which each appraiser agrees with himself or herself as well as with the standard when a known
standard is specified
3.8
agreement of all appraisers vs. standard
extent to which all appraisers agree with each other on all trials as well as with the standard when a known
standard is specified
3.9
percentage of agreement
P %
agreement, expressed as a percentage, for multiple appraisals by one appraiser or among different appraisers
3.10
kappa
κ
statistic indicating the degree of agreement of the nominal or ordinal assessments made by multiple
appraisers when evaluating the same samples
NOTE Kappa statistics are commonly used in cross-tabulation (table) applications and in attribute agreement
analysis.
3.11
Fleiss's kappa
statistic used for assessing the reliability of agreement when appraiser(s) are selected at random from a group
of available appraisers
3.12
Cohen's kappa
statistic used for assessing the reliability of agreement when the appraiser(s) are specifically chosen and are
fixed
3.13
p-value
probability of observing the observed test statistic value or any other value at least as unfavourable to the null
hypothesis
[ISO 3534-1:2006, 1.49]
NOTE This concept is used in hypothesis tests to help in deciding whether to reject or fail to reject a null hypothesis.
3.14
Z-statistic
test statistic which follows the standard normal distribution
2 © ISO 2010 – All rights reserved
---------------------- Page: 7 ----------------------
ISO/TR 14468:2010(E)
4 Symbols and abbreviated terms
95 % CI 95 % confidence Interval
AAA attribute agreement analysis
MSA measurement system analysis
σ standard error (SE) of kappa statistic
κ
n sample size
P % percentage of agreement
Z value of the Z-statistic
5 Generic description of attribute agreement analysis
5.1 Overview of the structure of attribute agreement analysis
This Technical Report provides general guidelines on the design, conduct and analysis of studies aiming at
evaluating the agreement amongst appraisers when classifying an item into two or more categories (e.g.
“good” or “bad”). It describes a procedure with five steps and illustrates the steps with five distinct applications
given in Annexes A to E.
The steps given in Table 1 are generic and apply to design and analysis of AAA studies in general. Each of
the five steps as well as general agreement analysis methodology are explained in general in 5.2 to 5.7.
Specific explanations of the substance of these steps are provided in the examples in Annexes A to E.
Table 1 — Basic steps in attribute agreement analysis
1 State the overall objectives
2 Describe the measurement process
3 Design the sampling plan
4 Analyse the result
5 Provide a conclusion with suggestions
5.2 Overall objectives of attribute agreement analysis
AAA is often used in Six Sigma projects and quality improvement projects. The primary motivation for AAA
studies should be clearly stated and agreed upon by all parties. The main purpose of AAA is to evaluate the
capability of a measurement system based on attribute data and to judge whether it is acceptable in the
context of making correct decisions within a given monitored process. AAA determines how good agreement
is among appraisers, and between appraisers and a given recognized “standard”.
AAA is conducted for a variety of reasons, which include, but are not limited to:
a) a lack of consistency in the assessment of a part or unit determined by one appraiser during different
trials;
b) a lack of consistency in the assessment of a part or unit determined by different appraisers;
c) the measurement results of a part or unit determined by an appraiser or appraisers exhibiting
disagreement with a known standard value for that part or unit;
[5]
d) a requirement of quality management standards, e.g. ISO/TS 16949 .
© ISO 2010 – All rights reserved 3
---------------------- Page: 8 ----------------------
ISO/TR 14468:2010(E)
5.3 Measurement process description
This Technical Report focuses on processes where the characteristic(s) being measured consist(s) of attribute
data.
The measurement process should be clearly described before conducting AAA, including appraisers,
procedures, the quality characteristic(s) to be measured, measurement conditions, and attribute data type (i.e.
nominal, ordinal or binary).
5.4 Agreement analysis methodology
Many measurement processes in industry rely on gauges, weighing instruments, micrometers or other devices
that make fairly direct physical measurements of a product characteristic. There are, however, many situations
in which quality characteristics are difficult to define and assess, e.g. automobile performance ratings,
classification of fabric quality as “good” or “bad”, and ratings of wine colour, aroma and taste on a 1 to 10
scale.
In cases when physical measurements are not possible, subjective classifications or ratings are made by
people. In these situations, an AAA is needed where more than one appraiser gives a rating and an evaluation
of the agreement between appraisers is made. If the appraisers agree, the possibility exists that the ratings
are accurate. If the appraisers disagree, rating usefulness is limited.
The assigned ratings can be nominal, ordinal or binary. Nominal data are categorical variables that have two
or more levels with no natural ordering. For example, the levels in a food tasting study may include crunchy,
mushy, and crispy. Ordinal data are categorical variables that have three or more levels with a natural
ordering, such as strongly disagree, disagree, neutral, agree, and strongly agree. However, distances
between categories are unknown. Binary data are categorical variables that only have two levels. For instance,
appraisers classify items as “good/bad”, or “go/no go”. It should be noted that binary data actually constitute a
special case of nominal data with only two levels. Binary data are widely used in industry and when a standard
exists giving the correct value of the unit being measured, misclassification rates can also be employed to
assess the performance of a measurement system. A binary measurement system is discussed further in
Annex A. Thus, in this Technical Report, nominal data refer to a variable that has three or more possible
levels.
No matter what the data type is, percentage of assessment agreement can be utilized to evaluate the
agreement of an attribute measurement system. Percentage of agreement quantifies the agreement for
multiple ratings within one appraiser or among different appraisers. The percentage of assessment agreement,
P %, is actually the point estimate for a population proportion, and is given by
n
match
P %=× 100 %
n
where
n is the number of agreements among multiple ratings;
match
n is the number of samples.
For nominal data, the kappa statistic, κ, is most appropriate. It is defined as the proportion of agreement
between appraisals after agreement by chance has been removed.
PP−
obs exp
κ=
1− P
exp
where
P is the observed proportion of agreement;
obs
P is the expected proportion due to chance agreement.
exp
4 © ISO 2010 – All rights reserved
---------------------- Page: 9 ----------------------
ISO/TR 14468:2010(E)
The value of kappa ranges from −1 to +1. Generally speaking, the higher the value of kappa, the stronger the
agreement. If kappa has the value 1, the ratings show perfect agreement (consistency). If kappa is 0, the
agreement of the ratings is the same as that expected by chance. In general, kappa values above 0,9 are
considered excellent.
Kappa values less than 0,7 indicate that the rating system needs improvement, whereas those less than 0,4
indicate the measurement system capability is inadequate. Typically a kappa value of at least 0,7 is required.
The two most popular kappa statistics are Cohen's kappa, based on the two-way contingency table, and
Fleiss's kappa, based on matched pairs. They treat the selection of appraisers differently when calculating the
probability of agreement by chance. Cohen's kappa assumes that the appraisers are specifically chosen and
are fixed, whereas Fleiss's kappa assumes that the appraisers are selected at random from a group of
available appraisers. This leads to two different methods of estimating the probability. Thus kappa, and its
standard error (SE), σ , can be calculated with either Fleiss's method or Cohen's method. The test statistic for
κ
kappa is
κ
Z=
σ
κ
with the null hypothesis H :κ = 0 and the alternative hypothesis H :κ > 0.
0 1
This is a one-sided test. Under the null hypothesis, Z follows the standard normal distribution. Reject the null
hypothesis if the p-value is less than the prespecified value, commonly taken to be 0,05.
Since binary data are a special case of nominal data with only two levels, kappa statistics can also be
employed to deal with a binary measurement system.
Kappa statistics do not take into account the magnitude of differences observed in ordinal data. They
represent absolute agreement among ratings. Therefore, when examining ordinal data, Kendall's coefficients
are the best choice. Two types of Kendall's coefficients are mentioned in this Technical Report, Kendall's
coefficient of concordance (also known as Kendall's W) and Kendall's correlation coefficient (also called
Kendall’s tau). Both of these coefficients are non-parametric statistics. The former, ranging from 0 to 1,
expresses the degree of association among multiple ratings, whereas the latter, ranging from −1 to 1,
expresses the degree of association between the known standard and a single rating. Thus, Kendall's
coefficient of concordance should be used to evaluate the consistency within appraisers and between
appraisers. Furthermore, when the true standard is known, Kendall's correlation coefficient can be employed
to assess the following two types of agreements: agreement of each appraiser vs. standard and agreement of
all appraisers vs. standard.
5.5 Sampling plan for attribute agreement analysis
In the sampling plan for AAA studies, the subgroup size of parts, the number of appraisers, and the number of
trials should be determined. Generally speaking, three to five appraisers are selected to rate more than 20
parts (for multiple attributes, more samples are required to cover all the attributes) with two or three trials.
Note that the selected samples should represent the entire production process. For nominal data, the
appraiser selection method also determines which kappa statistic should be calculated. If the appraisers are
specifically chosen and are fixed, Cohen's kappa is more appropriate. If appraisers are selected at random
from a group of available appraisers, Fleiss's kappa is preferred. It is also worth mentioning that Cohen's
kappa is based on the two-way contingency table. When the standard is not known, Cohen's kappa can only
be calculated if and only if the data satisfy the conditions:
a) within appraiser — there are exactly two trials with an appraiser;
b) between appraisers — there are exactly two appraisers each having one trial.
In the process of measurement for AAA, randomization is a very important consideration. Randomization
means the parts should be measured by the appraiser in a random order.
© ISO 2010 – All rights reserved 5
---------------------- Page: 10 ----------------------
ISO/TR 14468:2010(E)
Table 2 shows a basic layout of an AAA with three appraisers, three repetitions, and 20 items measured by
each appraiser.
Table 2 — Layout of a generic attribute agreement analysis design
Appraiser A Appraiser B Appraiser C
Item number Standard
Trial 1 Trial 2 Trial 3 Trial 1 Trial 2 Trial 3 Trial 1 Trial 2 Trial 3
1
2
3
20
5.6 Data analysis
The following four types of agreement need be taken into consideration:
a) within appraisers, which means that each appraiser agrees with himself or herself on all trials;
b) between appraisers, which means that all appraisers agree with each other on all trials;
c) each appraiser vs. standard, which means that each appraiser agrees with himself or herself as well as
with the standard;
d) all appraisers vs. standard, which means that all appraisers agree with each other on all trials as well as
with the standard.
It is quite obvious that the type of agreement c) is no less than the first one a) since it adds a constraint,
namely, agreeing with the standard. The condition is quite similar for the fourth and the second types of
agreements. Obviously, the fourth kind of agreement is the smallest of the four. And for each type of
agreement, two types of kappa statistics are generally adopted, those of Cohen and Fleiss. Also, for nominal
data with three or more categories, two types of kappa coefficients can be calculated. First, one can compute
an overall kappa, which is an assessment of raters' agreement across all categories. Second, one can
compute individual kappa values for each category. This reveals the categories in which raters have trouble
agreeing.
In addition to the AAA report, AAA graphics are also useful. They can be used to reflect the agreement clearly
and directly. Generally, the percentages of assessment agreement within and between appraisers, kappa
coefficient tables, and Kendall's coefficient (ordinal data only) tables are calculated. Moreover, a graph of the
matched proportions for each appraiser can be displayed when the number of trials for each appraiser is more
than one. Additionally, another graph of the matched proportions between the ratings of each appraiser and
the attribute can be displayed only when the attribute is known and provided for each sample.
5.7 Conclusions and suggestions
Based on the results of the AAA, a judgement can be made about the adequacy of the attribute measurement
process. Generally the disagreement within an appraiser shows the appraiser cannot make consistent
measurement results (possibly because the appraiser did not follow the measurement procedure exactly at
6 © ISO 2010 – All rights reserved
---------------------- Page: 11 ----------------------
ISO/TR 14468:2010(E)
different trials). The disagreement between appraisers means the appraisers' procedures are not exactly the
same or the appraisers' capabilities of measurement are different (possibly due to their different experiences
or physical reasons, e.g. eyesight for visual inspection). Actions shall be taken after the root cause(s) is (are)
found for the inadequate attribute measurement process.
After certain actions have been taken to improve the measurement system, e.g. effective training has been
done for the operators, the AAA needs to be repeated to validate whether the improved measurement system
is acceptable.
6 Description of Annexes A to E
Five distinct examples of AAA are illustrated in Annexes A to E, which have been summarized in Table 3 with
the different aspects indicated.
Table 3 — Example summaries listed by annex
Annex Example AAA details
Three appraisers, randomly selected among the group of
appraisers, judged LCD quality on 20 samples twice by visual
A LCD manufacture
a
inspection. The inspection results are binary. Minitab
software package was used to perform the analysis
Nominal response with 6 categories encountered in Service
Sector; 4 appraisers, no repetition, 48 issues evaluated by
b
B Technical support triage of issues each appraiser. SAS JMP software package was used to
perform the analysis. “Truth” on correct categorization of
issue is known
Nominal response with 4 categories; 3 testers, 3 repetitions,
leading to 12 cups of water evaluated by each tester. SAS
C Tasting differences in water
b
JMP software package was used to perform the analysis.
“Truth” on correct categorization of brand of water is known
Three appraisers, randomly selected among the group of
appraisers, judged 20 thermistor samples twice by visual
D Thermistor defects inspection. The inspection results are nominal data, falling
a
into 8 categories and without natural ordering. Minitab
software package was used to perform the analysis
Ordinal response with 5 ordered categories encountered in
the medical sector; 2 appraisers, no repetition, 46 cases
Assessment of level of disability
b
E evaluated by each appraiser. SAS JMP software package
following a stroke
was used to perform the analysis. “Truth” on correct
categorization of issue is known
a
Minitab is the trade name of a product supplied by Minitab, Inc. This information is given for the convenience of users of this
document and does not constitute an endorsement by ISO of the product named.
b
SAS JMP is the trade name of a product supplied by the SAS Institute, Inc. This information is given for the convenience of users of
this document and does not constitute an endorsement by ISO of the product named.
© ISO 2010 – All rights reserved 7
---------------------- Page: 12 ----------------------
ISO/TR 14468:2010(E)
Annex A
(informative)
Liquid crystal display manufacture
A.1 General
In a liquid crystal display (LCD) manufacturer, the display feature is judged by operators through visual
inspection. All the samples are tested under video graphics array (VGA) mode. The results can be either
normal colour (marked as good) or deflected colour (bad). In the measurement phase, visual inspection,
leading to subjective classification, is mainly employed by the appraisers to judge whether a sample is good or
bad. Therefore, the experience of the appraisers and the training they have been given are of huge
importance. The objective of this study is to evaluate the consistency and accuracy of the attribute
measurement system.
A.2 Response variable
The response variable is binary data (two levels with no natural ordering).
A.3 Standard attribute
Standard attribute (the correct rating) is given in this case.
A.4 Possible reasons for incorrect judgement
Failing to follow work instructions could lead to incorrect judgement. Another factor could be the experience of
the appraisers and the training they have been given.
A.5 Sampling plan
To assess the consistency and accuracy of ratings, three appraisers, Carol, Fiona, and Kaka, judged LCD
quality on 20 samples (model: LCD40b66) twice by visual inspection. LCD samples were randomly presented
to the three appraisers, who were randomly selected from a group with the same introductory training and
similar experience.
The inspection results are binary.
A.6 Raw data
Table A.1 lists the raw data used in the AAA.
8 © ISO 2010 – All rights reserved
---------------------- Page: 13 ----------------------
ISO/TR 14468:2010(E)
Table A.1 — Inspection results of LCD and standard attribute
Carol Fiona Kaka
Part Standard
1st Trial 2nd Trial 1st Trial 2nd Trial 1st Trial 2nd Trial
1 Good Good Good Good Good Good Good
2 Good Good Good Good Good Good Good
3 Good Good Good Good Good Good Good
4 Bad Bad Bad Bad Bad Bad Bad
5 Bad Bad Bad Good Good Bad Bad
6 Bad Bad Bad Bad Bad Bad Bad
7 Good Good Good Good Good Good Good
8 Good Good Good Good Good Good Good
9 Good Good Good Good Good Good Good
10 Good Good Good Good Good Good Good
11 Good Good Good Good Good Good Good
12 Good Good Good Good Good G
...
RAPPORT ISO/TR
TECHNIQUE 14468
Première édition
2010-12-15
Illustrations choisies d'une analyse
d'accord d'attribut
Selected illustrations of attribute agreement analysis
Numéro de référence
ISO/TR 14468:2010(F)
©
ISO 2010
---------------------- Page: 1 ----------------------
ISO/TR 14468:2010(F)
PDF – Exonération de responsabilité
Le présent fichier PDF peut contenir des polices de caractères intégrées. Conformément aux conditions de licence d'Adobe, ce fichier
peut être imprimé ou visualisé, mais ne doit pas être modifié à moins que l'ordinateur employé à cet effet ne bénéficie d'une licence
autorisant l'utilisation de ces polices et que celles-ci y soient installées. Lors du téléchargement de ce fichier, les parties concernées
acceptent de fait la responsabilité de ne pas enfreindre les conditions de licence d'Adobe. Le Secrétariat central de l'ISO décline toute
responsabilité en la matière.
Adobe est une marque déposée d'Adobe Systems Incorporated.
Les détails relatifs aux produits logiciels utilisés pour la création du présent fichier PDF sont disponibles dans la rubrique General Info
du fichier; les paramètres de création PDF ont été optimisés pour l'impression. Toutes les mesures ont été prises pour garantir
l'exploitation de ce fichier par les comités membres de l'ISO. Dans le cas peu probable où surviendrait un problème d'utilisation,
veuillez en informer le Secrétariat central à l'adresse donnée ci-dessous.
DOCUMENT PROTÉGÉ PAR COPYRIGHT
© ISO 2010
Droits de reproduction réservés. Sauf prescription différente, aucune partie de cette publication ne peut être reproduite ni utilisée sous
quelque forme que ce soit et par aucun procédé, électronique ou mécanique, y compris la photocopie et les microfilms, sans l'accord écrit
de l'ISO à l'adresse ci-après ou du comité membre de l'ISO dans le pays du demandeur.
ISO copyright office
Case postale 56 • CH-1211 Geneva 20
Tel. + 41 22 749 01 11
Fax + 41 22 749 09 47
E-mail copyright@iso.org
Web www.iso.org
Publié en Suisse
ii © ISO 2010 – Tous droits réservés
---------------------- Page: 2 ----------------------
ISO/TR 14468:2010(F)
Sommaire Page
Avant-propos .iv
Introduction.v
1 Domaine d'application .1
2 Références normatives.1
3 Termes et définitions .1
4 Symboles et termes abrégés.3
5 Description générique d'une analyse d'accord d'attribut .3
5.1 Aperçu de la structure d'une analyse d'accord d'attribut .3
5.2 Objectifs globaux de l'analyse d'accord d'attribut .3
5.3 Description du processus de mesure .4
5.4 Méthodologie d'une analyse d'accord d'attribut.4
5.5 Plan d'échantillonnage pour une analyse d'accord d'attribut .5
5.6 Analyse des données.6
5.7 Conclusions et suggestions .7
6 Description des Annexes A à E .7
Annexe A (informative) Fabrication d'écran LCD .8
Annexe B (informative) Triage des problèmes dans le cadre d'une assistance technique .14
Annexe C (informative) Différences de goût de l'eau.21
Annexe D (informative) Défauts de thermistances.27
Annexe E (informative) Évaluation du niveau d'incapacité après un accident vasculaire cérébral .35
Bibliographie.43
© ISO 2010 – Tous droits réservés iii
---------------------- Page: 3 ----------------------
ISO/TR 14468:2010(F)
Avant-propos
L'ISO (Organisation internationale de normalisation) est une fédération mondiale d'organismes nationaux de
normalisation (comités membres de l'ISO). L'élaboration des Normes internationales est en général confiée
aux comités techniques de l'ISO. Chaque comité membre intéressé par une étude a le droit de faire partie du
comité technique créé à cet effet. Les organisations internationales, gouvernementales et non
gouvernementales, en liaison avec l'ISO participent également aux travaux. L'ISO collabore étroitement avec
la Commission électrotechnique internationale (CEI) en ce qui concerne la normalisation électrotechnique.
Les Normes internationales sont rédigées conformément aux règles données dans les Directives ISO/CEI,
Partie 2.
La tâche principale des comités techniques est d'élaborer les Normes internationales. Les projets de Normes
internationales adoptés par les comités techniques sont soumis aux comités membres pour vote. Leur
publication comme Normes internationales requiert l'approbation de 75 % au moins des comités membres
votants.
Exceptionnellement, lorsqu'un comité technique a réuni des données de nature différente de celles qui sont
normalement publiées comme Normes internationales (cela pouvant comprendre des informations sur l'état
de la technique par exemple), il peut décider, à la majorité simple de ses membres, de publier un Rapport
technique. Les Rapports techniques sont de nature purement informative et ne doivent pas nécessairement
être révisés avant que les données fournies ne soient plus jugées valables ou utiles.
L'attention est appelée sur le fait que certains des éléments du présent document peuvent faire l'objet de
droits de propriété intellectuelle ou de droits analogues. L'ISO ne saurait être tenue pour responsable de ne
pas avoir identifié de tels droits de propriété et averti de leur existence.
L'ISO/TR 14468 a été élaboré par le comité technique ISO/TC 69, Application des méthodes statistiques,
sous-comité SC 7, Applications de techniques statistiques, ou de techniques associées, pour la mise en
œuvre de Six Sigma.
iv © ISO 2010 – Tous droits réservés
---------------------- Page: 4 ----------------------
ISO/TR 14468:2010(F)
Introduction
1)
Les communautés Six Sigma et de normalisation internationale dans le domaine de la statistique partagent
une philosophie d'amélioration continue et de nombreux outils d'analyse. La communauté de normalisation
internationale dans le domaine de la statistique parvient à des documents rigoureux par un consensus
international à long terme. Les disparités en termes de contrainte de temps, de rigueur mathématique et
d'utilisation de logiciels statistiques ont empêché les échanges, la synergie et une appréciation mutuelle entre
les deux groupes.
Le présent Rapport technique considère un outil statistique spécifique, l'analyse d'accord d'attribut, développe
le sujet de manière relativement générale (dans l'esprit des Normes internationales), puis l'illustre au moyen
de cinq applications détaillées distinctes. La description générique se concentre sur les points communs entre
les études conçues pour évaluer l'accord des mesures d'attribut. Les annexes contenant cinq illustrations
suivent le cadre de base, mais identifient également les nuances et les particularités des applications
spécifiques.
1) Six Sigma est une marque commerciale de Motorola, Inc.
© ISO 2010 – Tous droits réservés v
---------------------- Page: 5 ----------------------
RAPPORT TECHNIQUE ISO/TR 14468:2010(F)
Illustrations choisies d'une analyse d'accord d'attribut
1 Domaine d'application
Le présent Rapport technique évalue un processus de mesure dans lequel la (les) caractéristique(s)
mesurée(s) a (ont) la forme de données d'attribut (comprenant des données nominales et des données
ordinales).
Le présent Rapport technique fournit des exemples d'analyse d'accord d'attribut (AAA) et utilise divers
résultats pour évaluer l'étroitesse de l'accord parmi les évaluateurs, tel que l'accord par évaluateur, l'accord
entre les évaluateurs, l'accord de chaque évaluateur par rapport à une référence et l'accord de tous les
évaluateurs par rapport à une référence.
2 Références normatives
Les documents de référence suivants sont indispensables pour l'application du présent document. Pour les
références datées, seule l'édition citée s'applique. Pour les références non datées, la dernière édition du
document de référence s'applique (y compris les éventuels amendements).
ISO 3534-1, Statistique — Vocabulaire et symboles — Partie 1: Termes statistiques généraux et termes
utilisés en calcul des probabilités
ISO 3534-2, Statistique — Vocabulaire et symboles — Partie 2: Statistique appliquée
3 Termes et définitions
Pour les besoins du présent document, les termes et définitions donnés dans l'ISO 3534-1, l'ISO 3534-2 ainsi
que les suivants s'appliquent.
3.1
système de mesure
ensemble des opérations, des procédures, des équipements, des logiciels et du personnel qui ont une
incidence sur l'attribution d'une valeur à une caractéristique de mesure
[4]
[IWA 1:2005 , 3.1.9]
NOTE Dans le cadre du présent Rapport technique, le personnel se rapporte à l'évaluateur.
3.2
données nominales
variables de catégorie ayant deux niveaux ou plus, sans ordre logique
3.3
données ordinales
variables de catégorie ayant trois niveaux ou plus, avec un ordre logique
3.4
données binaires
variables de catégorie ayant deux niveaux, sans ordre logique
© ISO 2010 – Tous droits réservés 1
---------------------- Page: 6 ----------------------
ISO/TR 14468:2010(F)
3.5
accord par évaluateur
étendue de l'accord par chaque évaluateur vis-à-vis de lui-même sur tous les essais lorsque chaque
évaluateur réalise plus d'un essai
3.6
accord entre les évaluateurs
étendue de l'accord de tous les évaluateurs les uns vis-à-vis des autres sur tous les essais lorsque plusieurs
évaluateurs réalisent une ou plusieurs appréciations
3.7
accord de chaque évaluateur par rapport à la référence
étendue de l'accord de chaque évaluateur vis-à-vis de lui-même et par rapport à la référence lorsqu'une
référence connue est spécifiée
3.8
accord de tous les évaluateurs par rapport à la référence
étendue de l'accord de tous les évaluateurs les uns vis-à-vis des autres sur tous les essais et par rapport à la
référence lorsqu'une référence connue est spécifiée
3.9
pourcentage d'accord
P %
accord, exprimé en pourcentage, pour de multiples appréciations réalisées par un seul évaluateur ou par
différents évaluateurs
3.10
kappa
κ
statistique indiquant le degré de concordance des évaluations nominales ou ordinales réalisées par de
multiples évaluateurs lorsqu'ils évaluent les mêmes échantillons
NOTE Les statistiques kappa sont couramment utilisées dans les applications à tableaux croisés et dans l'analyse
d'accord d'attribut.
3.11
kappa de Fleiss
statistique utilisée pour évaluer la fiabilité de l'accord lorsqu'un ou plusieurs évaluateurs sont choisis au
hasard dans un groupe d'évaluateurs disponibles
3.12
kappa de Cohen
statistique utilisée pour évaluer la fiabilité de l'accord lorsque le ou les évaluateurs sont choisis
spécifiquement et sont fixes
3.13
valeur p
probabilité d'obtenir la valeur de la statistique de test observée ou toute autre valeur défavorable à l'hypothèse
nulle
[ISO 3534-1:2006, 1.49]
NOTE Ce concept est utilisé dans les tests d'hypothèse pour faciliter la décision de rejet ou d'impossibilité de rejet
d'une hypothèse nulle.
3.14
statistique Z
statistique de test qui suit la loi normale réduite
2 © ISO 2010 – Tous droits réservés
---------------------- Page: 7 ----------------------
ISO/TR 14468:2010(F)
4 Symboles et termes abrégés
IC 95 % intervalle de confiance à 95 %
AAA analyse d'accord d'attribut
ASM analyse du système de mesure
σ erreur type d'une statistique kappa
κ
n effectif de l'échantillon
P % pourcentage d'accord
Z valeur de la statistique Z
5 Description générique d'une analyse d'accord d'attribut
5.1 Aperçu de la structure d'une analyse d'accord d'attribut
Le présent Rapport technique fournit des lignes directrices générales pour la conception, la conduite et
l'analyse d'études visant à évaluer l'accord parmi les évaluateurs lors du classement d'un élément dans deux
catégories ou plus («bon» ou «mauvais» par exemple). Il décrit une procédure en cinq étapes et illustre les
étapes par cinq applications distinctes données dans les Annexes A à E.
Les étapes indiquées dans le Tableau 1 sont génériques et s'appliquent à la conception et à l'analyse des
études AAA en général. Chacune des cinq étapes ainsi que la méthodologie générale d'analyse d'accord sont
expliquées d'une manière générale de 5.2 à 5.7. Des explications spécifiques concernant le contenu de ces
étapes sont fournies dans les exemples donnés dans les Annexes A à E.
Tableau 1 — Étapes de base d'une analyse d'accord d'attribut
1 Déterminer les objectifs globaux
2 Décrire le processus de mesure
3 Concevoir le plan d'échantillonnage
4 Analyser le résultat
5 Fournir une conclusion avec des suggestions
5.2 Objectifs globaux de l'analyse d'accord d'attribut
Une AAA est souvent utilisée dans les projets Six Sigma et les projets d'amélioration de la qualité. Il convient
que le principal motif des études AAA soit clairement énoncé et convenu par toutes les parties. Le principal
objectif d'une AAA est d'évaluer la capacité d'un système de mesure basé sur des données d'attribut et de
juger s'il est acceptable dans le cadre d'une prise de décisions correctes pour un processus surveillé donné.
L'AAA détermine le niveau de l'accord par évaluateur et entre les évaluateurs et une «référence» reconnue
donnée.
L'AAA est réalisée pour diverses raisons, parmi lesquelles, entre autres:
a) un manque de cohérence dans l'évaluation d'une partie ou d'une unité réalisée par un seul évaluateur au
cours de différents essais;
b) un manque de cohérence dans l'évaluation d'une partie ou d'une unité réalisée par différents évaluateurs;
c) résultats de mesure d'une partie ou d'une unité obtenus par un ou plusieurs évaluateurs en désaccord
avec une valeur de référence connue pour cette partie ou unité;
[5]
d) une exigence des normes de management de la qualité, telles que l'ISO/TS 16949 .
© ISO 2010 – Tous droits réservés 3
---------------------- Page: 8 ----------------------
ISO/TR 14468:2010(F)
5.3 Description du processus de mesure
Le présent Rapport technique se concentre sur les processus dans lesquels la ou les caractéristiques
mesurées sont constituées par des données d'attribut.
Avant de procéder à une AAA, il convient que le processus de mesure soit clairement décrit, notamment les
évaluateurs, les procédures, la ou les caractéristiques de qualité à mesurer, les conditions de mesure et le
type de données d'attribut (c'est-à-dire nominales, ordinales ou binaires).
5.4 Méthodologie d'une analyse d'accord d'attribut
Dans l'industrie, de nombreux processus de mesure font appel à des calibres, des instruments de pesage,
des micromètres ou d'autres dispositifs réalisant des mesures physiques relativement directes d'une
caractéristique du produit. Il existe néanmoins de nombreuses situations dans lesquelles les caractéristiques
de qualité sont difficiles à définir et à évaluer, telles que l'évaluation des performances d'une automobile, la
classification d'une qualité de tissu en «bonne» ou «mauvaise» et l'évaluation de la couleur, de l'arôme et du
goût d'un vin sur une échelle de 1 à 10.
Lorsqu'il est impossible de réaliser des mesures physiques, des classifications ou évaluations subjectives
sont réalisées par des personnes. Dans ces situations, une AAA est nécessaire lorsque plusieurs évaluateurs
donnent une appréciation et qu'une évaluation de l'accord entre les évaluateurs est réalisée. Si les
évaluateurs sont d'accord, il est possible que les évaluations soient exactes. Si les évaluateurs ne sont pas
d'accord, l'utilité de l'évaluation est limitée.
Les évaluations par attribut peuvent être nominales, ordinales ou binaires. Les données nominales sont des
variables de catégorie ayant deux niveaux ou plus, sans ordre logique. Par exemple, dans une étude de
dégustation d'un produit alimentaire, les niveaux peuvent comprendre croquant, mou et croustillant. Les
données ordinales sont des variables de catégorie ayant trois niveaux ou plus, avec un ordre logique, par
exemple pas du tout d'accord, pas d'accord, neutre, d'accord, tout à fait d'accord. Néanmoins, les distances
entre les catégories sont inconnues. Les données binaires sont des variables de catégorie qui n'ont que deux
niveaux. Par exemple, les évaluateurs classent des éléments en «bon — mauvais» ou «acceptation — rejet».
Il convient de noter que les données binaires constituent en réalité un cas particulier de données nominales
n'ayant que deux niveaux. Les données binaires sont largement utilisées dans l'industrie et lorsqu'il existe une
référence donnant la valeur correcte de l'unité mesurée, les taux d'erreur de classement peuvent également
être employés pour évaluer les performances d'un système de mesure. Un système de mesure binaire est
décrit de manière plus détaillée dans l'Annexe A. Ainsi, dans le présent Rapport technique, les données
nominales se rapportent à une variable ayant trois niveaux possibles ou plus.
Quel que soit le type de données, le pourcentage d'accord d'évaluation peut être utilisé pour évaluer l'accord
d'un système de mesure d'attribut. Le pourcentage d'accord quantifie la concordance de multiples évaluations
réalisées par un même évaluateur ou par différents évaluateurs. Le pourcentage d'accord d'évaluation, P %,
est en réalité l'estimation ponctuelle pour une proportion de la population et est donné par
n
match
P %=× 100 %
n
où
n est le nombre de concordances parmi de multiples évaluations;
match
n est le nombre d'échantillons.
Pour les données nominales, la statistique kappa, κ, est la plus appropriée. Elle est définie comme la
proportion de concordance entre des appréciations après avoir éliminé la concordance aléatoire.
PP−
obs exp
κ=
1− P
exp
4 © ISO 2010 – Tous droits réservés
---------------------- Page: 9 ----------------------
ISO/TR 14468:2010(F)
où
P est la proportion de concordance observée;
obs
P est la proportion de concordance aléatoire attendue.
exp
La valeur de kappa varie de −1 à +1. D'une manière générale, plus la valeur de kappa est élevée, plus la
concordance est forte. Si le kappa a la valeur 1, les évaluations présentent un accord parfait (cohérence). Si
le kappa est égal à 0, la concordance des évaluations est la même que la concordance aléatoire. En général,
des valeurs de kappa supérieures à 0,9 sont jugées excellentes.
Des valeurs de kappa inférieures à 0,7 indiquent que le système d'évaluation doit être amélioré alors que des
valeurs inférieures à 0,4 indiquent que la capacité du système de mesure est inadéquate. En général, une
valeur de kappa d'au moins 0,7 est requise.
Les deux statistiques kappa les plus utilisées sont le kappa de Cohen, basé sur le tableau de contingence à
double entrée, et le kappa de Fleiss, basé sur des paires concordantes. Ils traitent différemment le choix des
évaluateurs lors du calcul de la probabilité de concordance aléatoire. Le kappa de Cohen suppose que les
évaluateurs sont choisis spécifiquement et sont fixes alors que le kappa de Fleiss suppose que les
évaluateurs sont choisis au hasard dans un groupe d'évaluateurs disponibles. Cela conduit à deux méthodes
différentes d'estimation de la probabilité. Par conséquent, le kappa, et son erreur type (ErT), σ , peut être
κ
calculé soit par la méthode de Fleiss, soit par la méthode de Cohen. La statistique de test pour le kappa est
κ
Z=
σ
κ
avec l'hypothèse nulle H :κ = 0 et l'hypothèse alternative H :κ > 0.
0 1
Il s'agit d'un test unilatéral. Pour l'hypothèse nulle, Z suit une loi normale réduite. Rejeter l'hypothèse nulle si la
valeur p est inférieure à la valeur pré-spécifiée, généralement prise comme étant de 0,05.
Étant donné que les données binaires sont un cas particulier de données nominales n'ayant que deux niveaux,
les statistiques kappa peuvent également être employées pour étudier un système de mesure binaire.
Les statistiques kappa ne tiennent pas compte de l'amplitude des écarts observés dans les données ordinales.
Elles représentent l'accord absolu entre les évaluations. Par conséquent, lors de l'examen de données
ordinales, les coefficients de Kendall sont le meilleur choix. Deux types de coefficients de Kendall sont
mentionnés dans le présent Rapport technique, le coefficient de concordance de Kendall (également connu
en tant que W de Kendall) et le coefficient de corrélation de Kendall (également appelé tau de Kendall). Ces
deux coefficients sont des statistiques non paramétriques. Le premier, qui varie de 0 à 1, exprime le degré
d'association entre de multiples évaluations alors que le deuxième, qui varie de −1 à 1, exprime le degré
d'association entre la référence connue et une seule évaluation. Par conséquent, il convient d'utiliser le
coefficient de concordance de Kendall pour évaluer la cohérence par évaluateur et entre évaluateurs. Par
ailleurs, lorsque la référence vraie est connue, le coefficient de corrélation de Kendall peut être employé pour
évaluer les deux types suivants d'accords: l'accord de chaque évaluateur par rapport à la référence et l'accord
de tous les évaluateurs par rapport à la référence.
5.5 Plan d'échantillonnage pour une analyse d'accord d'attribut
Dans le plan d'échantillonnage relatif à des études AAA, il convient de déterminer l'effectif des sous-groupes,
le nombre d'évaluateurs et le nombre d'essais. D'une manière générale, trois à cinq évaluateurs sont choisis
pour évaluer plus de 20 pièces (pour des attributs multiples, un plus grand nombre d'échantillons est requis
pour couvrir tous les attributs) par deux ou trois essais. Noter qu'il convient que les échantillons choisis
représentent la totalité du processus de production. Pour des données nominales, la méthode de sélection
des évaluateurs détermine également la statistique kappa qu'il convient de calculer. Si les évaluateurs sont
spécifiquement choisis et sont fixes, le kappa de Cohen est plus approprié. Si les évaluateurs sont choisis au
hasard dans un groupe d'évaluateurs disponibles, le kappa de Fleiss est préféré. Il est également utile de
mentionner que le kappa de Cohen est basé sur le tableau de contingence à double entrée. Lorsque la
© ISO 2010 – Tous droits réservés 5
---------------------- Page: 10 ----------------------
ISO/TR 14468:2010(F)
référence n'est pas connue, on ne peut calculer le kappa de Cohen que si et seulement si les données
satisfont aux conditions:
a) par évaluateur — exactement deux essais sont réalisés avec un évaluateur;
b) entre les évaluateurs — il y a exactement deux évaluateurs réalisant chacun un essai.
Dans le processus de mesure en vue d'une AAA, la randomisation est un point très important. La
randomisation signifie qu'il convient que les pièces soient mesurées par l'évaluateur dans un ordre aléatoire.
Le Tableau 2 montre la configuration de base d'une AAA avec trois évaluateurs, trois répétitions et 20
éléments mesurés par chaque évaluateur.
Tableau 2 — Configuration de la conception générale d'une analyse d'accord d'attribut
Évaluateur A Évaluateur B Évaluateur C
Numéro de l'élément Référence
Essai 1 Essai 2 Essai 3 Essai 1 Essai 2 Essai 3 Essai 1 Essai 2 Essai 3
1
2
3
20
5.6 Analyse des données
Les quatre types d'accord suivants doivent être pris en compte:
a) par évaluateur, c'est-à-dire le degré de concordance de chaque évaluateur vis-à-vis de lui-même sur tous
les essais;
b) entre évaluateurs, c'est-à-dire le degré de concordance de tous les évaluateurs les uns vis-à-vis des
autres sur tous les essais;
c) chaque évaluateur par rapport à la référence, c'est-à-dire le degré de concordance de chaque évaluateur
vis-à-vis de lui-même et par rapport à la référence;
d) tous les évaluateurs par rapport à la référence, c'est-à-dire le degré de concordance de tous les
évaluateurs les uns vis-à-vis des autres et par rapport à la référence.
Il est assez évident que le type d'accord c) n'est pas inférieur au premier type a) car il ajoute une contrainte, à
savoir l'accord par rapport à la référence. La condition est assez similaire pour les quatrième et deuxième
types d'accord. Évidemment, le quatrième type d'accord est le plus faible des quatre. Et pour chaque type
d'accord, deux types de statistiques kappa sont généralement adoptés, à savoir le kappa de Cohen et le
kappa de Fleiss. De plus, pour des données nominales avec trois catégories ou plus, deux types de
coefficients kappa peuvent être calculés. En premier lieu, il est possible de calculer un kappa global qui est
une évaluation de l'accord des évaluateurs dans toutes les catégories. En second lieu, il est possible de
calculer les valeurs individuelles de kappa pour chaque catégorie. Cela révèle les catégories pour lesquelles
les évaluateurs ont des difficultés à s'accorder.
Outre le rapport d'AAA, des graphiques d'AAA sont également utiles. Ils peuvent être utilisés pour refléter
clairement et directement l'accord. En général, les pourcentages de concordance des évaluations par
évaluateur et entre les évaluateurs, les tableaux de coefficients kappa et les tableaux de coefficients de
6 © ISO 2010 – Tous droits réservés
---------------------- Page: 11 ----------------------
ISO/TR 14468:2010(F)
Kendall (données ordinales uniquement) sont calculés. Par ailleurs, un graphique des proportions de
concordance pour chaque évaluateur peut être affiché lorsque le nombre d'essais pour chaque évaluateur est
supérieur à un. En outre, un autre graphique des proportions de concordance entre les évaluations de chaque
évaluateur et l'attribut ne peut être affiché que lorsque l'attribut est connu et fourni pour chaque échantillon.
5.7 Conclusions et suggestions
Sur la base des résultats de l'AAA, il est possible de porter un jugement sur l'adéquation du processus de
mesure de l'attribut. En général, le désaccord par évaluateur montre que l'évaluateur ne peut pas obtenir de
résultats de mesure cohérents (peut-être parce que l'évaluateur ne respecte pas exactement la procédure de
mesure lors des différents essais). Le désaccord entre les évaluateurs signifie que les procédures suivies par
les évaluateurs ne sont pas exactement les mêmes ou que les capacités de mesure des évaluateurs sont
différentes (peut-être en raison de leurs expériences différentes ou pour des raisons physiques, par exemple
l'acuité visuelle pour un examen visuel). Lorsque la ou les causes profondes de l'inadéquation du processus
de mesure de l'attribut ont été trouvées, des mesures doivent être prises.
Après avoir pris certaines mesures afin d'améliorer le système de mesure, par exemple une formation efficace
des opérateurs, l'AAA doit être répétée pour confirmer si le système de mesure amélioré est acceptable.
6 Description des Annexes A à E
Cinq exemples distincts d'AAA sont illustrés dans les Annexes A à E; ils sont résumés dans le Tableau 3 avec
l'indication des différents aspects.
Tableau 3 — Résumé des exemples donnés par annexe
Annexe Exemple Détails de l'AAA
Trois évaluateurs, choisis au hasard dans le groupe
d'évaluateurs, évaluent deux fois la qualité d'un écran LCD
A Fabrication d'écran LCD par un examen visuel sur 20 échantillons. Les résultats de
a
l'examen sont binaires. Le progiciel Minitab est utilisé pour
réaliser l'analyse.
Réponse nominale avec 6 catégories rencontrées dans le
secteur des services; 4 évaluateurs, pas de répétition,
Triage des problèmes dans le cadre
B 48 problèmes évalués par chaque évaluateur. Le progiciel
d'une assistance technique
b
SAS JMP est utilisé pour réaliser l'analyse. La «vérité» sur la
catégorisation correcte d'un problème est connue.
Réponse nominale avec 4 catégories; 3 testeurs,
3 répétitions, soit 12 verres d'eau évalués par chaque testeur.
b
C Différences de goût de l'eau Le progiciel SAS JMP est utilisé pour réaliser l'analyse. La
«vérité» sur la catégorisation correcte d'une marque d'eau est
connue.
Trois évaluateurs, choisis au hasard dans le groupe
d'évaluateurs, évaluent deux fois 20 échantillons de
thermistance par un examen visuel. Les résultats de l'examen
D D
...
Questions, Comments and Discussion
Ask us and Technical Secretary will try to provide an answer. You can facilitate discussion about the standard in here.