ISO 16820:2004
(Main)Sensory analysis — Methodology — Sequential analysis
Sensory analysis — Methodology — Sequential analysis
ISO 16820:2004 describes a procedure for statistically analysing data from forced-choice sensory discrimination tests, such as the Triangle, Duo-Trio, 3-AFC, 2-AFC, in which after every trial of the discrimination test the decision can be made to stop testing and declare a difference, to stop testing and declare no difference, or to continue testing. The sequential method often allows for a decision to be made after fewer trials of the discrimination test than would be required by conventional approaches that use predetermined numbers of assessments. The method is effective for a) determining that either a perceptible difference results, or a perceptible difference does not result when, for example, a change is made in ingredients, processing, packaging, handling or storage; or b) for selecting, training and monitoring assessors.
Analyse sensorielle — Méthodologie — Analyse séquentielle
L'ISO 16820:2004 décrit un mode opératoire d'analyse statistique des données provenant d'essais de discrimination sensorielle à choix forcé, tels que l'essai triangulaire, l'essai duo-trio, l'essai à choix forcé 1 parmi trois (3-AFC), l'essai à choix forcé 1 parmi deux (2-AFC), dans lequel après chaque essai de discrimination, il peut être décidé soit d'arrêter les essais et de déclarer une différence, soit d'arrêter les essais et de déclarer l'absence de différence, soit de poursuivre les essais. La méthode séquentielle permet souvent de prendre une décision après un plus petit nombre d'essais de discrimination qu'il n'est requis pour des approches classiques utilisant un nombre prédéfini d'évaluations. La méthode est efficace pour a) déterminer qu'il existe une différence perceptible, ou qu'il n'existe pas de différence perceptible quand, par exemple, des modifications sont apportées aux ingrédients, à la transformation, à l'emballage, aux opérations de manutention ou de stockage; ou b) pour sélectionner, entraîner et contrôler les sujets.
General Information
Relations
Buy Standard
Standards Content (Sample)
INTERNATIONAL ISO
STANDARD 16820
First edition
2004-06-15
Sensory analysis — Methodology —
Sequential analysis
Analyse sensorielle — Méthodologie — Analyse séquentielle
Reference number
ISO 16820:2004(E)
©
ISO 2004
---------------------- Page: 1 ----------------------
ISO 16820:2004(E)
PDF disclaimer
This PDF file may contain embedded typefaces. In accordance with Adobe's licensing policy, this file may be printed or viewed but
shall not be edited unless the typefaces which are embedded are licensed to and installed on the computer performing the editing. In
downloading this file, parties accept therein the responsibility of not infringing Adobe's licensing policy. The ISO Central Secretariat
accepts no liability in this area.
Adobe is a trademark of Adobe Systems Incorporated.
Details of the software products used to create this PDF file can be found in the General Info relative to the file; the PDF-creation
parameters were optimized for printing. Every care has been taken to ensure that the file is suitable for use by ISO member bodies. In
the unlikely event that a problem relating to it is found, please inform the Central Secretariat at the address given below.
© ISO 2004
All rights reserved. Unless otherwise specified, no part of this publication may be reproduced or utilized in any form or by any means,
electronic or mechanical, including photocopying and microfilm, without permission in writing from either ISO at the address below or
ISO's member body in the country of the requester.
ISO copyright office
Case postale 56 • CH-1211 Geneva 20
Tel. + 41 22 749 01 11
Fax + 41 22 749 09 47
E-mail copyright@iso.org
Web www.iso.org
Published in Switzerland
ii © ISO 2004 – All rights reserved
---------------------- Page: 2 ----------------------
ISO 16820:2004(E)
Foreword
ISO (the International Organization for Standardization) is a worldwide federation of national standards bodies
(ISO member bodies). The work of preparing International Standards is normally carried out through ISO
technical committees. Each member body interested in a subject for which a technical committee has been
established has the right to be represented on that committee. International organizations, governmental and
non-governmental, in liaison with ISO, also take part in the work. ISO collaborates closely with the
International Electrotechnical Commission (IEC) on all matters of electrotechnical standardization.
International Standards are drafted in accordance with the rules given in the ISO/IEC Directives, Part 2.
The main task of technical committees is to prepare International Standards. Draft International Standards
adopted by the technical committees are circulated to the member bodies for voting. Publication as an
International Standard requires approval by at least 75 % of the member bodies casting a vote.
Attention is drawn to the possibility that some of the elements of this document may be the subject of patent
rights. ISO shall not be held responsible for identifying any or all such patent rights.
ISO 16820 was prepared by Technical Committee ISO/TC 34, Food products, Subcommittee SC 12, Sensory
analysis.
© ISO 2004 – All rights reserved iii
---------------------- Page: 3 ----------------------
INTERNATIONAL STANDARD ISO 16820:2004(E)
Sensory analysis — Methodology — Sequential analysis
1 Scope
This International Standard describes a procedure for statistically analysing data from forced-choice sensory
discrimination tests, such as the Triangle, Duo-Trio, 3-AFC, 2-AFC, in which after every trial of the
discrimination test the decision can be made to stop testing and declare a difference, to stop testing and
declare no difference, or to continue testing.
The sequential method often allows for a decision to be made after fewer trials of the discrimination test than
would be required by conventional approaches that use predetermined numbers of assessments.
The method is effective for
a) determining that
either a perceptible difference results, or
a perceptible difference does not result when, for example, a change is made in ingredients,
processing, packaging, handling or storage;
b) or for selecting, training and monitoring assessors.
2 Normative references
The following referenced documents are indispensable for the application of this document. For dated
references, only the edition cited applies. For undated references, the latest edition of the referenced
document (including any amendments) applies.
ISO 5492:1992, Sensory analysis — Vocabulary
3 Terms, definitions and symbols
3.1 Terms and definitions
For the purposes of this document, the terms and definitions given in ISO 5492 and the following apply.
3.1.1
alpha-risk
αα-risk
αα
probability of concluding that a perceptible difference exists when one does not
NOTE This is also known as Type I error, significance level or false positive rate.
3.1.2
beta-risk
ββββ-risk
probability of concluding that no perceptible difference exists when one does
NOTE This is also known as Type II error or false negative rate.
© ISO 2004 – All rights reserved 1
---------------------- Page: 4 ----------------------
ISO 16820:2004(E)
3.1.3
sensitivity
general term used to summarize the performance characteristics of the test
NOTE In statistical terms, the sensitivity of the test is defined by the values of α, β and p .
d
3.2 Symbols
p probability of a correct response when no perceptible difference exists
0
p proportion of assessments in which a perceptible difference is detected between the two products
d
p probability of a correct response when a perceptible difference does exist
1
4 Principle
The type of discrimination test (triangle, duo-trio, etc.) is chosen. The sensitivity of the test is defined by
selecting values for α, β and p .
d
The boundaries of the decision regions are computed based on α, β, p and p . After every trial of the
0 1
discrimination test, the total number of correct responses [for the panel, see Clause 1a), or per assessor, see
Clause 1b)] is compared to the decision boundaries to determine
if testing can be stopped and a difference can be declared,
if testing can be stopped and no difference can be declared, or
if testing should continue.
5 Procedure
5.1 Construct a graph, as in Figure A.1, which illustrates the boundaries of the decision regions based on α,
β, p and p as follows.
0 1
a) α and β are chosen based on the risks the researcher is willing to take of obtaining a false positive or a
false negative result, respectively. α is the probability of declaring that a difference exists when the true
probability of a correct response is p . β is the probability of failing to declare that a difference exists when
0
the true probability of a correct response is p (p > p ).
1 1 0
b) p is the probability of a correct response when no perceptible difference exists (i.e. the probability of a
0
correct guess). The value of p depends on the discrimination test being used:
0
for the triangle and the 3-AFC tests, p = 1/ 3
0
for the duo-trio and the 2-AFC tests, p = 1/ 2
0
c) p is the probability of a correct response when a perceptible difference does exist. The value of p
1 1
depends on p :
d
1 − p
d
for the triangle and 3-AFC tests, pp=+
1d
3
1 − p
d
for the duo-trio and 2-AFC tests, pp=+
1d
2
2 © ISO 2004 – All rights reserved
---------------------- Page: 5 ----------------------
ISO 16820:2004(E)
d) the lines that form the boundaries of the decision regions are calculated as:
lg β− lg 1− α−np×−+lg 1 np×−lg 1
( ) ( ) ( ) ( )
10
lower line: d =
0
lg()pp−−lg( ) lg(1−p)+ lg(1−p)
10 1 0
lg 1−β− lg α−np×−+lg 1 np×−lg 1
( ) ( ) ( ) ( )
10
upper line: d =
1
lgpp−−lg lg 1−p+ lg 1−p
() ( ) ( ) ( )
10 1 0
where α, β, p and p are as defined above, and n is the number of trials of the test.
0 1
NOTE The distance between the two lines depends on p − p .
1 0
5.2 After each trial of the discrimination test, plot the total number of correct responses (on the vertical axis)
versus the number of trials (on the horizontal axis):
if the total number of correct responses falls between the lower and upper lines on the chart, then
continue testing by conducting another trial;
if the total number of correct responses falls above the upper line on the chart, then stop testing and
conclude that a perceptible difference exists (at the α-level of significance);
if the total number of correct responses falls below the lower line on the chart, then stop testing and
conclude that no meaningful difference exists [i.e. there is less than a (1 − β) probability that the true
probability of a correct response is as high as p ].
1
© ISO 2004 – All rights reserved 3
---------------------- Page: 6 ----------------------
ISO 16820:2004(E)
Annex A
(informative)
Examples
A.1 Example 1 — Sequential analysis of a series of triangle tests: acceptance vs.
rejection of two trainees on a panel
A.1.1 Background
A sensory analyst wishes to base the decision to accept or reject two trainees on the panel on their
performance in triangle tests using a typical pair of products. Each trainee receives a series of triangle tests.
Intervals between tests are kept long enough to avoid sensory fatigue.
A.1.2 Test design
The number of tri
...
NORME ISO
INTERNATIONALE 16820
Première édition
2004-06-15
Analyse sensorielle — Méthodologie —
Analyse séquentielle
Sensory analysis — Methodology — Sequential analysis
Numéro de référence
ISO 16820:2004(F)
©
ISO 2004
---------------------- Page: 1 ----------------------
ISO 16820:2004(F)
PDF – Exonération de responsabilité
Le présent fichier PDF peut contenir des polices de caractères intégrées. Conformément aux conditions de licence d'Adobe, ce fichier
peut être imprimé ou visualisé, mais ne doit pas être modifié à moins que l'ordinateur employé à cet effet ne bénéficie d'une licence
autorisant l'utilisation de ces polices et que celles-ci y soient installées. Lors du téléchargement de ce fichier, les parties concernées
acceptent de fait la responsabilité de ne pas enfreindre les conditions de licence d'Adobe. Le Secrétariat central de l'ISO décline toute
responsabilité en la matière.
Adobe est une marque déposée d'Adobe Systems Incorporated.
Les détails relatifs aux produits logiciels utilisés pour la création du présent fichier PDF sont disponibles dans la rubrique General Info
du fichier; les paramètres de création PDF ont été optimisés pour l'impression. Toutes les mesures ont été prises pour garantir
l'exploitation de ce fichier par les comités membres de l'ISO. Dans le cas peu probable où surviendrait un problème d'utilisation,
veuillez en informer le Secrétariat central à l'adresse donnée ci-dessous.
© ISO 2004
Droits de reproduction réservés. Sauf prescription différente, aucune partie de cette publication ne peut être reproduite ni utilisée sous
quelque forme que ce soit et par aucun procédé, électronique ou mécanique, y compris la photocopie et les microfilms, sans l'accord écrit
de l'ISO à l'adresse ci-après ou du comité membre de l'ISO dans le pays du demandeur.
ISO copyright office
Case postale 56 • CH-1211 Geneva 20
Tel. + 41 22 749 01 11
Fax. + 41 22 749 09 47
E-mail copyright@iso.org
Web www.iso.org
Publié en Suisse
ii © ISO 2004 – Tous droits réservés
---------------------- Page: 2 ----------------------
ISO 16820:2004(F)
Avant-propos
L'ISO (Organisation internationale de normalisation) est une fédération mondiale d'organismes nationaux de
normalisation (comités membres de l'ISO). L'élaboration des Normes internationales est en général confiée
aux comités techniques de l'ISO. Chaque comité membre intéressé par une étude a le droit de faire partie du
comité technique créé à cet effet. Les organisations internationales, gouvernementales et non
gouvernementales, en liaison avec l'ISO participent également aux travaux. L'ISO collabore étroitement avec
la Commission électrotechnique internationale (CEI) en ce qui concerne la normalisation électrotechnique.
Les Normes internationales sont rédigées conformément aux règles données dans les Directives ISO/CEI,
Partie 2.
La tâche principale des comités techniques est d'élaborer les Normes internationales. Les projets de Normes
internationales adoptés par les comités techniques sont soumis aux comités membres pour vote. Leur
publication comme Normes internationales requiert l'approbation de 75 % au moins des comités membres
votants.
L'attention est appelée sur le fait que certains des éléments du présent document peuvent faire l'objet de
droits de propriété intellectuelle ou de droits analogues. L'ISO ne saurait être tenue pour responsable de ne
pas avoir identifié de tels droits de propriété et averti de leur existence.
L'ISO 16820 a été élaborée par le comité technique ISO/TC 34, Produits alimentaires, sous-comité SC 12,
Analyse sensorielle.
© ISO 2004 – Tous droits réservés iii
---------------------- Page: 3 ----------------------
NORME INTERNATIONALE ISO 16820:2004(F)
Analyse sensorielle — Méthodologie — Analyse séquentielle
1 Domaine d'application
La présente Norme Internationale décrit un mode opératoire d'analyse statistique des données provenant
d'essais de discrimination sensorielle à choix forcé, tels que l'essai triangulaire, l'essai duo-trio, l'essai à choix
forcé 1 parmi trois (3-AFC), l'essai à choix forcé 1 parmi deux (2-AFC), dans lequel, après chaque essai de
discrimination, il peut être décidé soit d'arrêter les essais et de déclarer une différence, soit d'arrêter les
essais et de déclarer l'absence de différence, soit de poursuivre les essais.
La méthode séquentielle permet souvent de prendre une décision après un plus petit nombre d'essais de
discrimination qu'il n'est requis pour des approches classiques utilisant un nombre prédéfini d'évaluations.
La méthode est efficace dans les cas suivants:
a) déterminer
qu'il existe une différence perceptible, ou
qu'il n'existe pas de différence perceptible quand, par exemple, des modifications sont apportées aux
ingrédients, à la transformation, à l'emballage, aux opérations de manutention ou de stockage;
b) ou pour sélectionner, entraîner et contrôler les sujets.
2 Références normatives
Les documents de référence suivants sont indispensables pour l'application du présent document. Pour les
références datées, seule l'édition citée s'applique. Pour les références non datées, la dernière édition du
document de référence s'applique (y compris les éventuels amendements).
ISO 5492:1992, Analyse sensorielle — Vocabulaire
3 Termes, définitions et symboles
3.1 Termes et définitions
Pour les besoins de la présente Norme Internationale, les termes et définitions donnés dans l'ISO 5492 ainsi
que les suivants s'appliquent.
3.1.1
risque alpha
risque αααα
probabilité de conclure qu'il existe une différence perceptible alors qu'il n'en existe pas
NOTE Ceci est également appelé erreur de type I, niveau de signification ou taux de faux positifs.
3.1.2
risque bêta
risque ββββ
probabilité de conclure qu'il n'existe aucune différence perceptible alors qu'il en existe une
NOTE Ceci est également appelé erreur de type II ou taux de faux négatifs.
© ISO 2004 – Tous droits réservés 1
---------------------- Page: 4 ----------------------
ISO 16820:2004(F)
3.1.3
sensibilité
terme général utilisé pour résumer les caractéristiques de performance de l'analyse
NOTE En termes statistiques, la sensibilité de l'essai est définie par les valeurs de α, β et p .
d
3.2 Symboles
p probabilité d'une réponse correcte quand il n'existe aucune différence perceptible
0
p proportion d'évaluations au cours desquelles une différence perceptible est détectée entre les deux
d
produits
p probabilité d'une réponse correcte quand il existe une différence perceptible
1
4 Principe
Le type d'essai de discrimination (triangulaire, duo-trio, etc.) est choisi. La sensibilité de l'analyse séquentielle
est définie en choisissant des valeurs pour α, β et p .
d
Les limites des domaines décisionnels sont calculées à partir de α, β, p et p . Après chaque essai de
0 1
l'analyse séquentielle, le nombre total de réponses correctes [pour le jury, voir Article 1a), ou par sujet, voir
Article 1b)] est comparé aux limites du domaine décisionnel pour déterminer si
les essais peuvent être arrêtés et une différence peut être déclarée,
les essais peuvent être arrêtés et l'absence de différence peut être déclarée, ou
les essais doivent être poursuivis.
5 Mode opératoire
5.1 Construire un graphique comme en Figure A.1 illustrant les limites des domaines décisionnels fondées
sur α, β, p et p comme indiqué ci-après:
0 1
a) α et β sont choisis à partir des risques d'obtenir un résultat faussement positif ou un résultat faussement
négatif, que le chercheur est prêt à prendre. α est la probabilité de déclarer qu'il existe une différence
alors que la probabilité vraie d'obtenir une réponse correcte est p . β est la probabilité de ne pas déclarer
0
qu'il existe une différence alors que la probabilité vraie d'obtenir une réponse correcte est p (p > p ).
1 1 0
b) p est la probabilité d'obtenir une réponse correcte lorsqu'il n'existe aucune différence perceptible (c'est-
0
à-dire la probabilité d'obtention d'une réponse correcte par le seul fait du hasard). La valeur de p est
0
fonction de l'essai de discrimination mis en œuvre:
pour les essais triangulaire et 3-AFC, p = 1/3
0
pour les essais duo-trio et 2-AFC, p = 1/ 2
0
c) p est la probabilité d'obtenir une réponse correcte lorsqu'il existe une différence perceptible. La valeur de
1
p est fonction de p :
1 d
1 − p
d
pour les essais triangulaire et 3-AFC,
pp=+
1d
3
1 − p
d
pour les essais duo-trio et 2-AFC, pp=+
1d
2
2 © ISO 2004 – Tous droits réservés
---------------------- Page: 5 ----------------------
ISO 16820:2004(F)
d) les droites qui forment les limites des domaines décisionnels sont calculées comme indiqué ci-après:
log β−−log 1 α−np× log 1− +np× log 1−
( ) ( ) ( ) ( )
10
droite inférieure: d =
0
log()pp−−lg( ) log(1−p)+ log(1−p)
10 1 0
log 1−−β log α−np× log 1− +n× log 1−p
( ) ( ) ( ) ( )
10
droite supérieure: d =
1
logpp−−log log 1−p+ log 1−p
() ( ) ( ) ( )
10 1 0
où α, β, p et p sont tels que définis ci-dessus et n est le nombre d'essais de l'analyse.
0 1
NOTE La distance entre les 2 droites est fonction de p − p .
1 0
5.2 Après chaque essai de l'analyse séquentielle, représenter graphiquement le nombre total de réponses
correctes (sur l'axe vertical) en fonction du nombre d'essais (sur l'axe horizontal):
si le nombre total de réponses correctes est compris entre les droites inférieure et supérieure du
graphique, poursuivre en effectuant un autre essai;
si le nombre total de réponses correctes se situe au-dessus de la droite supérieure du graphique, arrêter
les essais et conclure à l'existence d'une différence perceptible (au niveau de signification α);
si le nombre total de réponses correctes se situe sous la droite inférieure du graphique, arrêter les essais
et conclure à l'absence de différence significative [c'est-à-dire qu'il y a une probabilité inférieure à (1 − β)
que la probabilité vraie d'obtention d'une réponse correcte soit aussi élevée que p ].
1
© ISO 2004 – Tous droits réservés 3
---------------------- Page: 6 ----------------------
ISO 16820:2004(F)
Annexe A
(informative)
Exemples
A.1 Exemple 1 — Analyse séquentielle d'une série d'essais triangulaires:
Acceptation/rejet de deux candidats à un jury
A.1.1 Contexte
Un analyste sensoriel souhaite asseoir la décision d'accepter ou de rejeter deux candidats à un jury sur les
performances qu'ils ont obtenues lors d'essais triangulaires utilisant une paire caractéristique de produits.
Chaque candidat est soumis à une série d'essais triangulaires. Les intervalles entre les essais sont
suffisamment longs pour éviter toute fatigue sensorielle.
A.1.2 Conceptio
...
Questions, Comments and Discussion
Ask us and Technical Secretary will try to provide an answer. You can facilitate discussion about the standard in here.