ISO 17258:2015
(Main)Statistical methods - Six Sigma - Basic criteria underlying benchmarking for Six Sigma in organisations
Statistical methods - Six Sigma - Basic criteria underlying benchmarking for Six Sigma in organisations
ISO 17258:2015 describes a methodology for establishing the level of quality, performance, and productivity of processes, products, and services according to Six Sigma principles. It is applicable to all sectors (industries, services, administration, etc.) and to all types of organizations, whether it is already involved in an improvement programme such as Six Sigma, Lean, or not. In particular, it can be used to initiate a Six Sigma programme by providing a selection of improvement projects. NOTE. The focus of this methodology is on criteria, measures, measurement process, and comparison process. The results can then be used to identify good practices of benchmarking.
Méthodes statistiques — Six Sigma — Critères fondamentaux d'une évaluation comparative Six Sigma pour les organisations
L'ISO17258:2015 décrit une méthodologie permettant d'établir le niveau de qualité, de performance et de productivité de processus, de produits et de services conformément aux principes Six Sigma. Elle s'applique à tous les secteurs (industries, services, administration, etc.) et à tous les types d'organisation, qu'ils soient ou non déjà impliqués dans un programme d'amélioration (Six Sigma ou Lean, par exemple). En particulier, elle peut être utilisée pour lancer un programme Six Sigma en proposant une sélection de projets d'amélioration.
General Information
- Status
- Published
- Publication Date
- 06-Jan-2015
- Technical Committee
- ISO/TC 69/SC 7 - Applications of statistical and related techniques for the implementation of Six Sigma
- Drafting Committee
- ISO/TC 69/SC 7/WG 3 - Six sigma methodology
- Current Stage
- 9093 - International Standard confirmed
- Start Date
- 22-Jun-2021
- Completion Date
- 13-Dec-2025
Overview
ISO 17258:2015 - "Statistical methods - Six Sigma - Basic criteria underlying benchmarking for Six Sigma in organisations" - defines a methodology to establish and compare levels of quality, performance, and productivity using Six Sigma principles. Applicable across all sectors (manufacturing, services, administration) and organization sizes, the standard focuses on the criteria, measures, measurement process and comparison process that underpin trustworthy benchmarking. It can be used standalone or to initiate Six Sigma/Lean improvement programmes and to select improvement projects.
Key topics and technical requirements
- Benchmarking framework and objectives: defines the scope and goals for comparing processes, products and services.
- Criteria and measures:
- Types of criteria (generic and industry-specific).
- Requirements for valid measures, including scope and summary of measures.
- Annexed normative tables with examples for industries (food, automotive, retail banking, telecoms, hotel, retail, clothing/leather).
- Measurement process:
- Data collection, arrangement and data quality validation.
- Controlling measurement quality: precision, consistency, and keeping data up-to-date.
- Comparison and benchmarking steps:
- Internal benchmarking (historical, functional, I/O).
- External benchmarking and supply chain benchmarking (chain efficiency vs. competitive benchmarking).
- Guidance for Six Sigma project selection based on benchmarking results.
- Definitions and terminology: benchmark, benchmarking, benchmarking method, symbols and abbreviations.
- Normative reference: aligns with ISO 13053‑1 (DMAIC methodology) for integrating Sigma metrics (world-class Sigma approximations referenced).
Applications and who should use it
ISO 17258 is practical for:
- Quality managers, Six Sigma practitioners, process engineers - to quantify current sigma levels and choose DMAIC projects.
- Supply chain and operations managers - for chain-efficiency benchmarking across suppliers and transformers.
- Business improvement teams and consultants - to identify best practices and prioritize improvements.
- Auditors and regulators - to validate measurement procedures and comparisons. Typical uses:
- Establishing benchmark sigma levels and defects-per-opportunity metrics.
- Selecting and prioritizing Six Sigma projects.
- Comparing performance across plants, suppliers, or functional areas.
- Integrating benchmarking outputs into financial, regulatory or continual improvement assessments.
Related standards
- ISO 13053-1 - Quantitative methods in process improvement - Six Sigma - Part 1: DMAIC methodology (normative reference cited by ISO 17258).
Keywords: ISO 17258, Six Sigma benchmarking, statistical methods, quality performance productivity, benchmarking measures, DMAIC, supply chain benchmarking.
ISO 17258:2015 - Statistical methods -- Six Sigma -- Basic criteria underlying benchmarking for Six Sigma in organisations
ISO 17258:2015 - Méthodes statistiques -- Six Sigma -- Criteres fondamentaux d'une évaluation comparative Six Sigma pour les organisations
Frequently Asked Questions
ISO 17258:2015 is a standard published by the International Organization for Standardization (ISO). Its full title is "Statistical methods - Six Sigma - Basic criteria underlying benchmarking for Six Sigma in organisations". This standard covers: ISO 17258:2015 describes a methodology for establishing the level of quality, performance, and productivity of processes, products, and services according to Six Sigma principles. It is applicable to all sectors (industries, services, administration, etc.) and to all types of organizations, whether it is already involved in an improvement programme such as Six Sigma, Lean, or not. In particular, it can be used to initiate a Six Sigma programme by providing a selection of improvement projects. NOTE. The focus of this methodology is on criteria, measures, measurement process, and comparison process. The results can then be used to identify good practices of benchmarking.
ISO 17258:2015 describes a methodology for establishing the level of quality, performance, and productivity of processes, products, and services according to Six Sigma principles. It is applicable to all sectors (industries, services, administration, etc.) and to all types of organizations, whether it is already involved in an improvement programme such as Six Sigma, Lean, or not. In particular, it can be used to initiate a Six Sigma programme by providing a selection of improvement projects. NOTE. The focus of this methodology is on criteria, measures, measurement process, and comparison process. The results can then be used to identify good practices of benchmarking.
ISO 17258:2015 is classified under the following ICS (International Classification for Standards) categories: 03.120.30 - Application of statistical methods. The ICS classification helps identify the subject area and facilitates finding related standards.
You can purchase ISO 17258:2015 directly from iTeh Standards. The document is available in PDF format and is delivered instantly after payment. Add the standard to your cart and complete the secure checkout process. iTeh Standards is an authorized distributor of ISO standards.
Standards Content (Sample)
INTERNATIONAL ISO
STANDARD 17258
First edition
2015-01-15
Statistical methods — Six Sigma
— Basic criteria underlying
benchmarking for Six Sigma in
organisations
Méthodes statistiques — Six Sigma — Critères fondamentaux d’une
évaluation comparative Six Sigma pour les organisations
Reference number
©
ISO 2015
© ISO 2015
All rights reserved. Unless otherwise specified, no part of this publication may be reproduced or utilized otherwise in any form
or by any means, electronic or mechanical, including photocopying, or posting on the internet or an intranet, without prior
written permission. Permission can be requested from either ISO at the address below or ISO’s member body in the country of
the requester.
ISO copyright office
Case postale 56 • CH-1211 Geneva 20
Tel. + 41 22 749 01 11
Fax + 41 22 749 09 47
E-mail copyright@iso.org
Web www.iso.org
Published in Switzerland
ii © ISO 2015 – All rights reserved
Contents Page
Foreword .v
Introduction .vi
1 Scope . 1
2 Normative references . 1
3 Terms and definitions . 1
4 Symbols and abbreviations . 1
5 General considerations on benchmarking . 2
5.1 Objectives and framework . 2
5.1.1 Objective . . 2
5.1.2 Framework . 2
6 Benchmark . 2
6.1 Overview and requirements for the criteria . 3
6.1.1 Types and description of criteria . 3
6.1.2 Requirements for criteria . 3
6.2 Overview and requirements for the measures . 3
6.2.1 Scope of measures . 3
6.2.2 Generic measures . 4
6.2.3 Industry specific measures . 8
6.2.4 Summary of measures . . 9
7 Benchmarking .10
7.1 Objective establishment step .10
7.2 Measurement step .10
7.2.1 Data collection .10
7.2.2 Data arrangement .11
7.2.3 Data quality validation . .11
7.3 Controlling the quality of the measurement results .11
7.3.1 Precision.11
7.3.2 Consistency .11
7.3.3 Up-to-date .11
7.4 Comparison step .11
7.5 Internal benchmarking .11
7.5.1 Historical benchmarking .12
7.5.2 Functional benchmarking .12
7.5.3 I/O benchmarking .12
7.6 External benchmarking .12
7.7 Supply chain benchmarking .12
7.7.1 Benchmarking in an organization .12
7.7.2 Benchmarking in a supply chain .13
7.8 Six Sigma project selection .13
8 Interface with other types of benchmarking .13
Annex A (informative) Three dimensions of benchmarking .15
Annex B (normative) Table of criteria (generic).16
Annex C (informative) Table of criteria with examples of results .18
Annex D (normative) Table of criteria for the food processing industry .20
Annex E (normative) Table of criteria for the automotive industry .22
Annex F (normative) Table of criteria for the retail banking industry .24
Annex G (normative) Table of criteria for clothing and leather industry .27
Annex H (normative) Table of criteria for the telecoms industry .29
Annex I (normative) Table of criteria for the hotel business .31
Annex J (normative) Table of criteria for the retail business .33
Annex K (informative) Example from the poultry industry .35
Bibliography .37
iv © ISO 2015 – All rights reserved
Foreword
ISO (the International Organization for Standardization) is a worldwide federation of national standards
bodies (ISO member bodies). The work of preparing International Standards is normally carried out
through ISO technical committees. Each member body interested in a subject for which a technical
committee has been established has the right to be represented on that committee. International
organizations, governmental and non-governmental, in liaison with ISO, also take part in the work.
ISO collaborates closely with the International Electrotechnical Commission (IEC) on all matters of
electrotechnical standardization.
The procedures used to develop this document and those intended for its further maintenance are
described in the ISO/IEC Directives, Part 1. In particular the different approval criteria needed for the
different types of ISO documents should be noted. This document was drafted in accordance with the
editorial rules of the ISO/IEC Directives, Part 2 (see www.iso.org/directives).
Attention is drawn to the possibility that some of the elements of this document may be the subject of
patent rights. ISO shall not be held responsible for identifying any or all such patent rights. Details of any
patent rights identified during the development of the document will be in the Introduction and/or on
the ISO list of patent declarations received (see www.iso.org/patents).
Any trade name used in this document is information given for the convenience of users and does not
constitute an endorsement.
For an explanation on the meaning of ISO specific terms and expressions related to conformity
assessment, as well as information about ISO’s adherence to the WTO principles in the Technical Barriers
to Trade (TBT), see the following URL: Foreword — Supplementary information.
The committee responsible for this document is ISO/TC 69, Statistical methods, Subcommittee SC 7, Six Sigma.
Introduction
Benchmarking is frequently used in various domains in connection with business activities. The Six
Sigma methodology requires an evaluation step using a benchmarking process. In other words, a
method for the comparison of levels of quality, performance, and productivity with the state-of-the-art
is required. This International Standard establishes what to compare and develops a methodology to
conduct a correct comparison between an organization’s levels of quality, performance, and productivity.
The numbers given by the benchmarking can be integrated into any improvement programme to
quantify any progress. They can also be used by other assessment processes in the organization such as
regulation compliancy or financial performance evaluation.
Benchmarking is the whole process of collecting and processing data and information and comparing
the results. The benchmark is the reference point for comparison.
The main point of this benchmarking methodology, based on transparency and the universal principle
of evaluation, is to give confidence to its calculating procedures and the results, so that comparisons
between organizations are accepted by all parties.
Benchmark and Six Sigma’s principles
The Sigma measure is a number ranging from, typically, near zero to 10 or more. The value six has
traditionally been considered “world class” (that can be approximated by 3,4 defects per million
opportunities — see ISO 13053-1 5.3) for mechanical and electronic industries. The criticality of defects
within each industry typically defines the Sigma level required in order to be a “world class” benchmark
quality level for that application. So, according to the different sectors and markets, the level of “world
class” can be different.
The Sigma level is an estimate of the proportion of defects (typically expressed in defects per million). A
“world class” Sigma level is the Sigma level that is considered essential to consistently deliver excellence
of product and service.
This benchmarking method is applicable to all types of sectors, to all type of processes, to organizations
of all sizes, and to all methodologies for improvement, in association with DMAIC, or issues relating to
Design for Six Sigma (DFSS).
Criteria and defects
The Sigma level is based on the ratio of estimated (or observed or predicted) number of defects to the
number of opportunities according to the specifications and the variability of the process (for example,
one “defect” in a million deliveries).
A defect is something that a customer or a user cannot accept or it might have a negative impact on
performance.
Two types of customer are identified:
— the end user or consumer (Business to Consumer) and
— the professional (Business to Business).
The consumer has some needs but these needs are often implicit. Product requirements that address
these needs are not numerous and they can be summarized by the following:
a) to be safe in its intended usage (security, safety);
b) to do what it is supposed to do (functional, conformity);
c) to be available in the expected shape and not to break in its intended usage (availability, ease of use,
reliability);
d) to not do any harm to persons (ethical) or environment (pollution control).
vi © ISO 2015 – All rights reserved
These four criteria cover most of the consumer’s needs for all sectors and on all continents.
A customer will have other criteria but all of these are likely to be summarized by the four generic
criteria described above.
Supply chain
A supply chain is the whole supplier/transformer link from the raw material to the final product or the
service for the consumer. Each sector has its supply chain organization.
Examples:
— Petrol sector — from the offshore extracting (extractor) unit to the gasoline retailer for consumers.
— Food sector — from the fields and orchards (raw material) to the consumer.
— Automotive sector — from the steel and glass supplier to the car manufacturer.
— Cosmetic sector — from the molecule to the perfume or beauty cream.
The level of quality and performance delivered to the consumer is the “total” of all quality and
performance levels of the different transformers along the supply chain.
This benchmarking methodology aims to give a comparison of levels between upstream and downstream
transformers (chain efficiency benchmarking) or between transformers at the same step (competitive
benchmarking).
Producer B
Extractor
Supplier A
Main Producer Retailer
Consumer
Producer C
Chain ef iciency benchmarking
Competitive benchmarking
Product or service transformation
Figure 1 — Supply Chain Cycle
INTERNATIONAL STANDARD ISO 17258:2015(E)
Statistical methods — Six Sigma — Basic criteria
underlying benchmarking for Six Sigma in organisations
1 Scope
This International Standard describes a methodology for establishing the level of quality, performance,
and productivity of processes, products, and services according to Six Sigma principles. It is applicable
to all sectors (industries, services, administration, etc.) and to all types of organizations, whether it is
already involved in an improvement programme such as Six Sigma, Lean, or not. In particular, it can be
used to initiate a Six Sigma programme by providing a selection of improvement projects.
NOTE The focus of this methodology is on criteria, measures, measurement process, and comparison process.
The results can then be used to identify good practices of benchmarking.
2 Normative references
The following documents, in whole or in part, are normatively referenced in this document and are
indispensable for its application. For dated references, only the edition cited applies. For undated
references, the latest edition of the referenced document (including any amendments) applies.
ISO 13053-1, Quantitative methods in process improvement — Six Sigma — Part 1: DMAIC methodology
3 Terms and definitions
3.1
benchmark
reference point against which comparisons can be made
3.2
benchmarking
activity of comparing objects or practices of interest to each other or against a benchmark to evaluate
criteria (or characteristic)
3.3
benchmarking method
logical sequence of general steps to describe the process of quantitatively comparing one or more
attributes against a reference attribute with respect to a specified scale
4 Symbols and abbreviations
A measure of total “space”
A measure of total lost “space”
lost
C number (count)
C number of breaches of threshold of air pollution in a specified time
air
C input defects level
input
C output defects level
output
C process or activity defects level
process
C number of breaches of threshold of water pollution in a specified time
water
E category of user — experienced
F category of user — first time
k organization index
N total number
N number of experienced users
E
N number of first time users
F
t duration of time of study
t duration of time during which a product is returned
t measure of lost time
lost
t measure of time required for starting or understanding a product
start
X measure (continuous scale)
5 General considerations on benchmarking
Benchmarking is the method for collecting and analysing the data, and from these results, for comparing
the quality, performance, and productivity level between two or more organizations.
5.1 Objectives and framework
The following paragraphs describe what an organization is recommended to do in order to deploy
benchmarking and to obtain benchmark results.
5.1.1 Objective
The organization should decide upon the objective of the benchmarking before starting any measurement
or comparison activities.
NOTE Examples of objectives are to improve processes, to compare to competition, to evaluate the gap for
performance improvement.
5.1.2 Framework
The framework encompasses parts that are interrelated. This methodology is built with two main parts:
— benchmark;
— benchmarking.
In the objective’s description of benchmarking, an organization should detail these two parts.
6 Benchmark
This clause describes the overview and requirements to determine some reference points for comparison
(see 3.1.1 and 3.1.2). The points to be detailed are
— the criteria and
— measures of the criteria.
2 © ISO 2015 – All rights reserved
6.1 Overview and requirements for the criteria
Benchmarking is required to be applied to the criteria. This methodology defines 10 main criteria. If
one of the criteria is irrelevant, the organization will explicitly give an explanation for excluding it from
benchmarking. Two optional criteria are proposed, making a total of 12. This International Standard
focuses on 10 main and two optional criteria clustered into three types. The main criteria are also
named generic criteria.
6.1.1 Types and description of criteria
To have a universal benchmark, 10 main criteria are defined and they are clustered into two types. A
third type is for optional criteria (see Table 1).
Table 1 — Benchmarking criteria
Number Type Title
1 Type 1: generic quality Compliance
2 Ethical behaviour
3 Security/Safety
4 Returns (customer listening)
5 Availability
6 One-time delivery
7 On-time to market
8 Type 2: generic efficiency Productivity
9 Raw material efficiency
10 Energy efficiency
11 Type 3: Option Ease of use
12 Pollution control
These main criteria are divided into sub-criteria. Annex B gives the list of the sub-criteria. The main
criteria describe the basic requirement of the consumer such as security or on-time delivery. The sub-
criteria give a practical way to obtain the measure. A main criterion can have from one to eight sub-
criteria. In case of several sub-criteria, each one gives a measure and the main criteria can have up to
eight resulting measures (8-uple).
EXAMPLE Compliance has four sub-criteria: regulation, functional, contractual, and company policies. A
result of measures would be (100 %, 95 %, 82 %, and 95 %) and if the company has no policy, then it would be
(100 %, 95 %, 82 %, and not applicable).
6.1.2 Requirements for criteria
The organization should describe its policy and implementation of the 10 generic criteria with all its
sub-criteria (total of 30). Annex B gives the description of all main criteria and sub-criteria. If one of the
sub-criteria has no practice (e.g. no ethical charter or no charity programme in the organization), it shall
be explicitly mentioned and excluded from the benchmarking.
6.2 Overview and requirements for the measures
This sub-clause gives an overview and the requirements for the measures.
6.2.1 Scope of measures
The measures are performed on the main processes of the organization (see Introduction).
The inputs of the organization level process are the inputs of the organization. The outputs of the
organization level process are the outputs (or deliveries) of the organization. The main process is a bundle
of processes and each process is a set of activities. Each process can belong to a type of process such as
functional process (e.g. purchasing, sales, finance), support process (IT process, HR), or management
process (project management, accounting management).
For each benchmarking, the organization should describe which processes are in the scope.
6.2.2 Generic measures
This is a requirement to obtain measures for the generic criteria.
6.2.2.1 Measure for compliance
Compliance is related to the application of legal regulations, business commitments, and organizational
policies. The organization will describe the regulations, the business agreements, and the policies it
applies. The measure is described in Table 2.
Table 2 — Compliance
Information need Compliance on regulation commitments and policies
of an organization
Unit of measure Count number (compliance requirements, compliance
requirements not fulfilled)
Measurement method Count total number of compliance requirements (N)
Count number of compliance requirements not ful-
filled (C)
Data type Integer
Measure (N, C, (N - C)/N) (%)
Function Divide total number of requirements (N) minus num-
ber of requirements not fulfilled (C) by total number
of requirements (N)
Note For example, counting the number of non-conformities and the total number of requirements of
ISO 9001:2008 standard will give this measure.
Counting the number of security practices not fulfilled and the total number of security practices that
are mandatory will also give another measure.
6.2.2.2 Measure for ethical behaviour
Ethical behaviour is related to all of the social responsibility activities of an organization. The organization
should establish the list of its ethical “good practices” (GP). The measure is described in Table 3.
Table 3 — Ethical behaviour
Information need Ethical good practices (GP)
Unit of measure Count number (ethical good practices, ethical good
practices not fulfilled)
Measurement method Count total number of ethical GP to be applied (N)
Count the number of ethical GP not fulfilled (C)
Data type Integer
Measure (N, C, (N - C)/N) (%)
4 © ISO 2015 – All rights reserved
Table 3 (continued)
Function Divide the total number of ethical GP (N) to be applied
minus the number of ethical GP not fulfilled (C) by the
total number of ethical GP to be applied (N)
Note For example, do not throw your old computer but send it to a school or association.
6.2.2.3 Measure for security/safety
This measures what the consumer is expecting for its security (or safety). A breach of security (or
safety) is an event that jeopardizes the vital functions of an organism or an organization. The measure
is described in Table 4.
Table 4 — Security/Safety
Information need Security (or safety) for an organism or an organiza-
tion
Unit of measure Count number (breaches of security or safety)
Measurement method Count total number of breaches of security (or safety)
(C) over a specified period of time t
Data type Integer
Measure (C, t, C/t)
Function Number of breaches of security over a specified
period of time (week, month, year, etc.)
6.2.2.4 Measure for returns
A return is an explicit action issued from a dissatisfied customer (problem report, complaint, product
return, a request for return). The measure is described in Table 5.
Table 5 — Returns
Information need Returns from consumers
Unit of measure Count number identified returns (complaints, prod-
uct return, report, withdrawal of goods, etc.)
Measurement method Count number of returns (complaints, product
return) (C) by specified period of time (t)
Count number of units sold (U)
Data type Integer
Measure (C, t, U, C/U)
Function Divide the total number of returns by specified
period of time (week, month, year) by the number of
units sold
6.2.2.5 Measure for availability
This International Standard records availability with two measures:
— proportion of time (i.e. useful time/total time);
— proportion of space (i.e. space where usable/total space).
The measure is described in Table 6.
Table 6 — Availability of time and space
Information need Useful available time Useful available space
Unit of measure Time Space
Lost time Unavailable space
Measurement method Measure total time (t) Measure total space (A)
Measure lost time (t ) Measure lost space (A )
lost lost
Data type Continuous Continuous
Measure (t, t , (t - t )/t) (%) (A, A , (A - A )/A) (%)
lost lost lost lost
Function Divide total time (t) minus “lost” time Divide total space minus lost space by total
(t ) by total time (t) space
lost
6.2.2.6 Measure for on-time delivery
On-time delivery (OTD) gives the timeliness of deliveries to customers (see ISO 13053-1). The measure
is described in Table 7.
Table 7 — On-time delivery (OTD)
Information need Timeliness of deliveries to customers.
Unit of measure Count number (product deliveries)
Measurement method Count number of deliveries that are not on time to the
customer specifications (C) over a specified period of
time (t).
Count total number of deliveries that are planned (N).
Data type Integer
Measure (N, C, (N - C)/N) (%)
Function Total number of deliveries (N) minus number of
deliveries not on time (C) divided by total number of
deliveries (N) over a specified period of time (week,
month, year)
6.2.2.7 Measure for on-time to market
On-time to market (OTM) gives the timeliness of new products to the market. The measure is
described in Table 8.
Table 8 — On-time to market (OTM)
Information need Timeliness of deliveries of new products to market
Unit of measure Count number
Measurement method Count numbers of new products delivered that are
on time to the market specifications over a specified
period of time (t).
Data type Integer
Measure (N, C, (N - C)/N) (%)
Function Total number of deliveries of new products (N) minus
number of not on time deliveries (C) divided by total
number of new products deliveries over a specified
period of time (week, month, year)
6 © ISO 2015 – All rights reserved
6.2.2.8 Measure for productivity
Productivity is the measure of the efficiency of the organization to meet the requirements of consumers.
Productivity can be measured by the ratio between outputs and inputs (part of inputs are resources).
The measure is described in Table 9.
Table 9 — Productivity
Information need Productivity
Unit of measure Count number (delivered product/service)
Measure resources consumption (limited to
workforce)
Measurement method Count number of units delivered (product/ ser-
vice) (C) per specified unit of time (t).
Measure workforce resources consumption (w)
involved in the process over the same period of
time (t).
Data type Integer, time, integer
Measure (C, t, w, C/ (w*t))
Function Number of delivered units (C) by specified unit
of time (t) using (w) resources
As an alternative, Table 10 includes in this measure the recall of products or services that have non-
conformities.
Table 10 — Productivity and recall
Information need Productivity including recalled product
Unit of measure Count number (delivered product)
Measure resources consumption (limited to
workforce)
Measurement method Count number of units of delivered product (C)
per specified unit of time (t)
Count number of units of delivered product (C )
t
that can be recalled in a specific period of time t
t
Measure workforce resources consumption (w)
involved in the process over the same period of
time (t)
Data type Integer, time, integer
Measure (C, t, w, C/w*t, C , t )
1 1
Function Number of produced units (C) by specified unit
of time (t) with consumption of (w) resources
and number (C ) that can be recalled in time t
1 1
6.2.2.9 Measure for raw material efficiency
The raw material consumption efficiency is measured by the ratio of products/services delivered to the
quantity of raw material needed. The organization will detail the main raw material being used in its
production process. The measure is described in Table 11.
Table 11 — Raw material efficiency
Information need Efficiency of raw material consumption
Units of measure tonnes (raw material consumption)
Count (produced products/services)
Table 11 (continued)
Measurement method Measure the volume of consumed raw material (X) over a
specified period of time (t)
Count the number of produced units or services (N) over
this same period of time (t)
Data type Continuous, count
Measure (N, X, N/X)
Function Divide the number of produced units (N) by the quantity
of raw material (X) used over the specified period of time
(t)
6.2.2.10 Measure for energy efficiency
Energy efficiency is given by the ratio of products or services delivered to the quantity of energy needed.
The measure is described in Table 12.
Table 12 — Energy efficiency
Information need Efficiency of energy consumption
Units of measure MWh (energy consumption)
Count (produced products or services)
Measurement method Measure the quantity of consumed energy (X) over a spec-
ified period of time (t)
Count the number of produced units or services (N) over
this same period of time
Data type Continuous
Count
Measure (N, X, N/X)
Function Divide the number of produced units (N) by the quantity
of energy (X) used over the specified period of time (t)
6.2.3 Industry specific measures
The following criteria are industry specific. They are not mandatory and they can be used to complete
the scope of the benchmarking.
6.2.3.1 Measure for ease of use
Product ease of use is measured by percentage time. It measures the time a user spends to get the
product or service started or to understand how it functions. Two categories of measures: one for first
time users and another for experienced users. The measure is described in Table 13.
Table 13 — Ease of use
Information need Ease to use of a product or service
Unit of measure Minutes (duration of use)
Minutes (duration for starting or understanding)
Categories (of users: first time, experienced user)
Measurement method Measure the duration of usage (t)
Measure the duration for starting or understanding
how it works — while using it (t )
start
Count the category of user (F or E)
Data type Continuous, count
Measure (N , N , t, t , (t - t )/t) (%)
F E start start
8 © ISO 2015 – All rights reserved
Table 13 (continued)
Function Divide time of usage (t) minus time for starting or
understanding (t ) by time of usage (t) per cate-
start
gory
Note Online services (banking, travel agency, booking, etc.) are deploying these measures in order to
evaluate how easy it is to browse on the website. The number of clicks for reaching a specific page is another
measure for “Ease of use”.
6.2.3.2 Measure for pollution control
Pollution control is focused on air, water, and soil.
Air pollution control is measured by the regular agencies that collect and analyse air quality. Thresholds
have been established from the national, regional, and international organizations.
The measure is described in Table 14.
Table 14 — Pollution control
Information need Pollution of air and water of the product during usage and
for the processes to manufacture it
Unit of measure Count (number of breaches of threshold)
Measurement method Air: count the number of breaches of threshold (C ) indi-
air
cated by monitoring agencies in a specified time period
(t)
Water: count the number of breaches of threshold (C )
water
indicated by monitoring agencies in a specified time
period (t)
Type of data Integer
Measure (C, t, C/t)
Function Count number of breaches of thresholds (C) during a
specified time period (t)
6.2.4 Summary of measures
The measure is described in Table 15.
Table 15 — Summary of measures
Criteria Opportunity Scale
Main
Table 2 Compliance Requirement %
Table 3 Ethical behaviour Good practice %
Table 4 Security/safety Breach of security Number of breaches per unit time
Table 5 Returns Return or complaint Number of returns or complaints per unit time
Table 6 Availability Time and space %
Table 7 On-time delivery Delivered product %
Table 8 On-time to market New delivered product %
Table 9 Productivity Delivered product Delivered products per unit time and per
workforce
Table 11 Raw material efficiency Volume Volume per unit of production
Table 15 (continued)
Criteria Opportunity Scale
Table 12 Energy efficiency Energy consumption Energy per unit of production
Optional
Table 13 Ease of use Time taken %
Table 14 Pollution control Breaches of threshold Number of breaches per unit time
7 Benchmarking
Benchmarking is the complete process with
— an objective establishment step,
— a measurement step (Clause 6),
— a controlling step for the level of quality of the measurement results, and
— a comparison step.
7.1 Objective establishment step
A person responsible for benchmarking should be appointed to ensure that
— the benchmarking policies have been validated by general management,
— the 10 criteria with their 30 sub-criteria of the benchmark results are managed, and
— traceability of the benchmarking is deployed in order to ensure reproducibility of the results.
7.2 Measurement step
The organization should describe its policy for data management (collecting, gathering, processing, and
displaying the results) for its product or service and for its processes. Some of the measures described
in Clause 6 can only be calculated if a proper data management policy has been established (e.g. using
“big data” techniques).
There are three phases at this step.
7.2.1 Data collection
The organization should describe the method for gathering the data. The point of gathering the data is
to measure the level of the 10 criteria with their 30 sub-criteria according to the measure’s principles
described in Clause 6.
This description shall include the following information:
— the sources (report, automatic collecting from sensors, administrative files, logs);
— the sampling or the filtering procedures if any;
— the statistical methods if any;
— the frequency of collection.
10 © ISO 2015 – All rights reserved
7.2.2 Data arrangement
After collecting the data, the method for arranging them (if any) should be described.
Note This step involves what is commonly described as “cleaning” or “homogenization” of the data.
7.2.3 Data quality validation
The organization should deploy a method for assessing the quality of the collected data. This method
should also contain the source (7.2.1), the date of collection, and the person in charge of collecting them
(appointed by the benchmarking responsible; see 7.1).
Assessing the quality of data relies on several activities. One can focus on
— quality of estimation,
— quality of description of the collecting procedure, and
— crosscheck control.
7.3 Controlling the quality of the measurement results
The measurement methods described in Clause 6 apply to the measurements results. The quality of
these results has to be fulfilled according to the following properties.
7.3.1 Precision
Precision is the measure of the ability to distinguish between nearly equal values (from ISO 2382).
The organization should describe how the precision of the benchmarking results is reached.
7.3.2 Consistency
Consistency is to obtain and to keep coherence between different types of data or information.
The organization should describe how consistency of the benchmarking results is obtained and maintained.
7.3.3 Up-to-date
To be up-to-date, the information or data have to be quickly processed after the collection phase.
The organization should describe the duration between the collecting step and the publication date of
the data.
7.4 Comparison step
The results of the measurement steps have to be compared to a reference point. If a reference point does
not exist, the organization should take the first result as a reference point. If some reference points exist,
then compare them with the result for each of the 10 criteria.
A comparison table, with reference points and measurement results, should be established by the
organization. Annex K gives an example of a comparison table.
7.5 Internal benchmarking
Internal benchmarking is benchmarking performed inside an organization. The 10 main criteria with
their 30 sub-criteria are compared between different departments or services.
There are three specific types of internal benchmarking.
7.5.1 Historical benchmarking
This benchmarking is focused on comparing the same activities between two different time periods,
typically from one year to the next or from one month to the next. This is to evaluate the improvement
pace with regards to quality, performance, and productivity over time.
The organization should establish a historical benchmark and explicitly describe its results.
7.5.2 Functional benchmarking
This is benchmarking for a specific function in an organization.
NOTE Functions are human resource, sales, and marketing.
7.5.3 I/O benchmarking
This benchmarking is focused on comparing the quality level of the input with the quality level of the
output. There are two steps:
— quality control for a supplier’s delivery to the organization (input control);
— quality control for customer delivery (output control).
7.6 External benchmarking
These are comparisons between organizations on quality, performance, and productivity. They give
competitive benchmarking. Any organization planning to perform an external benchmarking should
previously have performed a historical benchmarking.
7.7 Supply chain benchmarking
Supply chain benchmarking introduces a new effect that will be measured and compared - the defects
propagation from one activity to the next. Thus, this benchmarking gives a fourth result - the ability of
the organization to evaluate the effect of defects propagation.
7.7.1 Benchmarking in an organization
The main process of the organization is decomposed into different processes such as purchasing, logistic,
production, conditioning, delivery, and payment (see Table 16).
Table 16 — Organization processes and defects
Ordered processes Purchasing Logistics Production Conditioning Delivery Invoicing
Defects in ppm 225 7 45 12 3 56
The propagation effect will be measured by the propagation coefficient k according to the following rule
(see Table 17):
Table 17 — Model of defect rate propagation
Defect rate Input defects level Process or activity Output
defects level defects level
Value C C C
input process output
12 © ISO 2015 – All rights reserved
In the case of full defect propagation:
CC=+C
output inputprocess
This is the worst case. Lowering the propagation effect introduces
Ck=+CC
()
output inputprocess
with 0 < k < 1.
Benchmarking the propagation effect is evaluating k. It is named the k-organization index.
The k-organization index is to be compared for consistency with the rolled throughput yield (RTY),
defined in ISO 13053-1.
An example of a propagation effect is given in Annex K.
7.7.2 Benchmarking in a supply chain
Different organizations are linked by a supply chain structure. As for the internal benchmarking,
the supply chain benchmarking will be evaluating the propagation of defects between the different
organizations, from upstream to downstream. The k of the supply chain has to be evaluated and is called
the k-chain. See Figure 1.
7.8 Six Sigma project selection
For an organization, benchmarking with Six Sigma principles leads to measures about
— its level of quality, performance and productivity in comparison with the state-of-the-art,
— the reference points of comparison with other organizations, and
— any weak points that need to be improved.
With all of these results, an organization has guidelines to apply improvement programmes among
which stand the two main Six Sigma methodologies: DMAIC and DFSS. Some Lean principles (flow
management, productivity, OTD, and efficiency) can also be included in the scope.
8 Interface with other types of benchmarking
Organizations use different types of benchmarking in order to improve. Besides quality, productivity,
a
...
NORME ISO
INTERNATIONALE 17258
Première édition
2015-01-15
Méthodes statistiques — Six Sigma
— Critères fondamentaux d’une
évaluation comparative Six Sigma
pour les organisations
Statistical methods — Six Sigma — Basic criteria underlying
benchmarking for Six Sigma in organisations
Numéro de référence
©
ISO 2015
DOCUMENT PROTÉGÉ PAR COPYRIGHT
© ISO 2015
Droits de reproduction réservés. Sauf indication contraire, aucune partie de cette publication ne peut être reproduite ni utilisée
sous quelque forme que ce soit et par aucun procédé, électronique ou mécanique, y compris la photocopie, l’affichage sur
l’internet ou sur un Intranet, sans autorisation écrite préalable. Les demandes d’autorisation peuvent être adressées à l’ISO à
l’adresse ci-après ou au comité membre de l’ISO dans le pays du demandeur.
ISO copyright office
Case postale 56 • CH-1211 Geneva 20
Tel. + 41 22 749 01 11
Fax + 41 22 749 09 47
E-mail copyright@iso.org
Web www.iso.org
Publié en Suisse
ii © ISO 2015 – Tous droits réservés
Sommaire Page
Avant-propos .v
Introduction .vi
1 Domaine d’application . 1
2 Références normatives . 1
3 Termes et définitions . 1
4 Symboles et termes abrégés . 1
5 Considérations générales relatives à l’évaluation comparative . 2
5.1 Objectifs et cadre . 2
5.1.1 Objectif . 2
5.1.2 Cadre . 2
6 Benchmark . 3
6.1 Aperçu et exigences des critères . 3
6.1.1 Types et description des critères . 3
6.1.2 Exigences pour les critères . 3
6.2 Aperçu et exigences des mesures . 4
6.2.1 Domaine d’application des mesures . 4
6.2.2 Mesures génériques . 4
6.2.3 Mesures spécifiques au secteur . 9
6.2.4 Récapitulatif des mesures .10
7 Évaluation comparative.10
7.1 Étape d’établissement des objectifs .11
7.2 Étape de mesure .11
7.2.1 Collecte des données .11
7.2.2 Classement des données .11
7.2.3 Validation de la qualité des données .11
7.3 Contrôle de la qualité des résultats de mesure .12
7.3.1 Précision.12
7.3.2 Cohérence .12
7.3.3 Actualisation .12
7.4 Étape de comparaison .12
7.5 Évaluation comparative interne .12
7.5.1 Évaluation comparative historique .12
7.5.2 Évaluation comparative fonctionnelle.12
7.5.3 Évaluation comparative des entrées/sorties . .13
7.6 Évaluation comparative externe .13
7.7 Évaluation comparative de la filière .13
7.7.1 Évaluation comparative au sein d’une organisation .13
7.7.2 Évaluation comparative dans une filière .14
7.8 Sélection d’un projet Six Sigma .14
8 Interface avec d’autres types d’évaluation comparative .14
Annexe A (informative) Les trois dimensions de l’évaluation comparative .15
Annexe B (normative) Tableau des critères (génériques) .16
Annexe C (informative) Tableau des critères avec exemples de résultats .19
Annexe D (normative) Tableau des critères pour l’industrie alimentaire.21
Annexe E (normative) Tableau des critères pour l’industrie automobile .24
Annexe F (normative) Tableau des critères pour les services bancaires aux particuliers .27
Annexe G (normative) Tableau des critères pour le secteur de l’habillement et du cuir .30
Annexe H (normative) Tableau des critères pour le secteur des télécommunications .33
Annexe I (normative) Tableau des critères pour le secteur hôtelier .36
Annexe J (normative) Tableau des critères pour la grande distribution et le commerce de détail .39
Annexe K (informative) Exemple de l’industrie avicole .42
Bibliographie .44
iv © ISO 2015 – Tous droits réservés
Avant-propos
L’ISO (Organisation internationale de normalisation) est une fédération mondiale d’organismes
nationaux de normalisation (comités membres de l’ISO). L’élaboration des Normes internationales est
en général confiée aux comités techniques de l’ISO. Chaque comité membre intéressé par une étude
a le droit de faire partie du comité technique créé à cet effet. Les organisations internationales,
gouvernementales et non gouvernementales, en liaison avec l’ISO participent également aux travaux.
L’ISO collabore étroitement avec la Commission électrotechnique internationale (IEC) en ce qui concerne
la normalisation électrotechnique.
Les procédures utilisées pour élaborer le présent document et celles destinées à sa mise à jour sont
décrites dans les Directives ISO/IEC, Partie 1. Il convient, en particulier de prendre note des différents
critères d’approbation requis pour les différents types de documents ISO. Le présent document a été
rédigé conformément aux règles de rédaction données dans les Directives ISO/IEC, Partie 2 (voir www.
iso.org/directives).
L’attention est appelée sur le fait que certains des éléments du présent document peuvent faire l’objet de
droits de propriété intellectuelle ou de droits analogues. L’ISO ne saurait être tenue pour responsable
de ne pas avoir identifié de tels droits de propriété et averti de leur existence. Les détails concernant les
références aux droits de propriété intellectuelle ou autres droits analogues identifiés lors de l’élaboration
du document sont indiqués dans l’Introduction et/ou dans la liste des déclarations de brevets reçues par
l’ISO (voir www.iso.org/brevets).
Les appellations commerciales éventuellement mentionnées dans le présent document sont données pour
information, par souci de commodité, à l’intention des utilisateurs et ne sauraient constituer un engagement.
Pour une explication de la signification des termes et expressions spécifiques de l’ISO liés à l’évaluation de
la conformité, ou pour toute information au sujet de l’adhésion de l’ISO aux principes de l’OMC concernant
les obstacles techniques au commerce (OTC), voir le lien suivant: Avant-propos — Informations
supplémentaires.
Le comité en charge du présent document est l’ISO/TC 69, Application des méthodes statistiques, sous-
comité SC 7, Six Sigma.
Introduction
L’évaluation comparative est souvent utilisée dans de nombreux domaines liés au développement des
affaires. La méthodologie Six Sigma demande une étape d’évaluation s’appuyant sur un processus
d’évaluation comparative. En d’autres termes, une méthode de comparaison des niveaux de qualité,
de performance et de productivité prenant en compte l’état de l’art est requise. La présente Norme
internationale établit les points de comparaison et développe une méthodologie permettant de comparer
correctement les niveaux de qualité, de performance et de productivité d’une organisation. Les chiffres
donnés par l’évaluation comparative peuvent être intégrés dans un programme d’amélioration afin
de quantifier les progrès. Ils peuvent également être utilisés par d’autres processus d’évaluation de
l’organisation, tels que l’évaluation de la conformité réglementaire ou des performances financières.
L’évaluation comparative est l’ensemble du processus de collecte et de traitement des données et des
informations et de comparaison des résultats. Le benchmark est le point de référence pour la comparaison.
L’objet principal de cette méthodologie d’évaluation comparative, qui repose sur la transparence
et le principe d’évaluation universel, consiste à faire en sorte que ses procédures de calcul et ses
résultats inspirent la confiance, afin que toutes les parties prenantes acceptent les comparaisons entre
organisations.
Évaluation comparative et principes de Six Sigma
La mesure Sigma est un nombre compris entre zéro et dix, voire plus. Traditionnellement, la valeur
six est considérée comme étant la «classe internationale» (qui peut se rapprocher de 3,4 défauts par
million de possibilités – voir le paragraphe 5.3 de l’ISO 13053-1) pour les industries mécaniques et
électroniques. La criticité des défauts dans chaque secteur définit en général le niveau Sigma requis
afin de parvenir à un niveau de qualité d’évaluation comparative de «classe internationale» pour cette
application. Par conséquent, en fonction des secteurs et des marchés, le niveau «classe internationale»
peut être différent.
Le niveau Sigma est une estimation de la proportion des défauts (en général exprimée en défauts par
million). Un niveau Sigma de «classe internationale» est le niveau considéré comme essentiel pour
atteindre continuellement l’excellence du produit et du service.
Cette méthode d’évaluation comparative s’applique à tous les secteurs, à tous les processus, à toutes les
organisations sans distinction de taille et à toutes les méthodologies d’amélioration, en association avec
la méthode DMAIC ou aux questions relatives à la conception et à Design For Six Sigma (DFSS).
Critères et défauts
Le niveau Sigma repose sur le rapport entre le nombre de défauts estimés (ou observés ou prédits) et
le nombre de possibilités de défauts en fonction des spécifications et de la variabilité du processus (par
exemple, un «défaut» par million de livraisons).
Un défaut est une chose qu’un consommateur ou utilisateur ne peut accepter ou susceptible d’avoir des
conséquences négatives sur la performance.
Deux types de client sont définis:
— l’utilisateur final ou le client (B-to-C),
— le professionnel (B-to-B).
Le client a des besoins, qui sont souvent implicites. Les exigences de produit qui répondent à ces besoins
ne sont pas nombreuses et peuvent être récapitulées de la manière suivante:
a) sécurité dans l’utilisation prévue du produit (sécurité, sûreté);
b) accomplir sa fonction (fonctionnalité, conformité);
vi © ISO 2015 – Tous droits réservés
c) être disponible dans la forme prévue et ne pas faillir à son utilisation prévue (disponibilité, facilité
d’utilisation, fiabilité); et
d) ne pas être nuisible à l’Homme (éthique) ou à l’environnement (lutte antipollution).
Ces quatre critères couvrent la plupart des besoins du client dans tous les secteurs et sur tous les continents.
Un client aura d’autres critères, mais tous peuvent être résumés selon les quatre critères génériques ci-
dessus.
Filière
Une filière est la succession des liens de transformation des opérateurs depuis la matière première
jusqu’au produit final ou le service au client. Chaque secteur dispose de sa propre organisation en filière.
EXEMPLES
— Secteur pétrolier: de l’unité d’extraction offshore (extracteur) au vendeur d’essence.
— Secteur alimentaire: des champs et des vergers (matière première) jusqu’à l’assiette du client.
— Secteur automobile: du fournisseur d’acier et de verre au fabricant de voitures.
— Secteur cosmétique: de la molécule au parfum ou à la crème de beauté.
Le niveau de qualité et de performance proposé au client est le «total» de tous les niveaux de qualité et
de performance des différents transformateurs de la filière.
La présente méthodologie d’évaluation comparative vise à permettre la comparaison des niveaux
entre des transformateurs amont et aval (évaluation comparative d’efficacité de filière) ou entre des
transformateurs à une même étape (évaluation comparative concurrentielle).
Figure 1 — Décomposition d’une filière
NORME INTERNATIONALE ISO 17258:2015(F)
Méthodes statistiques — Six Sigma — Critères
fondamentaux d’une évaluation comparative Six Sigma
pour les organisations
1 Domaine d’application
La présente Norme internationale décrit une méthodologie permettant d’établir le niveau de qualité, de
performance et de productivité de processus, de produits et de services conformément aux principes
Six Sigma. Elle s’applique à tous les secteurs (industries, services, administration, etc.) et à tous les
types d’organisation, qu’ils soient ou non déjà impliqués dans un programme d’amélioration (Six Sigma
ou Lean, par exemple). En particulier, elle peut être utilisée pour lancer un programme Six Sigma en
proposant une sélection de projets d’amélioration.
NOTE Cette méthodologie se concentre sur les critères, les mesures, le processus de mesurage et le processus de
comparaison. Les résultats peuvent alors être utilisés pour identifier les bonnes pratiques d’évaluation comparative.
2 Références normatives
Les documents ci-après, dans leur intégralité ou non, sont des références normatives indispensables à
l’application du présent document. Pour les références datées, seule l’édition citée s’applique. Pour les
références non datées, la dernière édition du document de référence s’applique (y compris les éventuels
amendements).
ISO 13053-1, Méthodes quantitatives dans l’amélioration de processus — Six Sigma — Partie 1:
Méthodologie DMAIC
3 Termes et définitions
3.1
benchmark
point de référence en fonction duquel il est possible de procéder à des comparaisons
3.2
évaluation comparative
activité consistant à comparer des objets ou des pratiques d’intérêt les uns par rapport aux autres ou par
rapport à un benchmark, afin d’évaluer les critères (ou les caractéristiques)
3.3
méthode d’évaluation comparative
séquence logique d’une procédure générale visant à décrire le processus de comparaison quantitative
d’un ou de plusieurs attributs par rapport à un attribut de référence en fonction d’une échelle spécifiée
4 Symboles et termes abrégés
A Mesure de l’espace total
A Mesure de l’espace perdu total
lost
C Nombre (dénombrement)
C Nombre de violations du seuil de pollution de l’air dans un temps spécifié
air
C Niveau de défauts d’entrée
input
C Niveau de défauts de sortie
output
C Niveau de défauts de processus ou d’activité
process
C Nombre de violations du seuil de pollution de l’eau dans un temps spécifié
water
E Catégorie d’utilisateur — expérimenté
F Catégorie d’utilisateur — débutant
k Indice de l’organisation
N Nombre total
N Nombre d’utilisateurs expérimentés
E
N Nombre d’utilisateurs débutants
F
t Durée de l’étude
t Durée au cours de laquelle un produit est renvoyé
t Mesure du temps perdu
lost
t Mesure du temps requis pour découvrir ou comprendre un produit
start
X Mesure (échelle continue)
5 Considérations générales relatives à l’évaluation comparative
L’évaluation comparative est la méthode de collecte et d’analyse des données, dont le résultat permet de
comparer le niveau de qualité, de performance et de productivité d’au moins deux organisations.
5.1 Objectifs et cadre
Les paragraphes suivants décrivent ce qu’une organisation est invitée à faire pour déployer l’évaluation
comparative et obtenir des résultats de benchmark.
5.1.1 Objectif
Il convient que l’organisation décide de l’objectif de l’évaluation comparative avant de procéder à des
activités de mesure ou de comparaison.
NOTE Il peut s’agir, par exemple, d’améliorer les processus, de se comparer à la concurrence, d’évaluer l’écart
pour améliorer les performances.
5.1.2 Cadre
Le cadre englobe des éléments qui interagissent. Cette méthodologie est conçue avec deux éléments
principaux:
— le benchmark,
— l’évaluation comparative.
Dans la description de l’objectif de l’évaluation comparative, il convient qu’une organisation détaille ces
deux éléments.
2 © ISO 2015 – Tous droits réservés
6 Benchmark
Le présent article donne un aperçu et présente les exigences permettant de déterminer certains points
de référence pour comparaison (voir les paragraphes 3.1.1 et 3.1.2). Les points à détailler sont:
— les critères, et
— les mesures des critères.
6.1 Aperçu et exigences des critères
L’évaluation comparative doit être appliquée sur les critères. Cette méthodologie définit 10 critères
principaux. Si l’un des critères n’est pas pertinent, l’organisation justifie de manière explicite son
exclusion de l’évaluation comparative. Deux critères facultatifs sont proposés, portant le total à 12. La
présente Norme internationale se concentre sur les 10 critères principaux et les 2 critères facultatifs,
regroupés en trois types. Les critères principaux sont aussi appelés critères génériques.
6.1.1 Types et description des critères
Pour obtenir un benchmark universel, 10 critères principaux sont définis et regroupés en deux types. Un
troisième type est réservé aux critères facultatifs (voir le Tableau 1).
Tableau 1 — Critères d’évaluation comparative
Numéro Type Titre
1 Type 1: Qualité générale Conformité
2 Comportement éthique
3 Sécurité/sûreté
4 Retours (écoute du client)
5 Disponibilité
6 Livraison à temps (OTD)
7 Mise sur le marché à temps (OTM)
8 Type 2: Efficacité générale Productivité
9 Efficacité des matières premières
10 Efficacité énergétique
11 Type 3: Facultatifs Facilité d’utilisation
12 Lutte antipollution
Ces principaux critères sont divisés en sous-critères. L’annexe B donne la liste de ces sous-critères.
Les critères principaux décrivent les exigences fondamentales du client – telles que la sécurité ou la
livraison à temps. Les sous-critères donnent une façon pratique d’obtenir la mesure. Un critère principal
peut avoir de un à huit sous-critères. Lorsqu’il y a plusieurs sous-critères, chacun donnant une mesure,
le critère principal peut avoir jusqu’à huit mesures résultantes (octuple).
EXEMPLE La conformité possède quatre sous-critères: réglementation, fonction, contrat et politique
d’entreprise. Un résultat de mesure pourrait alors être (100 %, 95 %, 82 %, et 95 %) et, si l’entreprise n’a pas de
politique, il devient (100 %, 95 %, 82 %, et «sans objet»).
6.1.2 Exigences pour les critères
Il convient que l’organisation décrive, dans une procédure, sa politique et la mise en œuvre des
10 critères génériques avec tous leurs sous-critères (total de 30). L’Annexe B donne la description de tous
les critères principaux et sous-critères. Si l’un des sous-critères n’a pas d’application pratique (pas de
charte éthique ni de programme de charité dans l’organisation, par exemple), il doit être explicitement
exclu de l’évaluation comparative.
6.2 Aperçu et exigences des mesures
Ce paragraphe donne un aperçu et les exigences des mesures.
6.2.1 Domaine d’application des mesures
Les mesures sont prises sur les principaux processus de l’organisation (voir l’introduction).
Les entrées de processus au niveau de l’organisation sont les entrées de l’organisation. Les sorties de
processus au niveau de l’organisation sont les sorties (ou livraisons) de l’organisation. Le processus
principal est un regroupement de processus, chacun étant un ensemble d’activités. Chaque processus
peut appartenir à un type de processus – tel que les processus fonctionnels (par exemple les
approvisionnements, les ventes, la finance), un processus de soutien (processus des TI, RH) ou processus
de gestion (gestion de projet, gestion comptable).
Pour chaque évaluation comparative, il convient que l’organisation décrive les processus entrant dans
le domaine d’application.
6.2.2 Mesures génériques
Obtenir des mesures pour les critères génériques est une exigence.
6.2.2.1 Mesure de conformité
La conformité fait référence à l’application des obligations légales, des engagements commerciaux et des
politiques internes. L’organisation décrit les réglementations, les accords commerciaux et les politiques
qu’elle applique. La mesure est décrite dans le Tableau 2.
Tableau 2 — Conformité
Information recherchée Conformité aux engagements réglementaires et
aux politiques internes
Unité de mesure Nombre (exigences de conformité, exigences de conform-
ité non satisfaites)
Méthode de mesure Compter toutes les exigences de conformité (N)
Compter les exigences de conformité non satisfaites (C)
Type de données Entier
Mesure (N, C, (N - C)/N) (%)
Fonction Diviser le nombre total d’exigences (N) moins le nombre
d’exigences non satisfaites (C) par le nombre total
d’exigences (N)
NOTE Par exemple, compter les non-conformités et toutes les exigences de la norme ISO 9001:2008 permet
d’obtenir cette mesure.
Compter le nombre d’exigences de sécurisation non satisfaites et le nombre d’exigences de sécurisation
satisfaites permet d’obtenir une autre mesure.
6.2.2.2 Mesure du comportement éthique
Le comportement éthique se rapporte à toutes les activités de responsabilité sociale d’une organisation.
Il convient que l’organisation dresse la liste de ses «bonnes pratiques» (BP) éthiques. La mesure est
décrite dans le Tableau 3.
4 © ISO 2015 – Tous droits réservés
Tableau 3 — Comportement éthique
Information recherchée Bonnes pratiques éthiques (BP)
Unité de mesure Nombre (bonnes pratiques éthiques, bonnes pratiques
éthiques non respectées)
Méthode de mesure Compter le nombre total de bonnes pratiques éthiques
à appliquer (N)
Compter le nombre de bonnes pratiques éthiques non
respectées (C)
Type de données Entier
Mesure (N, C, (N - C)/N) (%)
Fonction Diviser le nombre total de bonnes pratiques éthiques
(N) à appliquer moins le nombre de bonnes pratiques
éthiques non respectées (C) par le nombre total de
bonnes pratiques éthiques à appliquer (N)
NOTE Par exemple, ne pas jeter son vieil ordinateur, mais le donner à une école ou organisation.
6.2.2.3 Mesure de la sécurité/sûreté
Il s’agit de mesurer les attentes du client en matière de sécurité (ou de sûreté). Une atteinte à la sécurité
(ou à la sûreté) est un événement susceptible de remettre en question les fonctions vitales d’une
organisation ou entreprise. La mesure est décrite dans le Tableau 4.
Tableau 4 — Sécurité/Sûreté
Information recherchée Sécurité (ou sûreté) d’une organisation ou entreprise
Unité de mesure Nombre (atteintes à la sécurité ou la sûreté)
Méthode de mesure Compter le nombre total d’atteintes à la sécurité
(ou la sûreté) (C) sur une période donnée (t)
Type de données Entier
Mesure (C, t, C/t)
Fonction Nombre d’atteintes à la sécurité sur une période donnée
(semaine, mois, année, etc.)
6.2.2.4 Mesure des retours
Un retour est une action explicite de la part d’un client non satisfait (problème rapporté, plainte, retour
de produit, demande de retour). La mesure est décrite dans le Tableau 5.
Tableau 5 — Retours
Information recherchée Retours des clients
Unité de mesure Nombre retours identifiés (plaintes, retour de produit,
rapport, retrait de produits, etc.)
Méthode de mesure Compter les retours (plaintes, retours de produits) (C)
sur une période donnée (t)
Compter les unités vendues (U)
Type de données Entier
Mesure (C, t, U, C/U)
Fonction Diviser le nombre total de retours sur la période donnée
(semaine, mois, année) par le nombre d’unités
vendues
6.2.2.5 Mesure de la disponibilité
La présente Norme internationale enregistre la disponibilité avec deux mesures:
— proportion de temps (c’est-à-dire temps utile/temps total);
— proportion d’espace (c’est-à-dire espace utilisable/espace total).
La mesure est décrite dans le Tableau 6.
Tableau 6 — Disponibilité du temps et de l’espace
Information recherchée Temps disponible utile Espace disponible utile
Unité de mesure Temps Espace
Temps perdu Espace indisponible
Méthode de mesure Mesurer le temps total (t) Mesurer l’espace total (A)
Mesurer le temps perdu (t ) Mesurer l’espace perdu (A )
lost lost
Type de données Continu Continu
Mesure (t, t , (t - t )/t) (%) (A, A , (A - A )/A) (%)
lost lost lost lost
Fonction Diviser le temps total (t) moins le Diviser l’espace total moins l’espace
temps «perdu» (t ) par le temps perdu par l’espace total
lost
total (t)
6.2.2.6 Mesure de la ponctualité de livraison
La livraison à temps (OTD - On-Time Delivery) donne la ponctualité des livraisons aux clients (voir
l’ISO 13053-1). La mesure est décrite dans le Tableau 7.
Tableau 7 — Livraison à temps (OTD)
Information recherchée Ponctualité des livraisons aux clients
Unité de mesure Nombre (livraisons de produit)
Méthode de mesure Compter le nombre de livraisons en retard par rapport
aux demandes du client (C) sur une période donnée (t).
Compter le nombre total de livraisons prévues (N).
Type de données Entier
Mesure (N, C, (N - C)/N) (%)
Fonction Nombre total de livraisons (N) moins le nombre de
livraisons en retard (C) divisé par le nombre total de
livraisons (N) sur une période donnée (semaine, mois,
année, etc.)
6.2.2.7 Mise à temps sur le marché
La mise à temps sur le marché (OTM - On-Time to Market) indique la ponctualité d’arrivée des produits
sur le marché. La mesure est décrite dans le Tableau 8.
6 © ISO 2015 – Tous droits réservés
Tableau 8 — Mise à temps sur le marché (OTM)
Information recherchée Ponctualité de la mise des nouveaux produits sur
le marché
Unité de mesure Nombre
Méthode de mesure Compter le nombre de nouveaux produits livrés à temps
sur le marché sur une période donnée (t).
Type de données Entier
Mesure (N, C, (N - C)/N) (%)
Fonction Nombre total de livraisons de nouveaux produits (N)
moins le nombre de livraisons en retard (C) divisé par le
nombre total de nouveaux produits livrés sur une péri-
ode donnée (semaine, mois, année)
6.2.2.8 Mesure de productivité
La productivité est la mesure de l’efficacité de l’organisation en matière de satisfaction des exigences
des clients. La productivité peut être mesurée par le ratio entre les sorties et les entrées (une partie des
entrées sont les ressources). La mesure est décrite dans le Tableau 9.
Tableau 9 — Productivité
Information recherchée Productivité
Unité de mesure Nombre (produits livrés/services fournis)
Mesure de la consommation de ressources (limitée
à la main-d’œuvre)
Méthode de mesure Compter le nombre d’unités livrées (produit/service) (C)
par unité de temps donnée (t).
Mesurer la consommation de ressources humaines (w)
impliquée par le processus sur la même période de temps
(t).
Type de données Entier, temps, entier
Mesure (C, t, w, C/ (w × t))
Fonction Nombre d’unités livrées (C) par unité de temps donnée
(t) en employant (w) ressources
Comme alternative, le Tableau 10 intègre dans cette mesure le rappel de produits ou de services
présentant des non-conformités.
Tableau 10 — Productivité et rappels
Information recherchée Productivité - produits rappelés inclus
Unité de mesure Nombre (produits livrés)
Mesure de la consommation de ressources (limitée
à la main-d’œuvre)
Méthode de mesure Compter le nombre d’unités de produits livrées (C) par
unité de temps donnée (t).
Compter le nombre d’unités de produit livrées (Ct)
susceptibles d’être rappelées sur une période donnée tt
Mesurer la consommation de ressources humaines (w)
impliquée par le processus sur la même période de temps
(t).
Type de données Entier, temps, entier
Mesure (C, t, w, C/w × t, C , t )
1 1
Fonction Nombre d’unités produites (C) sur la période indiquée
(t) avec la consommation de ressources (w) et le nombre
d’unités susceptibles d’être rappelées (C ) sur la période
t
6.2.2.9 Mesure de l’efficacité des matières premières
L’efficacité de la consommation de matières premières est mesurée par le rapport des produits
livrés/services fournis sur la quantité de matières premières nécessaires. L’organisation détaille les
principales matières premières utilisées dans son processus de production. La mesure est décrite dans
le Tableau 11.
Tableau 11 — Efficacité des matières premières
Information recherchée Efficacité de la consommation de matières premières
Unités de mesure Tonnes (consommation de matières premières)
Nombre (produits/services produits)
Méthode de mesure Mesurer le volume de matières premières consommées
(X) sur une période donnée (t)
Compter le nombre d’unités produites ou de services
fournis (N) sur cette même période (t)
Type de données Continu, nombre
Mesure (N, X, N/X)
Fonction Diviser le nombre d’unités produites (N) par la quan-
tité de matières premières (X) utilisée sur une période
donnée (t).
6.2.2.10 Mesure de l’efficacité énergétique
L’efficacité énergétique est donnée par le rapport des produits livrés ou services fournis sur la quantité
d’énergie nécessaire. La mesure est décrite dans le Tableau 12.
8 © ISO 2015 – Tous droits réservés
Tableau 12 — Efficacité énergétique
Information recherchée Efficacité de la consommation d’énergie
Unités de mesure MWh (consommation énergétique)
Nombre (produits/services produits)
Méthode de mesure Mesurer la quantité d’énergie consommée (X) sur
une période donnée (t)
Compter le nombre d’unités produites ou de services
fournis (N) sur cette même période (t)
Type de données Continu
Nombre
Mesure (N, X, N/X)
Fonction Diviser le nombre d’unités produites (N) par la quantité
d’énergie (X) utilisée sur une période donnée (t).
6.2.3 Mesures spécifiques au secteur
Les critères suivants sont spécifiques au secteur industriel. Ils ne sont pas obligatoires et peuvent être
utilisés pour compléter le domaine d’application de l’évaluation comparative.
6.2.3.1 Mesure de la facilité d’utilisation
La facilité d’utilisation du produit est mesurée par un pourcentage de temps. Il s’agit de mesurer le
temps passé par un utilisateur à se familiariser avec le produit ou le service ou à comprendre son
fonctionnement. Deux catégories de mesures existent: l’une pour les utilisateurs débutants et l’autre
pour les utilisateurs expérimentés. La mesure est décrite dans le Tableau 13.
Tableau 13 — Facilité d’utilisation
Information recherchée Facilité d’utilisation d’un produit ou d’un service
Unité de mesure Minutes (durée d’utilisation)
Minutes (durée pour démarrer ou comprendre)
Catégories (d’utilisateurs: débutants, expérimentés)
Méthode de mesure Mesurer la durée de l’utilisation (t)
Mesurer la durée pour démarrer ou comprendre
le fonctionnement — pendant l’utilisation (t )
start
Noter la catégorie de l’utilisateur (D ou E)
Type de données Continu, nombre
Mesure (N , N , t, t , (t - t )/t) (%)
F E start start
Fonction Diviser la durée d’utilisation (t) moins la durée de
familiarisation ou de compréhension (t ) par la durée
start
d’utilisation (t) par catégorie.
NOTE Les services en ligne (banques, agences de voyages, réservations, etc.) emploient ces mesures afin
d’évaluer à quel point il est facile de naviguer sur leur site Internet. Le nombre de clics pour atteindre une page
donnée est une autre mesure de la facilité d’utilisation.
6.2.3.2 Mesure de la lutte antipollution
La lutte antipollution concerne l’air, l’eau et le sol.
La lutte antipollution est mesurée par des organismes agréés qui collectent et analysent la qualité de
l’air. Des seuils ont été définis par des organisations régionales, nationales et internationales.
La mesure est décrite dans le Tableau 14.
Tableau 14 — Lutte antipollution
Information recherchée Pollution de l’air et de l’eau du produit pendant son
utilisation et pour les processus de fabrication
Unité de mesure Nombre (franchissements de seuil)
Méthode de mesure Air: compter le nombre de franchissements du seuil (C )
air
indiqué par les agences de surveillance sur une période
donnée (t).
Eau: compter le nombre de franchissements du seuil
(C ) indiqué par les agences de surveillance sur une
water
période donnée (t).
Type de données Entier
Mesure (C, t, C/t)
Fonction Compter le nombre de franchissements du seuil (C)
pendant une période donnée (t).
6.2.4 Récapitulatif des mesures
La mesure est décrite dans le Tableau 15.
Tableau 15 — Résumé des mesures
Critères Opportunité Échelle
Principaux
Tableau 2 Conformité Exigence %
Tableau 3 Comportement Bonnes pratiques %
éthique
Tableau 4 Sécurité/sûreté Atteinte à la sécurité Nombre d’atteintes par unité de temps
Tableau 5 Retours Retour ou plainte Nombre de retours ou de plaintes par
unité de temps
Tableau 6 Disponibilité Temps et espace %
Tableau 7 Livraison à temps Produit livré %
Tableau 8 Mise sur le marché Nouveau produit %
à temps livré
Tableau 9 Productivité Produit livré Produits livrés par unité de temps et par
ressource humaine
Tableau 11 Efficacité des matières Volume Volume par unité de production
premières
Tableau 12 Efficacité énergétique Consommation Énergie par unité de production
énergétique
Facultatifs
Tableau 13 Facilité d’utilisation Temps nécessaire %
Tableau 14 Lutte antipollution Franchissements Nombre d’atteintes par unité de temps
de seuil
7 Évaluation comparative
L’évaluation comparative est le processus complet comprenant:
— une étape d’établissement des objectifs;
10 © ISO 2015 – Tous droits réservés
— une étape de mesure (Article 6);
— une étape de contrôle du niveau de qualité des résultats de mesure; et
— une étape de comparaison.
7.1 Étape d’établissement des objectifs
Il convient de désigner une personne chargée de l’évaluation comparative, qui va s’assurer de:
— la validation des politiques d’évaluation comparative par la direction générale;
— la gestion des 10 critères avec leurs 30 sous-critères des résultats de benchmark; et
— déploiement de la traçabilité de l’évaluation comparative afin de s’assurer de la reproductibilité
des résultats.
7.2 Étape de mesure
Il convient que l’organisation décrive sa stratégie de gestion des données (collecte, regroupement,
traitement, affichage des résultats) de son produit ou service, et son processus. Certaines mesures
décrites dans l’Article 6 peuvent uniquement être calculées si une politique correcte de gestion des
données a été mise en place (par exemple par l’utilisation des techniques «Big Data»).
Cette étape comporte trois phases.
7.2.1 Collecte des données
Il convient que l’organisation décrive la méthode pour collecter les données. La collecte des données
a pour objectif de mesurer le niveau des 10 critères avec leurs 30 sous-critères selon les principes de
mesure décrits à l’Article 6.
Cette description doit inclure les informations suivantes:
— les sources (rapports, collecte automatique par capteurs, fichiers administratifs, registres, etc.);
— les modes opératoires d’échantillonnage ou de filtrage – le cas échéant;
— les méthodes statistiques – le cas échéant;
— la fréquence de collecte.
7.2.2 Classement des données
Après avoir collecté les données, il convient de décrire la méthode permettant de les classer (le cas échéant).
NOTE Cette étape implique ce qui est généralement décrit comme un «nettoyage» ou une «homogénéisation»
des données.
7.2.3 Validation de la qualité des données
Il convient que l’organisation déploie une méthode d’évaluation de la qualité des données collectées.
Il est recommandé que cette méthode contienne également la source (7.2.1), la date de collecte et la
personne en charge de la collecte (désignée par le responsable de l’évaluation comparative; voir 7.1).
L’évaluation de la qualité des données repose sur plusieurs activités, les principales étant:
— la qualité de l’estimation;
— la qualité de description du mode opératoire de collecte; et
— un contrôle croisé.
7.3 Contrôle de la qualité des résultats de mesure
Les méthodes de mesure décrites dans l’Article 6 s’appliquent aux résultats obtenus des mesures. La
qualité de ces résultats doit être assurée selon les caractéristiques suivantes.
7.3.1 Précision
La précision est la capacité à distinguer deux valeurs (très voisines) (selon l’ISO 2382).
Il convient que l’organisation décrive la manière d’obtenir la précision des résultats de l’évaluation
comparative.
7.3.2 Cohérence
Il s’agit d’obtenir et de conserver la cohérence entre différents types de données ou d’informations.
Il convient que l’organisation décrive la manière d’obtenir et de maintenir la cohérence des résultats de
l’évaluation comparative.
7.3.3 Actualisation
Pour être à jour, les informations ou données doivent être rapidement traitées après la phase de collecte.
Il convient que l’organisation indique la durée entre la collecte et la date de publication des données.
7.4 Étape de comparaison
Les résultats des étapes de mesure doivent être comparés à un point de référence. S’il n’existe aucun
point de référence, il convient que l’organisation prenne le premier résultat comme point de référence.
S’il existe des points de référence, les comparer au résultat pour chacun des 10 critères.
Il convient que l’organisation dresse un tableau de comparaison, avec des points de référence et des
résultats de mesure. L’annexe K donne un exemple de tableau comparatif.
7.5 Évaluation comparative interne
L’évaluation comparative interne est une évaluation comparative réalisée à l’intérieur d’une même
organisation. Les 10 critères avec leurs 30 sous-critères sont comparés entre les différents services
ou divisions.
Il existe trois types particuliers d’évaluations comparatives internes.
7.5.1 Évaluation comparative historique
Cette évaluation comparative s’applique à comparer les mêmes activités réalisées sur deux périodes
différentes, en général d’une année ou d’un mois sur l’autre. Il s’agit d’évaluer le rythme d’amélioration
en matière de qualité, de performances et de productivité dans le temps.
Il convient que l’organisation établisse un benchmark historique et donne explicitement ses résultats.
7.5.2 Évaluation comparative fonctionnelle
Il s’agit de l’évaluation comparative pour une fonction précise d’une organisation.
NOTE Ces fonctions sont, par exemple, les ressources humaines, les ventes, le marketing.
12 © ISO 2015 – Tous droits réservés
7.5.3 Évaluation comparative des entrées/sorties
Cett
...
The article discusses ISO 17258:2015, which outlines a methodology for evaluating the quality, performance, and productivity of processes, products, and services based on Six Sigma principles. This methodology is applicable to all sectors and types of organizations, regardless of their involvement in improvement programs. It can be used to start a Six Sigma program by suggesting improvement projects. The focus of this methodology is on criteria, measurement processes, and comparison processes, with the aim of identifying good benchmarking practices.
記事タイトル：ISO 17258:2015 - 統計手法 - シックスシグマ - 組織におけるシックスシグマのベンチマーキングの基本的な基準 記事内容：ISO 17258:2015は、シックスシグマ原則に従って、プロセス、製品、サービスの品質、パフォーマンス、生産性のレベルを評価する方法論を説明したものです。この方法論は、すでにシックスシグマやリーンなどの改善プログラムに参加しているかどうかに関係なく、すべてのセクター（産業、サービス、行政など）およびすべての組織タイプに適用することができます。特に、この方法論の焦点は基準、尺度、測定プロセス、比較プロセスにあります。得られた結果は、ベンチマーキングの優れた実践を特定するために活用することができます。
ISO 17258:2015 is a standard that outlines a methodology for assessing the quality, performance, and productivity of processes, products, and services in accordance with Six Sigma principles. This methodology can be applied across various sectors and types of organizations, regardless of whether they are already engaged in improvement programs like Six Sigma or Lean. The main focus of this methodology is on establishing criteria, measures, the measurement process, and the comparison process. The results obtained can then be used to identify benchmarking best practices.
기사 제목: ISO 17258:2015 - 통계적 방법 - 6 Sigma - 조직 내 6 Sigma에 대한 벤치마킹을 위한 기본 기준 기사 내용: ISO 17258:2015는 6 Sigma 원칙에 따라 프로세스, 제품 및 서비스의 품질, 성능 및 생산성 수준을 평가하기 위한 방법론에 대해 설명합니다. 이는 모든 분야 (산업, 서비스, 관리 등)와 모든 종류의 조직에 적용될 수 있으며, 이미 6 Sigma, Lean 등의 개선 프로그램에 참여하고 있는지 여부와 관계없이 사용될 수 있습니다. 특히 개선 프로젝트를 제공함으로써 6 Sigma 프로그램을 시작하는 데 사용할 수 있습니다. 참고. 이 방법론의 초점은 기준, 측정 과정 및 비교 과정에 있습니다. 결과는 이후에 벤치마킹의 좋은 실천 사례를 식별하는 데 사용될 수 있습니다.
記事のタイトル：ISO 17258:2015 - 統計手法 - シックスシグマ - 組織におけるシックスシグマのベンチマーキングの基準 記事の内容：ISO 17258:2015は、シックスシグマの原則に基づいて、プロセス、製品、サービスの品質、パフォーマンス、生産性のレベルを評価する方法論について説明しています。この方法論は、すべてのセクター（産業、サービス、管理など）およびすべてのタイプの組織に適用することができ、すでにシックスシグマ、リーンなどの改善プログラムに関与しているかどうかに関係なく利用することができます。特に、改善プロジェクトの選択を提供することで、シックスシグマのプログラムを開始するために使用することができます。注：この方法論の焦点は基準、測定プロセス、比較プロセスにあります。その結果、ベンチマーキングの良い実践例を特定するために使用することができます。
ISO 17258:2015는 Six Sigma 원칙에 따라 프로세스, 제품 및 서비스의 품질, 성능 및 생산성 수준을 평가하는 방법론을 설명하는 표준이다. 이 방법론은 이미 Six Sigma, Lean 등의 개선 프로그램에 참여하고 있는지 여부에 상관없이 모든 부문(산업, 서비스, 행정 등)과 조직 유형에 적용할 수 있다. 특히, 해당 방법론은 기준, 측정 사항, 측정 과정 및 비교 과정에 초점을 두고 있다. 얻은 결과를 활용하여 벤치마킹의 우수 사례를 식별할 수 있다.
Questions, Comments and Discussion
Ask us and Technical Secretary will try to provide an answer. You can facilitate discussion about the standard in here.
Loading comments...