ISO 17369:2013
(Main)Statistical data and metadata exchange (SDMX)
Statistical data and metadata exchange (SDMX)
ISO 17369:2013 provides an integrated approach to facilitating Statistical Data and Metadata Exchange (SDMX), enabling interoperable implementations within and between systems concerned with the exchange, reporting and dissemination of statistical data and related metadata. ISO 17369:2013 is applicable to any organization that has a need to manage the reporting, exchange and dissemination of its statistical data and related metadata. The information model at the core of ISO 17369:2013 has been developed to support statistics as collected and used by governmental and supra-national statistical organizations, and this model is also applicable to other organizational contexts involving statistical data and related metadata.
Données statistiques et échange de métadonnées (SDMX)
General Information
Standards Content (Sample)
INTERNATIONAL ISO
STANDARD 17369
First edition
2013-01-15
Statistical data and metadata
exchange (SDMX)
Données statistiques et échange de métadonnées (SDMX)
Reference number
©
ISO 2013
© ISO 2013
All rights reserved. Unless otherwise specified, no part of this publication may be reproduced or utilized in any form or by any
means, electronic or mechanical, including photocopying and microfilm, without permission in writing from either ISO at the
address below or ISO’s member body in the country of the requester.
ISO copyright office
Case postale 56 • CH-1211 Geneva 20
Tel. + 41 22 749 01 11
Fax + 41 22 749 09 47
E-mail copyright@iso.org
Web www.iso.org
Published in Switzerland
ii © ISO 2013 – All rights reserved
Contents Page
Foreword .iv
Introduction .v
1 Scope . 1
2 Terms, definitions and abbreviated terms . 1
2.1 Terms and definitions . 1
2.2 Abbreviated terms . 3
3 Processes and business scope . 3
3.1 Process patterns . 3
3.2 SDMX and process automation . 4
3.3 Statistical data and metadata . 5
3.4 SDMX view of statistical exchange . 6
3.5 SDMX registry services .10
3.6 Web services .11
4 SDMX information model .11
5 SDMX-EDI .11
6 SDMX-ML .12
7 Dependencies on SDMX content-oriented guidelines .13
7.1 General .13
7.2 Cross-domain concepts.13
7.3 Metadata common vocabulary .14
7.4 Statistical subject-matter domains .14
Bibliography .15
Foreword
ISO (the International Organization for Standardization) is a worldwide federation of national standards
bodies (ISO member bodies). The work of preparing International Standards is normally carried out
through ISO technical committees. Each member body interested in a subject for which a technical
committee has been established has the right to be represented on that committee. International
organizations, governmental and non-governmental, in liaison with ISO, also take part in the work.
ISO collaborates closely with the International Electrotechnical Commission (IEC) on all matters of
electrotechnical standardization.
International Standards are drafted in accordance with the rules given in the ISO/IEC Directives, Part 2.
The main task of technical committees is to prepare International Standards. Draft International
Standards adopted by the technical committees are circulated to the member bodies for voting.
Publication as an International Standard requires approval by at least 75 % of the member bodies
casting a vote.
Attention is drawn to the possibility that some of the elements of this document may be the subject of
patent rights. ISO shall not be held responsible for identifying any or all such patent rights.
ISO 17369 was prepared by Technical Committee ISO/TC 154, Processes, data elements and documents in
commerce, industry and administration.
This first edition of ISO 17369 cancels and replaces ISO/TS 17369:2005, which has been technically revised.
iv © ISO 2013 – All rights reserved
Introduction
The Statistical Data and Metadata Exchange (SDMX) initiative (http://www.sdmx.org) sets standards
that can facilitate the exchange of statistical data and metadata using modern information technology,
with an emphasis on aggregated data.
There are several sections to the SDMX technical specification.
a) The SDMX Framework Document presents the scope and integrated functionality of the concepts
and specifications that constitute the SDMX standard.
b) The SDMX Information Model is the information model upon which syntax-specific implementations
described in the other sections are based. This is intended for technicians wishing to understand
the complete scope of the technical standards in a syntax-neutral form. It includes as an annex a
tutorial on UML (Unified Modelling Language).
c) SDMX-ML is the XML format for the exchange of SDMX-structured data and metadata. This document
describes the use of the XML syntax in SDMX messages, and is accompanied by a set of XML schemas
and sample XML document instances.
d) SDMX-EDI is the UN/EDIFACT format for exchange of SDMX-structured data and metadata. This
describes the use of the UN/EDIFACT syntax in SDMX messages.
e) The SDMX Registry Specification provides for a central registry of information about available data
and reference metadata, and for a repository containing structural metadata and provisioning
information. This specification defines the basic services offered by the SDMX registry: registration
of data and metadata; querying for data and metadata; and subscription/notification regarding
updates to the registry.
f) The SDMX Technical Notes constitute a guide to help those who wish to use the SDMX specifications.
They include notes on the expressive differences of the various messages and syntaxes; versioning;
maintenance agencies; the SDMX Registry.
g) Web Services Guidelines constitute a guide for those who wish to implement SDMX using web-
services technologies. They place an emphasis on those aspects of web-services technologies
(including, but not requiring, an SDMX-conformant registry) which will work regardless of the
development environment or platform used to create the web service.
SDMX version 2.0 represented a significant increase in scope, and also provided more complete support
in those areas covered in SDMX version 1.0. SDMX version 2.0 is backward-compatible with SDMX version
1.0, so that existing implementations can be easily migrated to conformance with SDMX version 2.0.
SDMX version 2.1 represents a set of changes resulting from several years of implementation experience
with SDMX version 2.0. The changes do not represent a major increase in scope or functionality, but do
correct some bugs and add functionalities in some cases. Major changes in SDMX-ML include a much
stronger alignment of the XML schemas with the information model, to emphasize inheritance and
object-oriented features, and increased precision and flexibility in the attachment of metadata reports
to specific objects in the SDMX information model.
The idea of backward-compatibility in the standards is based on the information model. In both releases,
some non-backward-compatible changes have been made to the SDMX-ML formats. However, the same
set of information required to use SDMX version 1.0 will permit the use of the same features in SDMX
version 2.0. Thus, a data structure definition (DSD) is easily translated from SDMX version 1.0 to SDMX
version 2.0, without requiring any new information regarding structures, etc. There have been no
changes to the SDMX-EDI format.
The main changes from SDMX version 1.0 to SDMX version 2.0 can be briefly summarized as follows.
— Reference Metadata: In addition to describing and specifying data structures and formats (along with
related structural metadata), SDMX version 2.0 also provides for the exchange of metadata which
is distinct from the structural metadata in SDMX version 1.0. This category includes “reference”
metadata (regarding data quality, methodology and similar types: it can be configured by the user
to include whatever concepts require reporting); metadata related to data provisioning (release
calendar information, description of the data and metadata provided, etc.); and metadata relevant
to the exchange of categorization schemes.
— SDMX Registry: Provision is made in SDMX version 2.0 for standard communication with registry
services, to support a data-sharing model of statistical exchange. These services include registration
of data and metadata, querying of registered data and metadata, and subscription/notification.
— Structural Metadata: The support for exchange of statistical data and related structural metadata
has been expanded. Some support is provided for qualitative data; data cube structures are
described; hierarchical code lists are supported; relationships between data structures can be
expressed, providing support for extensibility of data structures; and the description of functional
dependencies within cubes are supported.
The main changes from SDMX version 2.0 to SDMX version 2.1 can be briefly summarized as follows.
— Web-services-oriented changes: Several organizations have been implementing web services
applications using SDMX, and these implementations have resulted in several changes to the
specifications. Because the nature of SDMX web services could not be anticipated at the time of the
original drafting of the specifications, the web services guidelines have been completely re-developed.
— Presentational changes: Much work has gone into using various technologies for the visualization of
SDMX data and metadata, and some changes have been proposed as a result, to better leverage this
graphical visualization.
— Consistency issues: There have been some areas where the draft specifications were inconsistent in
minor ways, and these have been addressed.
— Clarifications in documentation: In some cases it has been identified that the documentation of specific
fields within the standard needed clarification and elaboration, and these issues have been addressed.
— Optimization for XML technologies: Implementation has shown that it is possible to better organize
the XML schemas for use within common technology development tools which work with XML.
These changes are primarily focused on leveraging the object-oriented features of W3C XML Schema
to allow for easier processing of SDMX data and metadata.
— Consistency between the SDMX-ML and the SDMX information model: Certain aspects of the XML
schemas and UML model have been more closely aligned, to allow for easier comprehension of
the SDMX model.
— Technical bugs: Some minor technical bugs have been identified. These bugs have been addressed.
— Support for non-time-series data in the generic format: One area which has been extended is the
ability to express non-time-series data as part of the generic data message.
— Simplification of the data structure definition/specific message types: Both time series (SDMX
version 2.0 Compact) and non-time series data sets (SDMX version 2.0 cross sectional) use the
same underlying structure for a structure-specific formatted message, which is specific to the data
structure definition of the data set.
— Simplification and better support for the metadata structure: New use cases have been reported
and these are now supported by a re-modelled metadata structure definition.
— Support for partial item schemes such as a code list: The concept of a partial (sub-set) item scheme
such as a partial code list for use in exchange scenarios has been introduced.
vi © ISO 2013 – All rights reserved
INTERNATIONAL STANDARD ISO 17369:2013(E)
Statistical data and metadata exchange (SDMX)
1 Scope
This International Standard provides an integrated approach to facilitating Statistical Data and Metadata
Exchange (SDMX), enabling interoperable implementations within and between systems concerned
with the exchange, reporting and dissemination of statistical data and related metadata.
This International Standard is applicable to any organization that has a need to manage the reporting,
exchange and dissemination of its statistical data and related metadata. The information model at the
core of this International Standard has been developed to support statistics as collected and used by
governmental and supra-national statistical organizations, and this model is also applicable to other
organizational contexts involving statistical data and related metadata.
2 Terms, definitions and abbreviated terms
2.1 Terms and definitions
For the purposes of this document, the following terms and definitions apply.
2.1.1
representational state transfer
REST
style of software architecture for distributed hypermedia systems, such as the worldwide web
2.1.2
RESTful web service
RESTful API
simple web service implemented using HTTP and the principles of REST
2.1.3
data set
organized collection of data and associated metadata according to an identified data structure definition
2.1.4
data structure definition
DSD
collection of metadata concepts, their structure and usage when used to collect or disseminate data
2.1.5
metadata set
organized collection of metadata structured according to an identified metadata structure definition
2.1.6
metadata structure definition
collection of metadata concepts, their structure and usage, when used to collect or disseminate
reference metadata
2.1.7
reference metadata
metadata describing the contents and the quality of the statistical data
2.1.8
code list
predefined list from which some statistical coded concepts take their values
2.1.9
organization scheme
collection of organizations that play a role in the statistical process lifecycle
EXAMPLE Maintenance agency; data provider; data consumer.
2.1.10
organization
unique framework of authority within which a person or persons act, or are designated to act,
towards some purpose
[SOURCE: ISO/IEC 6523-1:1998, 3.1, modified.]
2.1.11
category scheme
hierarchy of categories, which may include any type of useful classification for the organization of
data and metadata
2.1.12
category
item at any level within a classification
EXAMPLE Tabulation categories; sections; subsections; divisions; subdivisions; groups; subgroups;
classes; subclasses.
2.1.13
categorization
linking of a category to an object, such that sets of objects can be classified
2.1.14
concept scheme
list of concepts that are used in data structure definitions and metadata structure definitions
2.1.15
concept
unit of knowledge created by a unique combination of characteristics
[SOURCE: ISO 1087-1:2000, 3.2.1, modified.]
2.1.16
dataflow definition
descriptive information about the flow of data that providers provide for different reference periods,
according to an identified data structure definition
2.1.17
metadataflow definition
descriptive information about the flow of metadata that providers provide for different reference
periods, according to an identified metadata structure definition
2.1.18
data provider
organization which produces data or reference metadata
2.1.19
provision agreement
arrangement within which the provider supplies data or metadata
2.1.20
structure set
collection of structural maps that express the semantic equivalence between source and target components
2 © ISO 2013 – All rights reserved
2.1.21
reporting taxonomy
scheme which defines the composition structure of a data report where each component can be described
by an independent dataflow definition or metadataflow definition
2.1.22
process
scheme which defines or documents the operations performed on data or metadata
2.1.23
hierarchical code list
organized collection of codes arranged in levels of detail from the broadest to the most detailed level
Note 1 to entry: Each level of the hierarchy is defined in terms of the codes at the next lower level of the hierarchy.
2.2 Abbreviated terms
API Application Program Interface
GESMES Generic Statistical Message
HTTP Hypertext Transfer Protocol
MCV Metadata Common Vocabulary
OLAP Online Analytical Processing
SDMX Statistical Data and Metadata Exchange
SOAP Simple Object Access Protocol
UML Unified Modelling Language
UN/EDIFACT United Nations/Electronic Data Interchange for Administration, Commerce and
Transport
WADL Web Application Description Language
WSDL Web Service Definition Language
3 Processes and business scope
3.1 Process patterns
SDMX identifies three basic process patterns relevant to the exchange of statistical data and metadata.
These can be described as follows.
a) Bilateral exchange: All aspects of the exchange process are agreed between two counterparties,
including the mechanism for exchange of data and metadata, the formats, the frequency or schedule,
and the mode used for communications regarding the exchange. This is perhaps the most common
process pattern.
b) Gateway exchange: Gateway exchanges are an organized set of bilateral exchanges, in which
several data and metadata collecting organizations or individuals agree to exchange the collected
information with each other in a common format, and according to a common process. This pattern
obviates the need for managing multiple bilateral exchanges (in data and metadata collection)
across the sharing organizations/individuals. This is also a very common process pattern in the
statistical area, where communities of institutions agree on ways to gain efficiencies within the
scope of their collective responsibilities.
c) Data-sharing exchange: Data sharing is a mode of exchange where any party which is granted access
to the data can obtain it in a known format, along with all relevant metadata, so as to be able to use
the data without any prior arrangement with the data provider. Such use can be programmatic in
nature, requiring a high degree of standardization both of data and metadata formats and content.
It is also typical of a data-sharing scenario that the data be easy to locate, using an online catalogue
or registry, although this is not an absolute requirement. In data-sharing mode, the differences
between reporting data and disseminating data begin to disappear, i.e. a collector of data simply
accesses it and downloads the needed data, much like any other user of the data.
The SDMX standards are designed to support any of the three exchange patterns mentioned. It is possible
to use SDMX-EDI or SDMX-ML as a metadata-rich exchange format for bilateral reporting or gateway
exchange; it is also possible to use the SDMX formats, web services guidelines and registry specification
to fully support a data-sharing pattern. The design of SDMX is such that not all of the offered features
need to be used: SDMX standards span the breadth between the use of the standard to provide a simple
data and metadata format, through to a fully automated and standardized exchange of data in a data-
sharing mode.
The standards specified here specifically support a data-sharing process pattern based on the use
of central registry services. Registry services provide visibility into the data and metadata existing
within the community, and support the access and use of this data and metadata by providing a set
of triggers for automated data and metadata retrieval. The data or metadata itself is not stored in a
central registry: these services merely provide a useful set of metadata about the data (and additional
metadata) in a known location, so that users/applications can easily locate and obtain whatever data
and/or metadata are registered. The use of standards for all data, metadata and the registry services
themselves is ubiquitous, permitting a high level of automation within a data-sharing community.
These three process patterns are not mutually exclusive: a single system capable of expressing data and
metadata in SDMX-conformant formats could support all three patterns.
In addition to looking at collection and reporting, it is also important to consider the dissemination of
data. Data and metadata (no matter how they are exchanged between counterparties in the process
of their development and creation) are all eventually supplied to an end user of some type. Often,
this is through specific applications inside of institutions. However, more and more frequently, data
and metadata are also published on websites in various formats. The dissemination of data and its
accompanying metadata on the web is a focus of the SDMX standards. Standards for statistical data and
metadata allow improvements in the publication of data: a standard format facilitates the linking of data
to metadata, making the data more comprehensible to the end user and making further processing of
the data easier.
In discussions of statistical data, there are many aspects of its dissemination which impact data quality:
data discovery, ease of use and timeliness. SDMX standards provide support for all of these aspects of
data dissemination. Standard data formats promote ease of use and provide links to relevant metadata.
The concept of registry services means that data and metadata can more easily be discovered. Timeliness
is improved throughout the data lifecycle by increases in efficiency, promoted through the availability
of metadata and ease of use.
Even though SDMX is primarily focused on the exchange and dissemination of statistical data and
metadata, the standard is also applicable in the context of internal processing of data that are not
concerned with the exchange between organizations and users.
3.2 SDMX and process automation
Statistical data and metadata exchanges employ many different automated processes, but some are of
more general interest than others. There are some common information technologies that are nearly
ubiquitous within information systems today. SDMX aims to provide standards that are most useful for
these automated processes and technologies.
4 © ISO 2013 – All rights reserved
Briefly, these can be described as follows.
a) Batch exchange of data and metadata: The transmission of whole or partial databases between
counterparties, including incremental updating.
b) Provision of data and metadata on the internet: Internet technology (including its use in private
or semi-private TCP/IP networks) is extremely common. This technology includes XML and web
services as primary mechanisms for automating data and metadata provision, as well as the more
traditional static HTML and database-driven publishing.
c) Generic processes: While many applications and processes are specific to a known set of data and
metadata, other types of automated services and processes are designed to handle any type of
statistical data and metadata whatsoever. This is particularly true in cases where portal sites and
data feeds are made available on the internet.
d) Presentation and transformation of data: In order to make data and metadata useful to consumers,
they need to support automated processes that transform them into application-specific processing
formats, other standard formats and presentational formats. Although not strictly an aspect of
exchange, this type of automated processing represents a set of requirements that needs to be
supported if the information exchange between counterparties is itself to be supported.
The SDMX standards specified here are designed to support the requirements of all of these automation
processes and technologies.
3.3 Statistical data and metadata
To avoid confusion about which “data” and “metadata” are the intended content of the SDMX formats
specified here, a statement of scope is offered. Statistical “data” are sets of often numeric observations
which typically have time associated with them. They are associated with a set of metadata values,
representing specific concepts, which act as identifiers and descriptors of the data. These metadata
values and concepts can be understood as the named dimensions of a multi-dimensional coordinate
system, describing what is often called a “cube” of data.
SDMX identifies a standard technique for modelling, expressing and understanding the structure of
this multi-dimensional “cube”, allowing automated processing of data from a variety of sources. This
approach is widely applicable across types of data and attempts to provide the simplest and most easily
comprehensible technique that will support the exchange of this broad set of data and related metadata.
The term “metadata” is very broad indeed. A distinction can be made between the following:
— “structural” metadata: those concepts used in the description and identification of statistical data
and metadata, and
— “reference” metadata: the larger set of concepts that describe and qualify statistical data sets and
processing more generally, and which are often associated not with specific observations or series
of data, but with entire collections of data or even the institutions which provide that data.
The SDMX information model provides for the structuring not only of data, but also of “reference”
metadata. While these reference metadata structures exist independent of the data and its structural
metadata, they are often linked. The SDMX information model provides for the attachment of reference
metadata to any part of the data or structural metadata, as well as for the reporting and exchange of the
reference metadata and its structural descriptions. This function of the SDMX standards supports many
aspects of data quality initiatives, allowing as it does for the exchange of metadata in its broadest sense,
of which quality-related metadata are a major part.
Metadata are associated not only with data, but also with the process of providing and managing the flow
of data. The SDMX information model provides for a set of metadata concerned with “data provisioning”,
i.e. metadata which are useful to those who need to understand the content and form of the output of
a data provider. Each data provider can describe in standard fashion the content of and dependencies
within the data and metadata sets which they produce, and supply information about the scheduling
and mechanism by which their data and metadata are provided. This allows for automation of some
validation and control functions, as well as supporting management of data reporting.
SDMX also recognizes the importance of category schemes in organizing and managing the exchange
and dissemination of data and metadata. It is possible to classify SDMX artefacts in one or category
schemes that facilitate both processing of the data and metadata and data and metadata discovery.
The SDMX standards offer a common model, a choice of syntax and, for XML, a choice of data formats
which support the exchange of any type of statistical data meeting the definition above; several optimized
formats are specified based on the specific requirements of each implementation, as described below in
the SDMX-ML section.
The formal objects in the information model are presented briefly below, but are also discussed in more
detail elsewhere in this International Standard.
Figure 1 provides a high level schematic of major artefacts in the SDMX information model.
Figure 1 — High level schematic of major artefacts in the SDMX information model
3.4 SDMX view of statistical exchange
3.4.1 General
SDMX version 1.0 (ISO/TS 17369:2005) covered statistical data sets and the metadata related to the
structure of these data sets. This scope was useful in supporting the different patterns of statistical
exchange (bilateral exchange, gateway exchange and data-sharing), but was not by itself sufficient to
support them completely. SDMX version 2.0 and SDMX version 2.1 both provide a much more complete
view of statistical exchange, so that the open data-sharing pattern can be fully supported and other
patterns of exchange can be more completely automated. In order to produce technical standards that
will support this increased scope, the SDMX information model provides a broader set of formal objects
which describe the actors, processes and resources within statistical exchanges.
6 © ISO 2013 – All rights reserved
It is important to understand this set of formal objects not only in a technical sense, but also in terms of
what these objects represent in the real-world exchange of statistical data and metadata.
SDMX version 1.0 provided for data sets (specific statistical data reported according to a specific structure,
for a specific time range) and for data structure definitions (the metadata which describes the structure
of statistical data sets). These are important objects in statistical exchanges, and they are retained and
enhanced in SDMX version 2.0 and SDMX version 2.1 in a backward-compatible form. A related object in
statistical exchanges is the “data flow”. This supports the concept of data reporting or dissemination on
an ongoing basis: “data flows” can be understood as data
...
МЕЖДУНАРОДНЫЙ ISO
СТАНДАРТ 17369
Первое издание
2013-01-15
Обмен статистическими данными и
метаданными (SDMX)
Statistical data and metadata exchange (SDMX)
Ответственность за подготовку русской версии несѐт GOST R
(Российская Федерация) в соответствии со статьѐй 18.1 Устава ISO
Ссылочный номер
©
ISO 2013
Отказ от ответственности при работе в PDF
Настоящий файл PDF может содержать интегрированные шрифты. В соответствии с условиями лицензирования, принятыми
фирмой Adobe, этот файл можно распечатать или смотреть на экране, но его нельзя изменить, пока не будет получена
лицензия на установку интегрированных шрифтов в компьютере, на котором ведется редактирование. В случае загрузки
настоящего файла заинтересованные стороны принимают на себя ответственность за соблюдение лицензионных условий
фирмы Adobe. Центральный секретариат ISO не несет никакой ответственности в этом отношении.
Adobe – торговый знак фирмы Adobe Systems Incorporated.
Подробности, относящиеся к программным продуктам, использованным для создания настоящего файла PDF, можно найти в
рубрике General Info файла; параметры создания PDF были оптимизированы для печати. Были приняты во внимание все
меры предосторожности с тем, чтобы обеспечить пригодность настоящего файла для использования комитетами-членами
ISO. В редких случаях возникновения проблемы, связанной со сказанным выше, просьба проинформировать Центральный
секретариат по адресу, приведенному ниже.
ДОКУМЕНТ ЗАЩИЩЕН АВТОРСКИМ ПРАВОМ
Все права сохраняются. Если не указано иное, никакую часть настоящей публикации нельзя копировать или использовать в
какой-либо форме или каким-либо электронным или механическим способом, включая фотокопии и микрофильмы, без
предварительного письменного согласия ISO, которое должно быть получено после запроса о разрешении, направленного по
адресу, приведенному ниже, или в комитет-член ISO в стране запрашивающей стороны.
ISO copyright office
Case postale 56 • CH-1211 Geneva 20
Tel. + 41 22 749 01 11
Fax + 41 22 749 09 47
E-mail copyright @ iso.org
Web www.iso.org
Опубликовано в Швейцарии
ii © ISO 2013 – Все права сохраняются
Содержание Страница
Предисловие. iv
Введение . v
1 Область применения . 1
2 Термины, определения и сокращенные термины . 1
2.1 Термины и определения . 1
2.2 Сокращенные термины . 3
3 Процессы и сфера деятельности . 4
3.1 Шаблон процесса . 4
3.2 SDMX и автоматизация процесса . 5
3.3 Статистические данные и метаданные . 6
3.4 Представление в SDMX статистического обмена . 7
3.5 Услуги реестра SDMX . 11
3.6 Веб–сервисы . 12
4 Информационная модель SDMX . 13
5 SDMX-EDI . 13
6 SDMX-ML . 14
7 Взаимосвязи информационно–ориентированных руководств по SDMX . 15
7.1 Общие положения . 15
7.2 Междоменные понятия . 15
7.3 Общий словарь метаданных . 16
7.4 Статистические домены объектов . 16
Библиография . 17
Предисловие
Международная организация по стандартизации (ISO) является всемирной федерацией национальных
организаций по стандартизации (комитетов-членов ISO). Разработка международных стандартов
обычно осуществляется техническими комитетами ISO. Каждый комитет-член, заинтересованный в
деятельности, для которой был создан технический комитет, имеет право быть представленным в этом
комитете. Международные правительственные и неправительственные организации, имеющие связь с
ISO, также принимают участие в работе. ISO работает в тесном сотрудничестве с Международной
электротехнической комиссией (IEC) по всем вопросам стандартизации в области электротехники.
Проекты международных стандартов разрабатываются согласно правилам, приведѐнным в
Директивах ISO/IEC, Части 2.
Разработка международных стандартов является основной задачей технических комитетов. Проекты
международных стандартов, принятые техническими комитетами, рассылаются комитетам-членам на
голосование. Для публикации в качестве международного стандарта требуется одобрение не менее
75 % комитетов-членов, принявших участие в голосовании.
Принимается во внимание тот факт, что некоторые из элементов настоящей части стандарта ISO 9735
могут быть объектом патентных прав. ISO не принимает на себя обязательств по определению
отдельных или всех таких патентных прав.
ISO 17369 был подготовлен Техническим комитетом ISO/TC 154, Процессы, элементы данных и
документы в коммерции, промышленности и административном управлении.
Настоящее первое издание ISO 17369 отменяет и заменяет ISO/TS 17369:2005, которое технически
переработано.
iv © ISO 2013 – Все права сохраняются
Введение
Программа обмена статистическими данными и метаданными (SDMX) (http://www.sdmx.org)
определяет стандарты, которые могут облегчить обмен статистическими данными и метаданными при
использовании современной информационной технологии с упором на агрегированные данные.
Существует несколько разделов в технической спецификации SDMX:
a) Рамочный документ SDMX представляет область применения и общие функциональные
возможности концепций и технических условий, которые составляют стандарт SDMX.
b) Информационная Модель SDMX — это информационная модель, на которой базируются
специфичные для синтаксиса реализации, описанные в других разделах. Она предназначается
для технического персонала, желающего понять полную область применения технических
стандартов в синтаксически нейтральной форме. Она включает в качестве приложения вводное
руководство на UML (Unified Modelling Language – Унифицированном Языке моделирования).
c) SDMX-ML является форматом XML для обмена SDMX-структурированными данными и
метаданными. В этом документе описывается применение синтаксиса XML в сообщениях SDMX, и
сопровождается набором схем и типовыми примерами документов XML.
d) SDMX-EDI является форматом UN/EDIFACT (ООН – Электронный Обмен Данными в области Управления,
Торговли и Транспорта) для обмена SDMX-структурированными данными и метаданными. В этом
документе описывается применение синтаксиса UN/EDIFACT в сообщениях SDMX.
e) Спецификация Реестра SDMX предоставляет основной системный реестр информации по
доступным данным и базисным метаданным и банк данных, содержащий структурные метаданные
и обеспечивающий информацию. Эта спецификация определяет основные функции,
предлагаемые реестром SDMX: регистрация данных и метаданных; выдача запроса по данным и
метаданным; и выписка уведомления по обновлениям в реестре.
f) Технические Указания по SDMX составляют руководство для помощи тем, кто хочет использовать
спецификации SDMX. Они включают пояснения по выразительным различиям различных
сообщений и синтаксисов; поддержку версий; обслуживающие агентства; Реестр SDMX.
g) Руководящие указания по веб-сервису составляют руководство для тех, кто желает реализовать
SDMX с использованием технологий веб- сервиса (включая, но не требуя совместимый с SDMX
реестр), который будет работать независимо от среды разработки или платформы,
использованной для создания этого веб- сервиса.
В версии 2.0 SDMX реализовано существенное расширение области применения, она также
предоставляет более полную поддержку в тех областях, которые охватываются версией 1.0 SDMX.
Версия 2.0 SDMX обратно совместима с версией 1.0 SDMX, так что существующие реализации могут
легко переноситься в соответствии с версией 2.0 SDMX.
Версия 2.1 SDMX представляет набор изменений, являющихся результатом нескольких лет опыта реализации
версии 2.0 SDMX. Эти изменения не расширяют область применения или функциональные возможности, но
исправляют некоторые ошибки и добавляют функции в некоторых случаях. Главные изменения в SDMX-ML
включают более строгое совмещение схем XML с информационной моделью, чтобы делать упор на
наследование свойств и объектно-ориентированные средства, и на повышенную точность и гибкость в привязке
сборников метаданных к конкретным объектам в информационной модели SDMX.
Идея обратной совместимости в стандартах основывается на информационной модели. В обеих
версиях некоторые обратно- несовместимые изменения сделаны в форматах SDMX-ML. Однако один
и тот же набор информации, требуемый для применения версии 1.0 SDMX, будет разрешен для
применения тех же свойств в версии 2.0 SDMX. Таким образом, определение структуры данных (DSD)
легко переводится из версии 1.0 SDMX в версию 2.0 SDMX, без требования какой-либо новой
информации, относящейся к структуре и др. Не существует изменений в формате SDMX-EDI.
Основные изменения при переходе с версии 1.0 SDMX к версии 2.0 SDMX можно кратко
просуммировать следующим образом.
— Базисные метаданные: В дополнение к описанию и определению структур и форматов данных (вместе со
связанными структурными метаданными), версия 2.0 SDMX предоставляет для обмена метаданные, которые
отличаются от структурных метаданных в версии 1.0 SDMX. Эта категория включает ―базисные‖ метаданные
(касающиеся качества данных, методологии и подобных типов: они могут конфигурироваться пользователем
для включения любого понятия, требующего подготовки отчета); метаданные, относящиеся к регистрации
данных (календарная информация версии, описание предоставленных данных и метаданных и др.); и
метаданные, относящиеся к обмену схем категоризации.
— Реестр SDMX: В версии 2.0 SDMX обеспечивается стандартная связь с сервисами реестра для
поддержания модели статистического обмена с совместно используемыми данными. Эти сервисы
включают регистрацию данных и метаданных, выдачу запроса к зарегистрированным данным и
метаданным и подписку/уведомление.
— Структурные метаданные: Поддержка обмена статистическими данными и связанными структурными
метаданными расширена. Предусматривается некоторая поддержка качественных данных; описываются
структуры массивов данных; поддерживаются списки иерархических кодов; могут быть выражены
взаимосвязи между структурами данных, что обеспечивает поддержку расширяемости структур данных; и
поддерживается описание функциональных зависимостей в рамках массивов.
Основные изменения при переходе с версии 2.0 SDMX к версии 2.1 SDMX можно кратко
просуммировать следующим образом.
— Изменения, ориентированные на веб-сервисы: Некоторые организации реализовали приложения веб-
сервисов с использованием SDMX, и эти реализации повлекли за собой несколько изменений в
спецификациях. Поскольку природу веб-сервисов SDMX нельзя предусмотреть во время первоначальной
разработки спецификаций, руководящие указания по веб-сервисам полностью переработаны.
— Репрезентативные изменения: Большая работа с использованием различных технологий была
проделана для визуализации данных и метаданных SDMX, и в результате были предложены
некоторые изменения для лучшего использования этой графической визуализации.
— Совместимые издания: Существовали некоторые области, где проекты спецификаций были
незначительно несовместны, и они были приведены в соответствие.
— Пояснения в документации: В некоторых случаях было установлено, что документирование отдельных
областей в стандарте требовало пояснения и уточнения, и эти пункты были исправлены.
— Оптимизация для технологий XML: Реализация показала, что можно лучше организовать схемы
XML при использовании общих средств разработки технологии для работы с XML. Эти изменения
направлены, главным образом, на усиление объектно-ориентированных свойств Схемы W3C XML,
облегчающие обработку данных и метаданных SDMX.
— Согласованность между SDMX-ML и информационной моделью SDMX: Определенные аспекты
схем XML и модели UML более тесно совмещаются, что облегчает понимание модели SDMX.
— Технические ошибки: Было выявлено несколько технических ошибок. Эти ошибки были устранены.
— Поддержка невременных рядов данных в общем формате: Одна область, которая была расширена, дает
возможность выражать не-временные ряды данных как часть сообщения с общими данными.
— Упрощение определения структуры данных/специальных типов сообщений: Как наборы временных рядов
(версия 2.0 SDMX Компактная), так и наборы не-временных рядов (версия 2.0 SDMX Многоаспектная)
используют одну и ту же внутреннюю структуру для форматизированного сообщения специфической
структуры, которая характерна для определения структуры данных набора данных.
— Упрощение и более лучшая поддержка для структуры метаданных: Описаны новые случаи применения,
они поддерживаются сейчас путем определения ремоделируемой структуры метаданных.
— Поддержка для частичных схем элементов, таких как перечень кодов: Было введено понятие частичной
схемы (подмножества) элементов таких, как перечень кодов для применения в сценариях обмена.
vi © ISO 2013 – Все права сохраняются
МЕЖДУНАРОДНЫЙ СТАНДАРТ ISO 17369:2013(R)
Обмен статистическими данными и метаданными (SDMX)
1 Область применения
Данный международный стандарт предоставляет интегрированный подход, облегчающий обмен
статистическими данными и метаданными (SDMX), включающий интероперабельные реализации
внутри и между системами, связанными с обменом, отчетностью и распространением статистических
данных и связанных метаданных.
Данный международный стандарт применим к любой организации, которая должна управлять
отчетностью, обменом и распространением статистических данных и связанных метаданных.
Информационная модель в центре данного международного стандарта была разработана для
поддержки статистики, собранной и используемой правительственными и наднациональными
статистическими организациями, и эта модель применима также к другим организационным
контекстам, содержащими статистические данные и связанные метаданные.
2 Термины, определения и сокращенные термины
2.1 Термины и определения
В данном документе используются следующие термины и определения.
2.1.1
передача репрезентативного состояния
representational state transfer
REST
Стиль архитектуры программного обеспечения для распределенных гипермедийных систем, как
например, всемирной паутины
2.1.2
веб-сервис на базе стиля REST
RESTful web service
итерфейс прикладного программирования на базе стиля REST
RESTful API
простой веб-сервис, реализованный с использованием HTTP/ Протокола Передачи Гипертекста и
принципов REST
2.1.3
набор данных
data set
организованная совокупность данных и связанных с ним метаданных в соответствии с установленным
определением структуры данных
2.1.4
определение структуры данных
data structure definition
DSD
набор концепций метаданных, их структуры и применимости при использовании для сбора или
распределения данных
2.1.5
набор метаданных
metadata set
организованная совокупность метаданных, структурированных в соответствии с установленным
определением структуры метаданных
2.1.6
определение структуры метаданных
metadata structure definition
совокупность концепций метаданных, их структуры и применимости при использовании для сбора или
распределения метаданных.
2.1.7
контрольные метаданные
reference metadata
метаданные, описывающие содержание и качество статистических данных.
2.1.8
перечень кодов
code list
предопределенный список, из которого некоторые статистические закодированные понятия принимают
свои значения.
2.1.9
организационная схема
organization scheme
совокупность организаций, которые играют роль в жизненном цикле статистического процесса
ПРИМЕР Обслуживающее агентство; провайдер данных; потребитель данных.
2.1.10
организация
organization
уникальная инфраструктура полномочий, в рамках которых лицо или лица действуют или
предназначены действовать для достижения некоторой цели.
[ИСТОЧНИК: ISO/IEC 6523-1:1998, 3.1, модифицированное.]
2.1.11
схема категорий
category scheme
иерархия категорий, которая может включать любой тип полезной классификации для организации
данных и метаданных
2.1.12
категория
category
пункт на любом уровне в классификации.
ПРИМЕР Категории табуляции; разделы; подразделы; отделы; подотделы; группы; подгруппы; классы; подклассы.
2.1.13
категоризация
categorization
подсоединение категории к объекту, так чтобы подмножества объектов могли быть классифицированы.
2.1.14
схема понятий
concept scheme
список понятий, которые используются в определениях структуры данных и в определениях структуры
метаданных.
2.1.15
понятие
concept
единица знания, созданная уникальным сочетанием характеристик.
[ИСТОЧНИК: ISO 1087-1:2000, 3.2.1, модифицированное.]
2 © ISO 2013 – Все права сохраняются
2.1.16
определение потока данных
dataflow definition
описательная информация о потоке данных, которую провайдеры предоставляют для различных
базисных периодов в соответствии с установленным определением структуры данных.
2.1.17
определение потока метаданных
metadataflow definition
описательная информация о потоке метаданных, которую провайдеры предоставляют для различных
базисных периодов в соответствии с установленным определением структуры метаданных.
2.1.18
провайдер данных
data provider
организация, которая выдает данные или контрольные метаданные.
2.1.19
договор о предоставлении услуг
provision agreement
соглашение, в рамках которого провайдер предоставляет данные или метаданные.
2.1.20
структурированное множество
structure set
совокупность структурных отображений, которые выражают семантическую эквивалентность между
источником и целевыми компонентами.
2.1.21
таксономия предоставления информации
reporting taxonomy
схема, которая определяет составную структуру информационного сообщения, где каждый компонент
может быть описан независимым определением потока данных или определением потока метаданных.
2.1.22
процесс
process
схема, которая определяет или документирует операции, выполняемые на данных или метаданных.
2.1.23
иерархический список кодов
hierarchical code list
организованная совокупность кодов, упорядоченная в уровни элементов от самых общего до наиболее
детализированного уровня.
ПРИМЕЧАНИЕ Каждый уровень иерархии определяется в показателях кодов на следующем более низком
уровне иерархии.
2.2 Сокращенные термины
API Application Program Interface / Интерфейс Прикладного Программирования
GESMES Generic Statistical Message / Родовое Статистическое Сообщение
HTTP Hypertext Transfer Protocol / Протокол Передачи Гипертекста
MCV Metadata Common Vocabulary / Общий Словарь Метаданных
OLAP Online Analytical Processing / Оперативная Аналитическая Обработка Данных
SDMX Statistical Data and Metadata Exchange / Обмен Статистическими Данными и
Метаданными
SOAP Simple Object Access Protocol / Простой Протокол Доступа к Объектам, Протокол
SOAP
UML Unified Modelling Language / Унифицированный Язык Моделирования
UN/EDIFACT United Nations/Electronic Data Interchange for Administration, Commerce and
Transport / Организация Объединѐнных Наций/Электронный Обмен Данными в
Управлении, Торговле и на Транспорте
WADL Web Application Description Language / Язык Описания Веб-Приложения
WSDL Web Service Definition Language / Язык Описания Веб-Сервиса
3 Процессы и сфера деятельности
3.1 Шаблон процесса
SDMX устанавливает три основных шаблона процесса, имеющих отношение к обмену статистическими
данными и метаданными. Они могут быть описаны следующим образом.
a) Двусторонний обмен: Все аспекты процесса обмена согласуются между двумя сторонами, включая
механизм для обмена данными и метаданными, форматы, частоту или календарный график, и
режим, используемый для передач при обмене. Это, возможно, самый общий шаблон процесса.
b) Шлюзовой обмен: Шлюзовые обмены — это организованное множество двусторонних обменов, в
котором отдельные данные и метаданные, собираемые организациями или отдельными лицами,
согласованы для обмена собранной информацией с каждой другой организацией или отдельным
лицом в общем формате и в соответствии с общим процессом. Этот шаблон исключает
необходимость в управлении многими двусторонними обменами (по совокупности данных и
метаданных) через совместно используемые организации/отдельных лиц. Это также очень общий
шаблон в сфере статистики, где сообщества институтов договорились о способах получения выгод
в рамках области их коллективных обязательств.
c) Обмен совместно используемыми данными: Совместно используемые данные – это режим обмена,
когда любая сторона, которой предоставлен доступ к данным, может получить их в известном
формате вместе со всеми уместными метаданными, с тем, чтобы иметь возможность
использовать эти данные без какой-либо предварительной договоренности с провайдером данных.
Такое использование может быть программным по природе, требуя высокую степень
стандартизации как форматов данных и метаданных, так и содержания. Также типично для
сценария совместно используемых данных, что данные легко локализуются с использованием
онлайнового каталога или реестра, хотя это не является абсолютным требованием. В режиме
совместно используемых данных различия между сообщаемыми данными и распространяемыми
данными начинает исчезать, т.е. сборщик данных просто вызывает их и перекачивает
необходимые данные, подобно любому другому пользователю данных.
Стандарты SDMX предназначены поддерживать любой из упомянутых трех шаблонов обмена. Можно
использовать SDMX-EDI или SDMX-ML как формат обмена с большим количеством метаданных для
двустороннего сообщения или шлюзового обмена; можно также использовать форматы SDMX,
руководящие принципы веб-сервисов и спецификации реестра для основательной поддержки шаблона
с совместно используемыми данными. Конфигурация SDMX такова, что не все предлагаемые свойства
требуется использовать: стандарты SDMX охватывают от использования стандарта для обеспечения
простого формата данных и метаданных до полностью автоматизированного и стандартизованного
обмена данными в режиме совместно используемых данных.
Установленные здесь стандарты поддерживают, в частности, шаблон процесса совместно
4 © ISO 2013 – Все права сохраняются
используемых данных, основанный на использовании сервисов центрального реестра. Сервисы
реестра и предоставляют обзор данных и метаданных, существующих в сообществе, и поддерживают
доступ и использование этих данных и метаданных с помощью набора триггерных схем для
автоматического извлечения данных и метаданных. Сами данные и метаданные не хранятся в
центральном реестре: эти сервисы всего лишь предоставляют полезный набор метаданных о данных
(и дополнительных метаданных) в известном месте, так чтобы пользователи приложения могли легко
их локализовать и получить, где бы они не были записаны. Использование стандартов для всех
данных и метаданных и самих сервисов реестра повсеместно обеспечивает высокий уровень
автоматизации совместного использования данных в сообществе.
Эти три шаблона процесса не исключают друг друга: одна система, способная отражать данные и
метаданные в совместимых форматах SDMX может поддерживать все три шаблона.
Кроме просмотра при сборе данных и в сообщении, важно также рассмотреть распространение
данных. Данные и метаданные (независимо от того каким образом они обмениваются между
контрагентами в процессе их разработки и создания) все в конце концов доставляются конечному
пользователю некоторого типа. Часто это делается через специальные приложения в рамках
учреждений. Однако все более часто данные и метаданные публикуются также на веб-сайтах в
различных форматах. Распространение данных и сопровождающих их метаданных во всемирной сети
является центром стандартов SDMX. Стандарты для статистических данных и метаданных дают
возможность провести улучшение в публикации: формат в стандарте облегчает привязку данных к
метаданным, делая данные более понятными конечному пользователю и облегчая последующую
обработку данных.
В обсуждениях статистических данных существует много аспектов их распространения, которые
связаны с качеством данных: отыскание данных, легкость использования и своевременность.
Стандарты SDMX обеспечивают поддержку для всех этих аспектов распространения данных. Форматы
данных в стандарте облегчают использование и обеспечивают привязку к соответствующим
метаданным. Концепция сервисов реестра означает, что данные и метаданные могут легче
отыскиваться. Своевременность повышается на всем протяжении жизненного цикла данных путем
повышения оперативности, поддержанной доступностью метаданных и легкостью использования.
Несмотря на то, что SDMX первоначально направлялся на обмен и распространение статистических
данных и метаданных, этот стандарт применим также в контексте внутренней обработки данных,
которая не имеет отношения к обмену между организациями и пользователями.
3.2 SDMX и автоматизация процесса
Обмены статистическими данными и метаданными используют многие различные автоматические
процессы, но некоторые из них представляют больший интерес, чем другие. Существуют некоторые
общие информационные технологии, которые чуть ли не повсеместны сегодня в информационных
системах. SDMX предназначается для предоставления стандартов, которые наиболее полезны для
этих автоматических процессов и технологий.
Вкратце они могут быть описаны следующим образом.
a) Обмен пакетом данных и метаданных: Пересылка полных или частичных баз данных между
контрагентами, включая дополнительные обновления.
b) Размещение данных и метаданных в Интернете: Технологии Интернета (включая его
использование в частных и частично частных сетях TCP/IP) весьма распространены. Эта
технология включает XML и веб-сервисы как основные механизмы автоматизации предоставления
данных и метаданных, так же как более традиционная HTML и подготовка на основе базы данных.
c) Типовые процессы: Хотя многие приложения и процессы характерны для известного набора
данных и метаданных, другие типы автоматических сервисов и процессов разрабатываются
вообще для обработки любого типа статистических данных и метаданных. Это, в частности,
справедливо в случаях, когда сайты портала и потоки данных делаются доступными в Интернете.
d) Представление и преобразование данных: Для того, чтобы сделать данные и метаданные
полезными для потребителей, они должны поддерживать автоматические процессы, которые
преобразуют их в форматы специфичной для приложения обработки, другие стандартные
форматы и форматы представления. Хотя это определенно не является аспектом обмена, этот
тип автоматической обработки представляет набор требований, которые необходимо
поддерживать, если поддерживается сам информационный обмен между контрагентами.
Установленные здесь стандарты SDMX предназначаются для поддержания требований всех этих
процессов и технологий.
3.3 Статистические данные и метаданные
Для предотвращения путаницы между "данными" и "метаданными" в рамках определяемых здесь
форматов SDMX вводится описание соответствующей области. Статистические ―данные‖ — это
совокупности результатов частых числовых наблюдений, которые обычно привязываются к
соответствующим периодам времени. Они связаны с набором значений метаданных, представляющих
специальные понятия, которые действуют как идентификаторы и дескрипторы данных. Эти значения
метаданных и понятий можно понимать как поименованные размеры многомерной системы координат,
описывающей то, что часто называют ―массив‖ данных.
SDMX идентифицирует стандартный метод для моделирования, выражения и понимания структуры
этого многомерного ―массива‖, предоставляя возможность автоматической обработки данных от ряда
источников. Этот подход широко применим к совокупности типов данных и к попыткам дать самый
простой и самый легкий доступный метод, который поддержит обмен этим широким набором данных и
связанных с ним метаданными.
Термин ―метаданные‖ действительно очень широкий. Можно провести различие между следующим:
— ―структурные‖ метаданные: те понятия, которые используются в описании и идентификации
статистических данных и метаданных, и
— ―контрольные‖ метаданные: больший набор понятий, которые описывают и квалифицируют
наборы и обработку статистических данных в более общем виде, и которые часто связаны не с
конкретными наблюдениями или с последовательностью данных, но со всеми совокупностями
данных или даже с институтами, которые предоставляют эти данные.
Информационная модель SDMX предоставляет для структурирования не только данные, но также
―контрольные‖ метаданные. Хотя структуры этих контрольных метаданных существуют независимо от
данных и их структурных метаданных, они часто связываются. Информационная модель SDMX
обеспечивает прикрепление контрольных метаданных к любой части данных или структурных
метаданных, а также предоставление информации и обмен контрольными метаданными и их
структурных описаний. Эта функция стандартов SDMX поддерживает многие аспекты инициатив
качества данных, давая возможность, как это делается при обмене метаданными в самом широком
смысле, метаданные которого, связанные с качеством, являются главной частью.
Метаданные связаны не только с данными, но также с процессом предоставления и управления
потоком данных. Информационная модель SDMX предусматривает набор метаданных, относящихся к
―подготовке данных‖, т.е. метаданных, которые полезны для тех, которые необходимы для понимания
содержания и формы вывода провайдера данных. Каждый провайдер данных может описать в
стандартной форме содержание и отношения в рамках наборов данных и метаданных, которые они
выводят и предоставляют информацию о временном графике и механизме, с помощью которого
предоставляются их данные и метаданные. Это дает возможность автоматизировать некоторые
функции проверки и управления, а также поддержания управления передачей данных.
SDMX также устанавливает важность схем категорий в организации и управлении обменом и
распространением данных и метаданных. Можно классифицировать артефакты SDMX по одной схеме
или по схемам категорий, которые облегчают как обработку данных и метаданных, так и обнаружение
данных и метаданных.
6 © ISO 2013 – Все права сохраняются
Стандарты SDMX предлагают общую модель, выбор синтаксиса и для XML выбор форматов данных,
которые поддерживают обмен статистическими данными любого типа, удовлетворяющими указанному
выше определению; несколько оптимизированных форматов устанавливаются на основе специальных
требований каждой реализации, описанной ниже в разделе SDMX-ML.
Формальные объекты в информационной модели кратко представляются ниже, но они обсуждаются
более детально в других местах данного международного стандарта.
На Рисунке 1 схематически представляется высший уровень основных артефактов в информационной
модели SDMX.
Рисунок 1 — Схематический высший уровень основных артефактов
в информационной модели SDMX
3.4 Представление в SDMX статистического обмена
3.4.1 Общие положения
Версия 1.0 SDMX (ISO/TS 17369:2005) охватывала наборы статистических данных и метаданные,
связанные со структурой этих наборов данных. Эта область действия была полезна для поддержания
различных шаблонов статистического обмена (двустороннего обмена, шлюзового обмена и
совместного использования данных), но не была сама достаточна для их полного поддержания. SDMX
версии 2.0 и SDMX версии 2.1 обе обеспечивают намного более полное представление
статистического обмена, так что шаблон открытого совместного использования данных может
полностью поддерживаться, а другие шаблоны обмена могут быть более полно автоматизированы.
Для того, чтобы подготовить технические стандарты, которые будут поддерживать эту увеличенную
область действия, информационная модель SDMX обеспечивает более широкий набор формальных
объектов, которые описывают узлы-операторы (акторы), процессоры и ресурсы в статистических
обменах.
Важно понимать этот набор формальных объектов не только в техническом смысле, но также с точки
зрения того, что эти объекты представляют в реальном обмене статистическими данными и
метаданными.
Версия 1.0 SDMX предусматривала наборы данных (специальные статистические данные, записанные
в соответствии со специальной структурой для определенного временного диапазона) и для
определений структур данных (метаданных, которые описывают структуру наборов статистических
данных). Это — важные объекты в статистических обменах, и они поддерживаются и усиливаются в
версии 2.0 SDMX и в версии 2.1 SDMX в обратно-совместимой форме. Связанным объектом в
статистических обменах является ―поток данных‖. Он поддерживает концепцию передачи или
распространения данных на постоянной основе: ―потоки данных‖ можно понимать как наборы данных,
которые не ограничены по времени.
SDMX версии 2.0 и SDMX версии 2.1 дополнительно предоставляют для стандарта систематическое
представление контрольных метаданных. Контрольные метаданные описываются не как
неотъемлемая часть набора данных, но независимо от статистических данных. SDMX обеспечивает
для контрольных ―наборов метаданных‖, ―определения структуры метаданных‖ и ―потоки метаданных‖.
Эти объекты очень похожи на наборы данных, определения структуры данных и потоки данных, но они
касаются контрольных метаданных, а не статистических наблюдений. Таким же образом, как
провайдеры данных могут публиковать статистические данные, они могут публиковать также
контрольные метаданные. Структурные определения метаданных сопровождаются агентствами
способом, подобным способу, которым агентства сопровождают определения структуры данных,
структурные определении наборов данных.
Структурные определения, как данных, так и контрольных метаданных, связаны с конкретными
статистическими понятиями с их представлениями, либо текстуальными, либо закодированными и т.д.
Эти понятия заимствованы из ―схемы понятий‖. Схема понятий группирует набор понятий, дает их
определения и имена, и допускает выражение семантических взаимосвязей, когда некоторые понятия
являются конкретизацией других. Можно для одной схемы понятий использовать как структуры
данных, так и структуры контрольных метаданных. Схема понятий SDMX — это совокупность понятий.
SDMX целенаправленно не предлагает структуры для управления понятиями и понятием элемента
данных таких, какие описаны в ISO/IEC 11179-1:2004 и ISO/IEC 11179-3:2003. Однако понятие SDMX
может быть привязано путем ссылки на эквивалентную конструкцию, управляемую системой
управления понятием.
Внутренне присуще в любом статистическом обмене (и во многих действиях распространения) понятие
―соглашение по уровню услуг‖, даже если оно не формализовано или делается явно. SDMX включает
эту идею в объект, называемый ―соглашением по предоставлении услуг‖. Провайдеры данных могут
предоставить данные многим различным потокам данных. Потоки данных могут включать данные,
исходящих от более чем одного провайдера данных. Соглашения по предоставлению услуг — это
объекты, которые информируют, какие провайдеры данных поставляют какие данные в потоки данных.
Это справедливо и для потоков метаданных.
Соглашение по предоставлению услуг делает доступным набор информации:
a) график, по которому статистические данные или метаданные представляются или публикуются,
b) специальные разделы о том, какие данные или метаданные предоставляются в теоретически
возможном наборе данных (описанном определением структуры данных или определением
структуры контрольных метаданных), и
c) период времени, охватываемый статистическими данными и метаданными.
Этот набор информации называется ―ограничением‖ в информационной модели SDMX.
Краткая сводка объектов, описанных в информационной модели, включает следующее
— Набор данных: Данные организованы в дискретные наборы, которые включают отдельные
наблюдения для конкретного периода времени. Набор данных можно понимать как совокупность
сходных данных, совместно использующих структуру, которая охватывает фиксированный период
времени.
— Определение структуры данных (DSD, также известное как ключевая группа в версии 2.0 SDMX):
8 © ISO 2013 – Все права сохраняются
Каждый набор данных имеет набор структурных метаданных. Эти описания рассматриваются в
SDMX как определения структуры данных, которые включают информацию о том, какие понятия
связаны с мерами, размерностями и атрибутами ―массива‖ данных наряду с информацией о
представлении данных и связанных идентифицирующими и описательными (структурными)
метаданными. В версии 2.1 SDMX термин ―ключевая группа‖ заменяется ―определением структуры
данных ‖ (DSD) как в схемах XML, так и в информационной модели.
— Список кодов: В списках кодов перечисляется набор значений для использования в представлении
размеров. атрибутов и других структурных частей SDMX. Они могут быть дополнены другими
структурными метаданными, которые показывают, как коды организованы в иерархии.
— Схема организации: Организации и схема организации могут определяться в схеме организации.
Специальные схемы организации существуют для обслуживающего агентства, провайдера данных,
потребителя данных и организационной единицы.
— Схема категорий и категоризация: Схемы категорий образуют иерархию категорий, которые в
SDMX могут включать любой тип полезной классификации для организации данных и метаданных.
Категоризация привязывает категорию к идентифицируемому объекту. Таким способом наборы
объектов могут быть распределены по категориям. Схема статистической предметной области
определения реализуется SDMX как схема категорий.
— Схема понятий: Схема понятий — это заданный список понятий, которые используются в
определениях структуры данных и в определениях структуры метаданных. Может быть много
таких схем понятий. Может быть определено ―центральное‖ представление понятия (например,
центральный список кодов или другое представление, такое как ―дата‖). Это центральное
представление может быть переопределено в определении структуры данных или в определении
структуры метаданных, в которых используется это понятие.
— Набор метаданных: Набор контрольных метаданных — это набор информации, относящейся к
объекту в формальном представлении SDMX статистического обмена: в нем может описываться
временной график выпуска данных; в нем может описываться один тип данных в течение времени;
в нем может описываться качество данных и др. В SDMX создатели контрольных метаданных
могут взять какие-нибудь понятия, которые относятся к или связаны с сообщением, и предоставить
набор контрольных метаданных, содержащих эту информацию.
— Определение структуры метаданных: Набор контрольных метаданных также имеет набор
структурных метаданных, который описывает, как он организован. Этот набор метаданных
определяет какие понятия контрольных метаданных передаются, как эти понятия связаны друг с
другом (обычно как иерархии), как они могут представляться (как текст на естественном языке, как
закодированные значения и т.д.) и с каким типом формальных объектов SDMX они связываются.
— Определение потока данных: В SDMX наборы данных передаются и распространяются в
соответствии с определением потока данных. Определение потока данных устанавливает
определение структуры данных и может быть связано с одной или большим числом предметных
областей определения через категоризацию (это облегчает поиск данных в соответствии с
организованными схемами категорий). Ограничения в виде периодичности передачи или
подмножества возможных ключей, которые дают доступ к набору данных, могут включаться в
определение потока данных.
— Определение потока метаданных: Определение потока метаданных очень похоже на определение
потока данных, но только описывает, определяет категорию и ограничения наборов метаданных.
— Провайдер данных: Организация, которая предоставляет данные или контрольные метаданные,
называется провайдером данных.
— Соглашение о предоставлении услуг: Набор информации, которая описывает способ, которым
наборы данных и наборы метаданных предоставляются провайдером. Соглашение о
предоставлении услуг может включать ограничения таким же путем, как и определение потока
данных и метаданных. Таким образом, провайдер данных может отразить тот факт, что он
предоставляет конкретный поток данных, охватывающий конкретный набор стран и тем. Важно,
фактический источник зарегистрированных данных или метаданных подсоединяется к соглашению
о предоставлении услуг (в виде URL/ Унифицированного Указателя Ресурсов в Интернете).
Используется термин ―соглашение‖, поскольку эта информация может пониматься как основа
―соглашения об уровне услуг‖. Однако в SDMX это — информирующие метаданные для
поддержания технических систем в отличие от любого вида контрактной информации.
— Ограничение: Ограничение описывает подмножество источников данных или источников
метаданных и может также предоставлять информацию о запланированных выпусках данных и
метаданных. Они также привязаны к провайдерам данных, соглашениям о предоставлении услуг,
потокам данных, потокам метаданных, определениям структуры данных и определениям
структуры метаданных.
— Структурированное множество: Структурированное множество обеспечивает механизм
группировки структурных метаданных друг с другом для составления полного описания
взаимосвязей между конкретными связанными наборами данных и метаданных. Они могут
использоваться для отображения размеров и атрибутов друг другу, для отображения понятий, для
отображения списков кодов и для отображения схем категорий. Они могут использоваться для
описания ―массивов‖ данных, даже когда данные в массиве не используют совместно общую
размерность.
— Таксономия предоставления информации: Таксономия предоставле
...
МЕЖДУНАРОДНЫЙ ISO
СТАНДАРТ 17369
Первое издание
2013-01-15
Обмен статистическими данными и
метаданными (SDMX)
Statistical data and metadata exchange (SDMX)
Ответственность за подготовку русской версии несѐт GOST R
(Российская Федерация) в соответствии со статьѐй 18.1 Устава ISO
Ссылочный номер
©
ISO 2013
Отказ от ответственности при работе в PDF
Настоящий файл PDF может содержать интегрированные шрифты. В соответствии с условиями лицензирования, принятыми
фирмой Adobe, этот файл можно распечатать или смотреть на экране, но его нельзя изменить, пока не будет получена
лицензия на установку интегрированных шрифтов в компьютере, на котором ведется редактирование. В случае загрузки
настоящего файла заинтересованные стороны принимают на себя ответственность за соблюдение лицензионных условий
фирмы Adobe. Центральный секретариат ISO не несет никакой ответственности в этом отношении.
Adobe – торговый знак фирмы Adobe Systems Incorporated.
Подробности, относящиеся к программным продуктам, использованным для создания настоящего файла PDF, можно найти в
рубрике General Info файла; параметры создания PDF были оптимизированы для печати. Были приняты во внимание все
меры предосторожности с тем, чтобы обеспечить пригодность настоящего файла для использования комитетами-членами
ISO. В редких случаях возникновения проблемы, связанной со сказанным выше, просьба проинформировать Центральный
секретариат по адресу, приведенному ниже.
ДОКУМЕНТ ЗАЩИЩЕН АВТОРСКИМ ПРАВОМ
Все права сохраняются. Если не указано иное, никакую часть настоящей публикации нельзя копировать или использовать в
какой-либо форме или каким-либо электронным или механическим способом, включая фотокопии и микрофильмы, без
предварительного письменного согласия ISO, которое должно быть получено после запроса о разрешении, направленного по
адресу, приведенному ниже, или в комитет-член ISO в стране запрашивающей стороны.
ISO copyright office
Case postale 56 • CH-1211 Geneva 20
Tel. + 41 22 749 01 11
Fax + 41 22 749 09 47
E-mail copyright @ iso.org
Web www.iso.org
Опубликовано в Швейцарии
ii © ISO 2013 – Все права сохраняются
Содержание Страница
Предисловие. iv
Введение . v
1 Область применения . 1
2 Термины, определения и сокращенные термины . 1
2.1 Термины и определения . 1
2.2 Сокращенные термины . 3
3 Процессы и сфера деятельности . 4
3.1 Шаблон процесса . 4
3.2 SDMX и автоматизация процесса . 5
3.3 Статистические данные и метаданные . 6
3.4 Представление в SDMX статистического обмена . 7
3.5 Услуги реестра SDMX . 11
3.6 Веб–сервисы . 12
4 Информационная модель SDMX . 13
5 SDMX-EDI . 13
6 SDMX-ML . 14
7 Взаимосвязи информационно–ориентированных руководств по SDMX . 15
7.1 Общие положения . 15
7.2 Междоменные понятия . 15
7.3 Общий словарь метаданных . 16
7.4 Статистические домены объектов . 16
Библиография . 17
Предисловие
Международная организация по стандартизации (ISO) является всемирной федерацией национальных
организаций по стандартизации (комитетов-членов ISO). Разработка международных стандартов
обычно осуществляется техническими комитетами ISO. Каждый комитет-член, заинтересованный в
деятельности, для которой был создан технический комитет, имеет право быть представленным в этом
комитете. Международные правительственные и неправительственные организации, имеющие связь с
ISO, также принимают участие в работе. ISO работает в тесном сотрудничестве с Международной
электротехнической комиссией (IEC) по всем вопросам стандартизации в области электротехники.
Проекты международных стандартов разрабатываются согласно правилам, приведѐнным в
Директивах ISO/IEC, Части 2.
Разработка международных стандартов является основной задачей технических комитетов. Проекты
международных стандартов, принятые техническими комитетами, рассылаются комитетам-членам на
голосование. Для публикации в качестве международного стандарта требуется одобрение не менее
75 % комитетов-членов, принявших участие в голосовании.
Принимается во внимание тот факт, что некоторые из элементов настоящей части стандарта ISO 9735
могут быть объектом патентных прав. ISO не принимает на себя обязательств по определению
отдельных или всех таких патентных прав.
ISO 17369 был подготовлен Техническим комитетом ISO/TC 154, Процессы, элементы данных и
документы в коммерции, промышленности и административном управлении.
Настоящее первое издание ISO 17369 отменяет и заменяет ISO/TS 17369:2005, которое технически
переработано.
iv © ISO 2013 – Все права сохраняются
Введение
Программа обмена статистическими данными и метаданными (SDMX) (http://www.sdmx.org)
определяет стандарты, которые могут облегчить обмен статистическими данными и метаданными при
использовании современной информационной технологии с упором на агрегированные данные.
Существует несколько разделов в технической спецификации SDMX:
a) Рамочный документ SDMX представляет область применения и общие функциональные
возможности концепций и технических условий, которые составляют стандарт SDMX.
b) Информационная Модель SDMX — это информационная модель, на которой базируются
специфичные для синтаксиса реализации, описанные в других разделах. Она предназначается
для технического персонала, желающего понять полную область применения технических
стандартов в синтаксически нейтральной форме. Она включает в качестве приложения вводное
руководство на UML (Unified Modelling Language – Унифицированном Языке моделирования).
c) SDMX-ML является форматом XML для обмена SDMX-структурированными данными и
метаданными. В этом документе описывается применение синтаксиса XML в сообщениях SDMX, и
сопровождается набором схем и типовыми примерами документов XML.
d) SDMX-EDI является форматом UN/EDIFACT (ООН – Электронный Обмен Данными в области Управления,
Торговли и Транспорта) для обмена SDMX-структурированными данными и метаданными. В этом
документе описывается применение синтаксиса UN/EDIFACT в сообщениях SDMX.
e) Спецификация Реестра SDMX предоставляет основной системный реестр информации по
доступным данным и базисным метаданным и банк данных, содержащий структурные метаданные
и обеспечивающий информацию. Эта спецификация определяет основные функции,
предлагаемые реестром SDMX: регистрация данных и метаданных; выдача запроса по данным и
метаданным; и выписка уведомления по обновлениям в реестре.
f) Технические Указания по SDMX составляют руководство для помощи тем, кто хочет использовать
спецификации SDMX. Они включают пояснения по выразительным различиям различных
сообщений и синтаксисов; поддержку версий; обслуживающие агентства; Реестр SDMX.
g) Руководящие указания по веб-сервису составляют руководство для тех, кто желает реализовать
SDMX с использованием технологий веб- сервиса (включая, но не требуя совместимый с SDMX
реестр), который будет работать независимо от среды разработки или платформы,
использованной для создания этого веб- сервиса.
В версии 2.0 SDMX реализовано существенное расширение области применения, она также
предоставляет более полную поддержку в тех областях, которые охватываются версией 1.0 SDMX.
Версия 2.0 SDMX обратно совместима с версией 1.0 SDMX, так что существующие реализации могут
легко переноситься в соответствии с версией 2.0 SDMX.
Версия 2.1 SDMX представляет набор изменений, являющихся результатом нескольких лет опыта реализации
версии 2.0 SDMX. Эти изменения не расширяют область применения или функциональные возможности, но
исправляют некоторые ошибки и добавляют функции в некоторых случаях. Главные изменения в SDMX-ML
включают более строгое совмещение схем XML с информационной моделью, чтобы делать упор на
наследование свойств и объектно-ориентированные средства, и на повышенную точность и гибкость в привязке
сборников метаданных к конкретным объектам в информационной модели SDMX.
Идея обратной совместимости в стандартах основывается на информационной модели. В обеих
версиях некоторые обратно- несовместимые изменения сделаны в форматах SDMX-ML. Однако один
и тот же набор информации, требуемый для применения версии 1.0 SDMX, будет разрешен для
применения тех же свойств в версии 2.0 SDMX. Таким образом, определение структуры данных (DSD)
легко переводится из версии 1.0 SDMX в версию 2.0 SDMX, без требования какой-либо новой
информации, относящейся к структуре и др. Не существует изменений в формате SDMX-EDI.
Основные изменения при переходе с версии 1.0 SDMX к версии 2.0 SDMX можно кратко
просуммировать следующим образом.
— Базисные метаданные: В дополнение к описанию и определению структур и форматов данных (вместе со
связанными структурными метаданными), версия 2.0 SDMX предоставляет для обмена метаданные, которые
отличаются от структурных метаданных в версии 1.0 SDMX. Эта категория включает ―базисные‖ метаданные
(касающиеся качества данных, методологии и подобных типов: они могут конфигурироваться пользователем
для включения любого понятия, требующего подготовки отчета); метаданные, относящиеся к регистрации
данных (календарная информация версии, описание предоставленных данных и метаданных и др.); и
метаданные, относящиеся к обмену схем категоризации.
— Реестр SDMX: В версии 2.0 SDMX обеспечивается стандартная связь с сервисами реестра для
поддержания модели статистического обмена с совместно используемыми данными. Эти сервисы
включают регистрацию данных и метаданных, выдачу запроса к зарегистрированным данным и
метаданным и подписку/уведомление.
— Структурные метаданные: Поддержка обмена статистическими данными и связанными структурными
метаданными расширена. Предусматривается некоторая поддержка качественных данных; описываются
структуры массивов данных; поддерживаются списки иерархических кодов; могут быть выражены
взаимосвязи между структурами данных, что обеспечивает поддержку расширяемости структур данных; и
поддерживается описание функциональных зависимостей в рамках массивов.
Основные изменения при переходе с версии 2.0 SDMX к версии 2.1 SDMX можно кратко
просуммировать следующим образом.
— Изменения, ориентированные на веб-сервисы: Некоторые организации реализовали приложения веб-
сервисов с использованием SDMX, и эти реализации повлекли за собой несколько изменений в
спецификациях. Поскольку природу веб-сервисов SDMX нельзя предусмотреть во время первоначальной
разработки спецификаций, руководящие указания по веб-сервисам полностью переработаны.
— Репрезентативные изменения: Большая работа с использованием различных технологий была
проделана для визуализации данных и метаданных SDMX, и в результате были предложены
некоторые изменения для лучшего использования этой графической визуализации.
— Совместимые издания: Существовали некоторые области, где проекты спецификаций были
незначительно несовместны, и они были приведены в соответствие.
— Пояснения в документации: В некоторых случаях было установлено, что документирование отдельных
областей в стандарте требовало пояснения и уточнения, и эти пункты были исправлены.
— Оптимизация для технологий XML: Реализация показала, что можно лучше организовать схемы
XML при использовании общих средств разработки технологии для работы с XML. Эти изменения
направлены, главным образом, на усиление объектно-ориентированных свойств Схемы W3C XML,
облегчающие обработку данных и метаданных SDMX.
— Согласованность между SDMX-ML и информационной моделью SDMX: Определенные аспекты
схем XML и модели UML более тесно совмещаются, что облегчает понимание модели SDMX.
— Технические ошибки: Было выявлено несколько технических ошибок. Эти ошибки были устранены.
— Поддержка невременных рядов данных в общем формате: Одна область, которая была расширена, дает
возможность выражать не-временные ряды данных как часть сообщения с общими данными.
— Упрощение определения структуры данных/специальных типов сообщений: Как наборы временных рядов
(версия 2.0 SDMX Компактная), так и наборы не-временных рядов (версия 2.0 SDMX Многоаспектная)
используют одну и ту же внутреннюю структуру для форматизированного сообщения специфической
структуры, которая характерна для определения структуры данных набора данных.
— Упрощение и более лучшая поддержка для структуры метаданных: Описаны новые случаи применения,
они поддерживаются сейчас путем определения ремоделируемой структуры метаданных.
— Поддержка для частичных схем элементов, таких как перечень кодов: Было введено понятие частичной
схемы (подмножества) элементов таких, как перечень кодов для применения в сценариях обмена.
vi © ISO 2013 – Все права сохраняются
МЕЖДУНАРОДНЫЙ СТАНДАРТ ISO 17369:2013(R)
Обмен статистическими данными и метаданными (SDMX)
1 Область применения
Данный международный стандарт предоставляет интегрированный подход, облегчающий обмен
статистическими данными и метаданными (SDMX), включающий интероперабельные реализации
внутри и между системами, связанными с обменом, отчетностью и распространением статистических
данных и связанных метаданных.
Данный международный стандарт применим к любой организации, которая должна управлять
отчетностью, обменом и распространением статистических данных и связанных метаданных.
Информационная модель в центре данного международного стандарта была разработана для
поддержки статистики, собранной и используемой правительственными и наднациональными
статистическими организациями, и эта модель применима также к другим организационным
контекстам, содержащими статистические данные и связанные метаданные.
2 Термины, определения и сокращенные термины
2.1 Термины и определения
В данном документе используются следующие термины и определения.
2.1.1
передача репрезентативного состояния
representational state transfer
REST
Стиль архитектуры программного обеспечения для распределенных гипермедийных систем, как
например, всемирной паутины
2.1.2
веб-сервис на базе стиля REST
RESTful web service
итерфейс прикладного программирования на базе стиля REST
RESTful API
простой веб-сервис, реализованный с использованием HTTP/ Протокола Передачи Гипертекста и
принципов REST
2.1.3
набор данных
data set
организованная совокупность данных и связанных с ним метаданных в соответствии с установленным
определением структуры данных
2.1.4
определение структуры данных
data structure definition
DSD
набор концепций метаданных, их структуры и применимости при использовании для сбора или
распределения данных
2.1.5
набор метаданных
metadata set
организованная совокупность метаданных, структурированных в соответствии с установленным
определением структуры метаданных
2.1.6
определение структуры метаданных
metadata structure definition
совокупность концепций метаданных, их структуры и применимости при использовании для сбора или
распределения метаданных.
2.1.7
контрольные метаданные
reference metadata
метаданные, описывающие содержание и качество статистических данных.
2.1.8
перечень кодов
code list
предопределенный список, из которого некоторые статистические закодированные понятия принимают
свои значения.
2.1.9
организационная схема
organization scheme
совокупность организаций, которые играют роль в жизненном цикле статистического процесса
ПРИМЕР Обслуживающее агентство; провайдер данных; потребитель данных.
2.1.10
организация
organization
уникальная инфраструктура полномочий, в рамках которых лицо или лица действуют или
предназначены действовать для достижения некоторой цели.
[ИСТОЧНИК: ISO/IEC 6523-1:1998, 3.1, модифицированное.]
2.1.11
схема категорий
category scheme
иерархия категорий, которая может включать любой тип полезной классификации для организации
данных и метаданных
2.1.12
категория
category
пункт на любом уровне в классификации.
ПРИМЕР Категории табуляции; разделы; подразделы; отделы; подотделы; группы; подгруппы; классы; подклассы.
2.1.13
категоризация
categorization
подсоединение категории к объекту, так чтобы подмножества объектов могли быть классифицированы.
2.1.14
схема понятий
concept scheme
список понятий, которые используются в определениях структуры данных и в определениях структуры
метаданных.
2.1.15
понятие
concept
единица знания, созданная уникальным сочетанием характеристик.
[ИСТОЧНИК: ISO 1087-1:2000, 3.2.1, модифицированное.]
2 © ISO 2013 – Все права сохраняются
2.1.16
определение потока данных
dataflow definition
описательная информация о потоке данных, которую провайдеры предоставляют для различных
базисных периодов в соответствии с установленным определением структуры данных.
2.1.17
определение потока метаданных
metadataflow definition
описательная информация о потоке метаданных, которую провайдеры предоставляют для различных
базисных периодов в соответствии с установленным определением структуры метаданных.
2.1.18
провайдер данных
data provider
организация, которая выдает данные или контрольные метаданные.
2.1.19
договор о предоставлении услуг
provision agreement
соглашение, в рамках которого провайдер предоставляет данные или метаданные.
2.1.20
структурированное множество
structure set
совокупность структурных отображений, которые выражают семантическую эквивалентность между
источником и целевыми компонентами.
2.1.21
таксономия предоставления информации
reporting taxonomy
схема, которая определяет составную структуру информационного сообщения, где каждый компонент
может быть описан независимым определением потока данных или определением потока метаданных.
2.1.22
процесс
process
схема, которая определяет или документирует операции, выполняемые на данных или метаданных.
2.1.23
иерархический список кодов
hierarchical code list
организованная совокупность кодов, упорядоченная в уровни элементов от самых общего до наиболее
детализированного уровня.
ПРИМЕЧАНИЕ Каждый уровень иерархии определяется в показателях кодов на следующем более низком
уровне иерархии.
2.2 Сокращенные термины
API Application Program Interface / Интерфейс Прикладного Программирования
GESMES Generic Statistical Message / Родовое Статистическое Сообщение
HTTP Hypertext Transfer Protocol / Протокол Передачи Гипертекста
MCV Metadata Common Vocabulary / Общий Словарь Метаданных
OLAP Online Analytical Processing / Оперативная Аналитическая Обработка Данных
SDMX Statistical Data and Metadata Exchange / Обмен Статистическими Данными и
Метаданными
SOAP Simple Object Access Protocol / Простой Протокол Доступа к Объектам, Протокол
SOAP
UML Unified Modelling Language / Унифицированный Язык Моделирования
UN/EDIFACT United Nations/Electronic Data Interchange for Administration, Commerce and
Transport / Организация Объединѐнных Наций/Электронный Обмен Данными в
Управлении, Торговле и на Транспорте
WADL Web Application Description Language / Язык Описания Веб-Приложения
WSDL Web Service Definition Language / Язык Описания Веб-Сервиса
3 Процессы и сфера деятельности
3.1 Шаблон процесса
SDMX устанавливает три основных шаблона процесса, имеющих отношение к обмену статистическими
данными и метаданными. Они могут быть описаны следующим образом.
a) Двусторонний обмен: Все аспекты процесса обмена согласуются между двумя сторонами, включая
механизм для обмена данными и метаданными, форматы, частоту или календарный график, и
режим, используемый для передач при обмене. Это, возможно, самый общий шаблон процесса.
b) Шлюзовой обмен: Шлюзовые обмены — это организованное множество двусторонних обменов, в
котором отдельные данные и метаданные, собираемые организациями или отдельными лицами,
согласованы для обмена собранной информацией с каждой другой организацией или отдельным
лицом в общем формате и в соответствии с общим процессом. Этот шаблон исключает
необходимость в управлении многими двусторонними обменами (по совокупности данных и
метаданных) через совместно используемые организации/отдельных лиц. Это также очень общий
шаблон в сфере статистики, где сообщества институтов договорились о способах получения выгод
в рамках области их коллективных обязательств.
c) Обмен совместно используемыми данными: Совместно используемые данные – это режим обмена,
когда любая сторона, которой предоставлен доступ к данным, может получить их в известном
формате вместе со всеми уместными метаданными, с тем, чтобы иметь возможность
использовать эти данные без какой-либо предварительной договоренности с провайдером данных.
Такое использование может быть программным по природе, требуя высокую степень
стандартизации как форматов данных и метаданных, так и содержания. Также типично для
сценария совместно используемых данных, что данные легко локализуются с использованием
онлайнового каталога или реестра, хотя это не является абсолютным требованием. В режиме
совместно используемых данных различия между сообщаемыми данными и распространяемыми
данными начинает исчезать, т.е. сборщик данных просто вызывает их и перекачивает
необходимые данные, подобно любому другому пользователю данных.
Стандарты SDMX предназначены поддерживать любой из упомянутых трех шаблонов обмена. Можно
использовать SDMX-EDI или SDMX-ML как формат обмена с большим количеством метаданных для
двустороннего сообщения или шлюзового обмена; можно также использовать форматы SDMX,
руководящие принципы веб-сервисов и спецификации реестра для основательной поддержки шаблона
с совместно используемыми данными. Конфигурация SDMX такова, что не все предлагаемые свойства
требуется использовать: стандарты SDMX охватывают от использования стандарта для обеспечения
простого формата данных и метаданных до полностью автоматизированного и стандартизованного
обмена данными в режиме совместно используемых данных.
Установленные здесь стандарты поддерживают, в частности, шаблон процесса совместно
4 © ISO 2013 – Все права сохраняются
используемых данных, основанный на использовании сервисов центрального реестра. Сервисы
реестра и предоставляют обзор данных и метаданных, существующих в сообществе, и поддерживают
доступ и использование этих данных и метаданных с помощью набора триггерных схем для
автоматического извлечения данных и метаданных. Сами данные и метаданные не хранятся в
центральном реестре: эти сервисы всего лишь предоставляют полезный набор метаданных о данных
(и дополнительных метаданных) в известном месте, так чтобы пользователи приложения могли легко
их локализовать и получить, где бы они не были записаны. Использование стандартов для всех
данных и метаданных и самих сервисов реестра повсеместно обеспечивает высокий уровень
автоматизации совместного использования данных в сообществе.
Эти три шаблона процесса не исключают друг друга: одна система, способная отражать данные и
метаданные в совместимых форматах SDMX может поддерживать все три шаблона.
Кроме просмотра при сборе данных и в сообщении, важно также рассмотреть распространение
данных. Данные и метаданные (независимо от того каким образом они обмениваются между
контрагентами в процессе их разработки и создания) все в конце концов доставляются конечному
пользователю некоторого типа. Часто это делается через специальные приложения в рамках
учреждений. Однако все более часто данные и метаданные публикуются также на веб-сайтах в
различных форматах. Распространение данных и сопровождающих их метаданных во всемирной сети
является центром стандартов SDMX. Стандарты для статистических данных и метаданных дают
возможность провести улучшение в публикации: формат в стандарте облегчает привязку данных к
метаданным, делая данные более понятными конечному пользователю и облегчая последующую
обработку данных.
В обсуждениях статистических данных существует много аспектов их распространения, которые
связаны с качеством данных: отыскание данных, легкость использования и своевременность.
Стандарты SDMX обеспечивают поддержку для всех этих аспектов распространения данных. Форматы
данных в стандарте облегчают использование и обеспечивают привязку к соответствующим
метаданным. Концепция сервисов реестра означает, что данные и метаданные могут легче
отыскиваться. Своевременность повышается на всем протяжении жизненного цикла данных путем
повышения оперативности, поддержанной доступностью метаданных и легкостью использования.
Несмотря на то, что SDMX первоначально направлялся на обмен и распространение статистических
данных и метаданных, этот стандарт применим также в контексте внутренней обработки данных,
которая не имеет отношения к обмену между организациями и пользователями.
3.2 SDMX и автоматизация процесса
Обмены статистическими данными и метаданными используют многие различные автоматические
процессы, но некоторые из них представляют больший интерес, чем другие. Существуют некоторые
общие информационные технологии, которые чуть ли не повсеместны сегодня в информационных
системах. SDMX предназначается для предоставления стандартов, которые наиболее полезны для
этих автоматических процессов и технологий.
Вкратце они могут быть описаны следующим образом.
a) Обмен пакетом данных и метаданных: Пересылка полных или частичных баз данных между
контрагентами, включая дополнительные обновления.
b) Размещение данных и метаданных в Интернете: Технологии Интернета (включая его
использование в частных и частично частных сетях TCP/IP) весьма распространены. Эта
технология включает XML и веб-сервисы как основные механизмы автоматизации предоставления
данных и метаданных, так же как более традиционная HTML и подготовка на основе базы данных.
c) Типовые процессы: Хотя многие приложения и процессы характерны для известного набора
данных и метаданных, другие типы автоматических сервисов и процессов разрабатываются
вообще для обработки любого типа статистических данных и метаданных. Это, в частности,
справедливо в случаях, когда сайты портала и потоки данных делаются доступными в Интернете.
d) Представление и преобразование данных: Для того, чтобы сделать данные и метаданные
полезными для потребителей, они должны поддерживать автоматические процессы, которые
преобразуют их в форматы специфичной для приложения обработки, другие стандартные
форматы и форматы представления. Хотя это определенно не является аспектом обмена, этот
тип автоматической обработки представляет набор требований, которые необходимо
поддерживать, если поддерживается сам информационный обмен между контрагентами.
Установленные здесь стандарты SDMX предназначаются для поддержания требований всех этих
процессов и технологий.
3.3 Статистические данные и метаданные
Для предотвращения путаницы между "данными" и "метаданными" в рамках определяемых здесь
форматов SDMX вводится описание соответствующей области. Статистические ―данные‖ — это
совокупности результатов частых числовых наблюдений, которые обычно привязываются к
соответствующим периодам времени. Они связаны с набором значений метаданных, представляющих
специальные понятия, которые действуют как идентификаторы и дескрипторы данных. Эти значения
метаданных и понятий можно понимать как поименованные размеры многомерной системы координат,
описывающей то, что часто называют ―массив‖ данных.
SDMX идентифицирует стандартный метод для моделирования, выражения и понимания структуры
этого многомерного ―массива‖, предоставляя возможность автоматической обработки данных от ряда
источников. Этот подход широко применим к совокупности типов данных и к попыткам дать самый
простой и самый легкий доступный метод, который поддержит обмен этим широким набором данных и
связанных с ним метаданными.
Термин ―метаданные‖ действительно очень широкий. Можно провести различие между следующим:
— ―структурные‖ метаданные: те понятия, которые используются в описании и идентификации
статистических данных и метаданных, и
— ―контрольные‖ метаданные: больший набор понятий, которые описывают и квалифицируют
наборы и обработку статистических данных в более общем виде, и которые часто связаны не с
конкретными наблюдениями или с последовательностью данных, но со всеми совокупностями
данных или даже с институтами, которые предоставляют эти данные.
Информационная модель SDMX предоставляет для структурирования не только данные, но также
―контрольные‖ метаданные. Хотя структуры этих контрольных метаданных существуют независимо от
данных и их структурных метаданных, они часто связываются. Информационная модель SDMX
обеспечивает прикрепление контрольных метаданных к любой части данных или структурных
метаданных, а также предоставление информации и обмен контрольными метаданными и их
структурных описаний. Эта функция стандартов SDMX поддерживает многие аспекты инициатив
качества данных, давая возможность, как это делается при обмене метаданными в самом широком
смысле, метаданные которого, связанные с качеством, являются главной частью.
Метаданные связаны не только с данными, но также с процессом предоставления и управления
потоком данных. Информационная модель SDMX предусматривает набор метаданных, относящихся к
―подготовке данных‖, т.е. метаданных, которые полезны для тех, которые необходимы для понимания
содержания и формы вывода провайдера данных. Каждый провайдер данных может описать в
стандартной форме содержание и отношения в рамках наборов данных и метаданных, которые они
выводят и предоставляют информацию о временном графике и механизме, с помощью которого
предоставляются их данные и метаданные. Это дает возможность автоматизировать некоторые
функции проверки и управления, а также поддержания управления передачей данных.
SDMX также устанавливает важность схем категорий в организации и управлении обменом и
распространением данных и метаданных. Можно классифицировать артефакты SDMX по одной схеме
или по схемам категорий, которые облегчают как обработку данных и метаданных, так и обнаружение
данных и метаданных.
6 © ISO 2013 – Все права сохраняются
Стандарты SDMX предлагают общую модель, выбор синтаксиса и для XML выбор форматов данных,
которые поддерживают обмен статистическими данными любого типа, удовлетворяющими указанному
выше определению; несколько оптимизированных форматов устанавливаются на основе специальных
требований каждой реализации, описанной ниже в разделе SDMX-ML.
Формальные объекты в информационной модели кратко представляются ниже, но они обсуждаются
более детально в других местах данного международного стандарта.
На Рисунке 1 схематически представляется высший уровень основных артефактов в информационной
модели SDMX.
Рисунок 1 — Схематический высший уровень основных артефактов
в информационной модели SDMX
3.4 Представление в SDMX статистического обмена
3.4.1 Общие положения
Версия 1.0 SDMX (ISO/TS 17369:2005) охватывала наборы статистических данных и метаданные,
связанные со структурой этих наборов данных. Эта область действия была полезна для поддержания
различных шаблонов статистического обмена (двустороннего обмена, шлюзового обмена и
совместного использования данных), но не была сама достаточна для их полного поддержания. SDMX
версии 2.0 и SDMX версии 2.1 обе обеспечивают намного более полное представление
статистического обмена, так что шаблон открытого совместного использования данных может
полностью поддерживаться, а другие шаблоны обмена могут быть более полно автоматизированы.
Для того, чтобы подготовить технические стандарты, которые будут поддерживать эту увеличенную
область действия, информационная модель SDMX обеспечивает более широкий набор формальных
объектов, которые описывают узлы-операторы (акторы), процессоры и ресурсы в статистических
обменах.
Важно понимать этот набор формальных объектов не только в техническом смысле, но также с точки
зрения того, что эти объекты представляют в реальном обмене статистическими данными и
метаданными.
Версия 1.0 SDMX предусматривала наборы данных (специальные статистические данные, записанные
в соответствии со специальной структурой для определенного временного диапазона) и для
определений структур данных (метаданных, которые описывают структуру наборов статистических
данных). Это — важные объекты в статистических обменах, и они поддерживаются и усиливаются в
версии 2.0 SDMX и в версии 2.1 SDMX в обратно-совместимой форме. Связанным объектом в
статистических обменах является ―поток данных‖. Он поддерживает концепцию передачи или
распространения данных на постоянной основе: ―потоки данных‖ можно понимать как наборы данных,
которые не ограничены по времени.
SDMX версии 2.0 и SDMX версии 2.1 дополнительно предоставляют для стандарта систематическое
представление контрольных метаданных. Контрольные метаданные описываются не как
неотъемлемая часть набора данных, но независимо от статистических данных. SDMX обеспечивает
для контрольных ―наборов метаданных‖, ―определения структуры метаданных‖ и ―потоки метаданных‖.
Эти объекты очень похожи на наборы данных, определения структуры данных и потоки данных, но они
касаются контрольных метаданных, а не статистических наблюдений. Таким же образом, как
провайдеры данных могут публиковать статистические данные, они могут публиковать также
контрольные метаданные. Структурные определения метаданных сопровождаются агентствами
способом, подобным способу, которым агентства сопровождают определения структуры данных,
структурные определении наборов данных.
Структурные определения, как данных, так и контрольных метаданных, связаны с конкретными
статистическими понятиями с их представлениями, либо текстуальными, либо закодированными и т.д.
Эти понятия заимствованы из ―схемы понятий‖. Схема понятий группирует набор понятий, дает их
определения и имена, и допускает выражение семантических взаимосвязей, когда некоторые понятия
являются конкретизацией других. Можно для одной схемы понятий использовать как структуры
данных, так и структуры контрольных метаданных. Схема понятий SDMX — это совокупность понятий.
SDMX целенаправленно не предлагает структуры для управления понятиями и понятием элемента
данных таких, какие описаны в ISO/IEC 11179-1:2004 и ISO/IEC 11179-3:2003. Однако понятие SDMX
может быть привязано путем ссылки на эквивалентную конструкцию, управляемую системой
управления понятием.
Внутренне присуще в любом статистическом обмене (и во многих действиях распространения) понятие
―соглашение по уровню услуг‖, даже если оно не формализовано или делается явно. SDMX включает
эту идею в объект, называемый ―соглашением по предоставлении услуг‖. Провайдеры данных могут
предоставить данные многим различным потокам данных. Потоки данных могут включать данные,
исходящих от более чем одного провайдера данных. Соглашения по предоставлению услуг — это
объекты, которые информируют, какие провайдеры данных поставляют какие данные в потоки данных.
Это справедливо и для потоков метаданных.
Соглашение по предоставлению услуг делает доступным набор информации:
a) график, по которому статистические данные или метаданные представляются или публикуются,
b) специальные разделы о том, какие данные или метаданные предоставляются в теоретически
возможном наборе данных (описанном определением структуры данных или определением
структуры контрольных метаданных), и
c) период времени, охватываемый статистическими данными и метаданными.
Этот набор информации называется ―ограничением‖ в информационной модели SDMX.
Краткая сводка объектов, описанных в информационной модели, включает следующее
— Набор данных: Данные организованы в дискретные наборы, которые включают отдельные
наблюдения для конкретного периода времени. Набор данных можно понимать как совокупность
сходных данных, совместно использующих структуру, которая охватывает фиксированный период
времени.
— Определение структуры данных (DSD, также известное как ключевая группа в версии 2.0 SDMX):
8 © ISO 2013 – Все права сохраняются
Каждый набор данных имеет набор структурных метаданных. Эти описания рассматриваются в
SDMX как определения структуры данных, которые включают информацию о том, какие понятия
связаны с мерами, размерностями и атрибутами ―массива‖ данных наряду с информацией о
представлении данных и связанных идентифицирующими и описательными (структурными)
метаданными. В версии 2.1 SDMX термин ―ключевая группа‖ заменяется ―определением структуры
данных ‖ (DSD) как в схемах XML, так и в информационной модели.
— Список кодов: В списках кодов перечисляется набор значений для использования в представлении
размеров. атрибутов и других структурных частей SDMX. Они могут быть дополнены другими
структурными метаданными, которые показывают, как коды организованы в иерархии.
— Схема организации: Организации и схема организации могут определяться в схеме организации.
Специальные схемы организации существуют для обслуживающего агентства, провайдера данных,
потребителя данных и организационной единицы.
— Схема категорий и категоризация: Схемы категорий образуют иерархию категорий, которые в
SDMX могут включать любой тип полезной классификации для организации данных и метаданных.
Категоризация привязывает категорию к идентифицируемому объекту. Таким способом наборы
объектов могут быть распределены по категориям. Схема статистической предметной области
определения реализуется SDMX как схема категорий.
— Схема понятий: Схема понятий — это заданный список понятий, которые используются в
определениях структуры данных и в определениях структуры метаданных. Может быть много
таких схем понятий. Может быть определено ―центральное‖ представление понятия (например,
центральный список кодов или другое представление, такое как ―дата‖). Это центральное
представление может быть переопределено в определении структуры данных или в определении
структуры метаданных, в которых используется это понятие.
— Набор метаданных: Набор контрольных метаданных — это набор информации, относящейся к
объекту в формальном представлении SDMX статистического обмена: в нем может описываться
временной график выпуска данных; в нем может описываться один тип данных в течение времени;
в нем может описываться качество данных и др. В SDMX создатели контрольных метаданных
могут взять какие-нибудь понятия, которые относятся к или связаны с сообщением, и предоставить
набор контрольных метаданных, содержащих эту информацию.
— Определение структуры метаданных: Набор контрольных метаданных также имеет набор
структурных метаданных, который описывает, как он организован. Этот набор метаданных
определяет какие понятия контрольных метаданных передаются, как эти понятия связаны друг с
другом (обычно как иерархии), как они могут представляться (как текст на естественном языке, как
закодированные значения и т.д.) и с каким типом формальных объектов SDMX они связываются.
— Определение потока данных: В SDMX наборы данных передаются и распространяются в
соответствии с определением потока данных. Определение потока данных устанавливает
определение структуры данных и может быть связано с одной или большим числом предметных
областей определения через категоризацию (это облегчает поиск данных в соответствии с
организованными схемами категорий). Ограничения в виде периодичности передачи или
подмножества возможных ключей, которые дают доступ к набору данных, могут включаться в
определение потока данных.
— Определение потока метаданных: Определение потока метаданных очень похоже на определение
потока данных, но только описывает, определяет категорию и ограничения наборов метаданных.
— Провайдер данных: Организация, которая предоставляет данные или контрольные метаданные,
называется провайдером данных.
— Соглашение о предоставлении услуг: Набор информации, которая описывает способ, которым
наборы данных и наборы метаданных предоставляются провайдером. Соглашение о
предоставлении услуг может включать ограничения таким же путем, как и определение потока
данных и метаданных. Таким образом, провайдер данных может отразить тот факт, что он
предоставляет конкретный поток данных, охватывающий конкретный набор стран и тем. Важно,
фактический источник зарегистрированных данных или метаданных подсоединяется к соглашению
о предоставлении услуг (в виде URL/ Унифицированного Указателя Ресурсов в Интернете).
Используется термин ―соглашение‖, поскольку эта информация может пониматься как основа
―соглашения об уровне услуг‖. Однако в SDMX это — информирующие метаданные для
поддержания технических систем в отличие от любого вида контрактной информации.
— Ограничение: Ограничение описывает подмножество источников данных или источников
метаданных и может также предоставлять информацию о запланированных выпусках данных и
метаданных. Они также привязаны к провайдерам данных, соглашениям о предоставлении услуг,
потокам данных, потокам метаданных, определениям структуры данных и определениям
структуры метаданных.
— Структурированное множество: Структурированное множество обеспечивает механизм
группировки структурных метаданных друг с другом для составления полного описания
взаимосвязей между конкретными связанными наборами данных и метаданных. Они могут
использоваться для отображения размеров и атрибутов друг другу, для отображения понятий, для
отображения списков кодов и для отображения схем категорий. Они могут использоваться для
описания ―массивов‖ данных, даже когда данные в массиве не используют совместно общую
размерность.
— Таксономия предоставления информации: Таксономия предоставле
...
Questions, Comments and Discussion
Ask us and Technical Secretary will try to provide an answer. You can facilitate discussion about the standard in here.
Loading comments...