Утв. и введен в действие постановлением Госстандарта РФ от 20 декабря 1993 г. N 262
Государственный стандарт РФ ГОСТ Р ИСО/МЭК 9646-4-93
"ИНФОРМАЦИОННАЯ ТЕХНОЛОГИЯ. ВЗАИМОСВЯЗЬ ОТКРЫТЫХ СИСТЕМ. МЕТОДОЛОГИЯ И ОСНОВЫ АТТЕСТАЦИОННОГО ТЕСТИРОВАНИЯ. Часть 4. РЕАЛИЗАЦИЯ ТЕСТОВ"
Information technology - Open Systems Interconnection - Conformance Testing Methodology and Framework, Part 4: Test Realization
Дата введения 1 июля 1994 г.
Введен впервые
Введение
Стандарты ГОСТ Р ИСО/МЭК 9646-1 и ГОСТ Р ИСО/МЭК 9646-2 определяют общую методологию проверки соответствия реализации спецификациям протоколов и/или синтаксисов передачи ВОС, изданных в виде международных стандартов или рекомендаций МККТТ; эти стандарты содержат также требования к разработке стандартов по аттестационному тестированию и стандартным комплектам абстрактных тестов (стандартным КАТ).
Часть ИСО/МЭК 9646-3 определяет стандартную тестовую нотацию - комбинированную древовидную и табличную нотацию (КДТН) для спецификации стандартных комплектов абстрактных тестов.
Как только стандарты по аттестационному тестированию и стандартные комплекты абстрактных тестов становятся доступны, результаты тестирования, полученные различными испытательными лабораториями, могут быть сопоставимы, если их операции основаны на одних и тех же ссылочных стандартных КАТ.
ГОСТ Р ИСО/МЭК 9646-5 содержит требования к процессу оценки соответствия с тем, чтобы результаты тестирования можно было сравнить с результатами, полученными другими испытательными лабораториями, и она может иметь широкое применение.
Настоящий стандарт касается промежуточного этапа тестирования, а именно реализации тестов. Прежде чем может начаться подготовка тестирования, должны стать доступными средства тестирования тестируемой реализации (ТР).
Исполнители тестирования - это те организации, на которые возложена ответственность за обеспечение таких средств тестирования (СТ).
Настоящий стандарт налагает требования на реализацию тестов для гарантии того, что выполнение тестовых примеров отражает поведение, определенное в ссылочных стандартных КАТ. Таким образом достигается цель тестирования.
Настоящий стандарт опубликован так же, как МККТТ, в виде рекомендации Y.293 (1991) МККТТ.
Настоящий стандарт опубликован также, как рекомендация Х.293 (1991) МККТТ.
1 Область применения
Настоящий стандарт содержит требования и руководящие материалы относительно реализации средств тестирования ТР, излагаемые в соответствии с указываемыми стандартизованными в рамках ВОС комплектами абстрактных тестов и определенными в соответствии с ГОСТ Р ИСО/МЭК 9646-2.
Примечание - Здесь предполагается использование стандартных комплектов абстрактных тестов (КАТ) согласно 3.6.31 ГОСТ Р ИСО/МЭК 9646-1.
Эти требования ограничены теми аспектами средств тестирования, которые могут быть преобразованы в функции абстрактного тестирования, определенные в ГОСТ Р ИСО/МЭК 9646-1, или которые существенно важны для надлежащего использования стандартных КАТ. Такие аспекты могут содержать средства создания журналов соответствия или развития формы ДИРПТ. Другие подробные сведения о реализации тестирующих систем и верхних тестеров не входят в предмет рассмотрения настоящего стандарта.
Вопросы приемки и установки средств тестирования не входят в предмет рассмотрения настоящего стандарта.
2 Нормативные ссылки
Нижеперечисленные стандарты содержат положения, которые путем ссылок на них в данном тексте образуют положения настоящего стандарта. В момент публикации настоящего стандарта указанные издания стандартов были действующими. Все стандарты подвергаются пересмотрам и участникам соглашений, основанных на настоящем стандарте, следует рассмотреть возможность применения самых последних изданий перечисленных ниже стандартов. Комитеты - члены МЭК и ИСО имеют списки международных стандартов, действующих на текущий момент.
ГОСТ 28906-91 (ИСО/МЭК 7498-84). Системы обработки информации. Взаимосвязь открытых систем. Базовая эталонная модель. (См. также рекомендацию Х.200 МККТТ).
ГОСТ Р ИСО/МЭК 9646-1-93. Информационная технология. Взаимосвязь открытых систем. Методология и основы аттестационного тестирования. Часть 1. Общие концепции (См. также рекомендацию Х.290 (1991) МККТТ).
ГОСТ Р ИСО/МЭК 9646-2-93. Информационная технология. Взаимосвязь открытых систем. Методология и основы аттестационного тестирования. Часть 2. Спецификация абстрактного тестового комплекта (См. также рекомендацию Х.291 (1991) МККТТ).
ГОСТ Р ИСО/МЭК 9646-5-93. Информационная технология. Взаимосвязь открытых систем. Методология и основы аттестационного тестирования. Часть 5. Требования к испытательным лабораториям и клиентам в процессе оценки соответствия (См. также рекомендацию Х.294 (1991) МККТТ).
ИСО/МЭК 9646-3-91. Информационная технология. Взаимосвязь открытых систем. Методология и основы аттестационного тестирования. Часть 3. Комбинированная древовидная и табличная нотация. (См. также рекомендацию Х.292 (1991) МККТТ)*
3 Определения
Для настоящего стандарта применимы все определения, приведенные в ГОСТ Р ИСО/МЭК 9646-1.
4 Сокращения
В настоящем стандарте используются следующие сокращения, приведенные в разделе 4 ГОСТ Р ИСО/МЭК 9646-1:
|
АСП
|
абстрактный сервисный примитив
|
|
ВОС
|
взаимосвязь открытых систем
|
|
ДИРПТ
|
дополнительная информация о реализации протокола для тестирования
|
|
ЗСРП
|
заявка о соответствии реализации протоколу
|
|
КАТ
|
комплект абстрактных тестов
|
|
КВАТ
|
комплект выбранных абстрактных тестов
|
|
КВВТ
|
комплект выбранных выполнимых тестов
|
|
КВТ
|
комплект выполнимых тестов
|
|
КДТН
|
комбинированная древовидная и табличная нотация
|
|
КПАТ
|
комплект параметризованных абстрактных тестов
|
|
КПВТ
|
комплект параметризованных выполнимых тестов
|
|
ПБД
|
протокольный блок данных
|
|
ПКН
|
пункт контроля и наблюдения
|
|
СТ
|
средства тестирования
|
|
ТОВ
|
тест основной взаимосвязи
|
|
ТР
|
тестируемая реализация
|
|
ТС
|
тестируемая система
|
5 Общее описание реализации тестов
5.1. Реализация тестов - это процесс разработки средств тестирования (СТ) тестируемых реализаций на соответствие спецификациям протоколов ВОС, который основывается на стандарте по аттестационному тестированию и на КАТ.
5.2. Средства тестирования - это совокупность оборудования и процедур, способных выполнять:
a) создание;
b) выбор;
c) параметризацию и
d) выполнение тестовых примеров в соответствии с указанным стандартным КАТ, а также вырабатывать журнал соответствия.
5.3. В процессе создания абстрактные тестовые примеры эталонного стандартного КАТ преобразуются таким образом, чтобы они могли быть выполнены в тестирующей системе.
В процессе выбора выбираются соответствующие тестовые примеры для ТР согласно содержимому ЗСРП и ДИРПТ.
В процессе параметризации параметрам выбранных тестовых примеров придаются соответствующие значения согласно содержимому ДИРПТ (и, возможно, ЗСРП).
После этого при выполнении процесса оценки соответствия ТР используются СТ, что приводит в результате к выработке журнала соответствия.
Результат процесса создания называется "комплектом выполнимых тестов" (КВТ). Он состоит из выполнимых тестовых примеров.
5.4. Могут быть созданы, но не обязательно, промежуточные формы тестовых комплектов в зависимости от того, когда происходит процесс создания.
Такие промежуточные формы получили названия:
a) КВАТ - комплект выбранных абстрактных тестов;
b) KBBT - комплект выбранных выполнимых тестов;
c) КПАТ - комплект параметризованных абстрактных тестов;
d) КПВТ - комплект параметризованных выполнимых тестов.
5.5. Из всех этих разнообразных форм только комплекты абстрактных тестов явно необходимы.
Некоторые СТ могут генерировать КПВТ автоматически из эталонных стандартных КАТ (при наличии ЗСРП и ДИРПТ) во время фактического прогона тестовых примеров. Такие СТ не проявляют в явном виде ни КВТ, ни КВВТ, ни КПВТ.
Однако всегда выполняется КПВТ.
6 Требования, относящиеся к реализации тестов
6.1 Введение
Требования, относящиеся к реализации тестов, касаются:
a) СТ как единого целого;
b) процесса создания выполнимых тестовых примеров из абстрактных;
c) средств выработки журнала соответствия;
d) развития формы ЗСРП;
e) других документов.
6.2 Требования, относящиеся к средствам тестирования
6.2.1. Средства тестирования реализаций протоколов ВОС должны обеспечиваться в контексте одного стандартного КАТ в соответствия с ГОСТ Р ИСО/МЭК 9646-2. Исполнитель теста должен использовать ту версию спецификации КАТ, которая имеет наивысший статус стандартизации (например, предпочтительнее проект международного стандарта (ПМС), чем проект предложения (ПП) или проект комитета (ПК).
СТ должны обеспечивать:
a) реализацию нижнего тестера;
b) спецификацию верхнего тестера в той степени, в какой она требуется методом абстрактного тестирования;
c) реализацию верхнего тестера для метода локального тестирования;
d) реализацию верхнего тестера для методов скоординированного и распределенного тестирования, факультативно;
e) спецификацию процедур скоординированного тестирования в соответствии с требованиями, определенными в стандартном КАТ;
f) реализацию процедур скоординированного тестирования внутри тестирующей системы для метода локального тестирования;
g) реализацию протокола административного управления тестированием внутри тестирующей системы для метода скоординированного тестирования.
[См. 7.4 ГОСТ Р ИСО/МЭК 9646-1 и 12.3 ГОСТ Р ИСО/МЭК 9646-2).]
6.2.2. СТ может содержать либо выполнимые тестовые примеры, созданные из тестовых примеров эталонного стандартного КАТ, либо средства их создания.
СТ должны быть реализованы в соответствии с семантикой тестовой нотации, выработанной в эталонном стандартном КАТ.
СТ должны обеспечить средства выбора и параметризации тестовых примеров (будь они на абстрактном или на выполнимом уровне) согласно соответствующей информации ЗСРП и ДИРПТ, предоставляемой вместе с ТР (см. 7.3 и 7.4 ГОСТ Р ИСО/МЭК 9646-5).
6.2.3. СТ должны обеспечить средства выбора тестовых примеров функциональных возможностей или поведения, упомянутых в перечне тестов основной взаимосвязи (перечень ТОВ), если таковой определен в эталонном стандартном КАТ, и должен предусмотреть средства их прогона, сначала в целом, до выполнения тестов функциональных возможностей и поведения.
СТ должны обеспечить также возможность опускать из набора тестовых примеров, выбранных для тестирования функциональных возможностей и поведения, те тестовые примеры, которые указаны в перечне ТОВ.
6.2.4 СТ должны обеспечивать возможности выполнения параметризованных выполнимых тестовых примеров, образуемых в результате выполнения процессов создания, выбора и параметризации.
6.2.5 Исполнитель теста должен составить заявку в соответствии средств тестирования эталонному стандартному КАТ, указав то подмножество КАТ, которое не обеспечивается (см. 6.3.4).
Исполнитель теста должен идентифицировать все ограничения, налагаемые СТ на выполнение теста, помимо определенных эталонным стандартом КАТ (например, ограниченные диапазоны значений, предусмотренных в ДИРПТ).
Примечание - Исполнитель теста должен отметить требования к услуге исчерпывающего тестирования, установленные в стандартном КАТ. Он может выразить пожелание разработать СТ для каждого из требуемых методов абстрактного тестирования с тем, чтобы испытательная лаборатория могла обеспечить услугу исчерпывающего тестирования.
6.2.6 СТ должны обеспечивать возможность создания журнала соответствия (см. 6.4).
6.3 Требования к созданию КВТ
6.3.1 Введение
Требования 6.3 должны относиться ко всем комплектам выполнимых тестов, включая КВВТ и КПВТ независимо от их реального наличия.
6.3.2 Соответствие эталонному стандартному КАТ
КВТ должны создаваться из одного эталонного стандартного КАТ.
Для того, чтобы КВТ соответствовал эталонному стандартному КАТ, он должен отвечать требованиям 6.3.3 - 6.3.5. Он должен отвечать также требованиям, установленным в самом эталонном: стандартном КАТ, а также в других частях многочастевого стандарта по аттестационному тестированию, если таковой применим (например, ПАУТ).
6.3.3 Соотношение между КАТ и КВТ
Каждый выполнимый тестовый пример должен представлять собой реализацию отдельного абстрактного тестового примера и должен выбираться для выполнения на индивидуальной основе.
Все последовательности тестовых событий, образующие абстрактный тестовый пример, должны быть реализуемы в выполнимом тестовом примере.
Цель тестирования и назначения вердиктов каждого абстрактного тестового примера должны обеспечиваться в соответствующем выполнимом тестовом примере.
СТ должны выполнять проверку действительности параметров ПБД, полученных из ТР, дополнительно к проверкам, определенным в абстрактном тестовом примере. Любые другие проверки, которые могла бы выполнять тестирующая система, не входят в предмет рассмотрения настоящего стандарта и не должны влиять на назначение вердиктов результатам выполнения каждого тестового примера.
Стандартный КАТ охватывает преобразование абстрактного тестового примера или примеров в позиции формы ЗСРП и ДИРПТ (см. раздел 15 ГОСТ Р ИСО/МЭК 9646-2 в КВТ.
6.3.4. Образование подмножеств КАТ
Процесс создания КВТ в общем случае приводит к созданию всех тестовых примеров эталонного стандартного КАТ. Однако может оказаться полезным создать КВТ для некоторого подмножества КАТ. Если такое подмножество создано, то исключение набора тестовых примеров должно происходить согласованно с процессом выбора тестов для ТР относительно преобразования между позициями формы ЗСРП (и ДИРПТ) и тестовыми примерами в КАТ.
Примечание - Это означает, что те тестовые примеры, которые обязательны для всех ТР, всегда будут входить в это подмножество, однако исполнитель теста может предпочесть не реализовывать те конкретные наборы тестовых примеров, которые являются факультативными или условными и, следовательно, они могут не потребоваться для некоторых конкретных классов ТР.
Таким образом, то подмножество эталонного стандартного КАТ, которое реализовано, должно быть эквивалентно одному или нескольким эквивалентным КВАТ.
6.3.5. Независимость процесса создания
В ТС процесс Создания должен приводить к одному и тому же КПВТ, выполняемому для данной ТР, независимо от того, когда происходит процесс создания относительно процессов выбора и параметризации.
Примечание - См. А.2.1 и рисунок А.1.
Применение процессов выбора и параметризации к конкретной ТР - это вопрос, за который отвечает испытательная лаборатория на этапе подготовки к тестированию.
6.4 Требования, относящиеся к журналу соответствия
Как показано в 6.2, СТ могут обеспечить возможность создания журнала соответствия.
Журнал соответствия представляет собой запись визуально читаемой информации, выработанной в результате тестовой кампании и достаточной для записи наблюдаемых результатов тестирования и проверки назначения вердиктов тестирования.
В этой информации объединены результаты наблюдений фактических событий тестирования, происходящих при прогоне КПВТ относительно ТР, с информацией, которая соотносит эти события с рассматриваемыми абстрактными тестовыми примерами.
Журнал соответствия может использоваться при выработке отчетов об аттестационном тестировании и разрешении споров и вопросов, которые могут возникнуть при выполнении или после выполнения процесса оценки соответствия.
Журнал соответствия должен содержать:
a) уникальный идентификатор журнала соответствия, который содержит время и дату начала выполнения КПВТ;
b) идентификатор СТ, дату создания, номер версии и идентификатор КВТ (при его наличии);
c) индикацию начала и окончания прогона каждого тестового примера, включая уникальную ссылку на абстрактный тестовый пример так, как определено в КАТ (например, указатель тестового примера КДТН или идентификатор теста);
d) ПБД, посылаемый нижним тестером в ТР и получаемый нижним тестером из ТР, включая запись подробной информации, содержащейся в параметрах ПБД и данных пользователя;
e) абстрактные тестовые события, определенные в соответствующем абстрактном тестовом примере; к ним относятся все абстрактные сервисные примитивы, наблюдаемые нижним тестером, все тестовые события, полученные через процедуру скоординированного тестирования нижним тестером, который содержит информацию, полученную из верхнего тестера, и идентификацию соответствующих пунктов контроля и наблюдения (ПКН);
f) запись результата каждого тестового примера; что будет либо назначение вердикта, либо ошибка абстрактного или выполнимого тестового примера, либо ненормальное завершение тестового примера;
g) отметку времени или упорядоченную последовательность всех тестовых событий, зарегистрированных нижним тестером в той последовательности, в которой они наблюдаются;
h) любую дополнительную информацию, необходимую для эталонного стандартного КАТ.
Примечание 1 - Пример h относится к случаю, когда абстрактный тестовый пример, записанный в КДТН, определяет, что информация о промежуточных результатах (в колонке "вердикт") или метки (в колонке "метка") должны быть зарегистрированы в журнале соответствия при появлении соответствующего тестового события.
Журнал соответствия должен отражать все наименования, аббревиатуры и значения с использованием терминологии и соглашений, определенных в спецификации протокола, синтаксис передачи (при его использовании) или эталонный стандартный КАТ (с предпочтением первым двум из перечисленных).
СТ должны обладать способностью вырабатывать на бумажном носителе журнал соответствия. Рекомендуется также, чтобы была доступна машиночитаемая форма журнала соответствия с эквивалентным содержимым.
Примечание 2 - Руководящие материалы по созданию журнала соответствия см. в приложении А, А.3.
6.5 Требования к развитию формы ДИРПТ
Неполная форма ДИРПТ, определенная в эталонном стандартном КАТ, должна быть развита с учетом средств тестирования. Для этого исполнитель теста должен добавить в неполную форму ДИРПТ те дополнительные вопросы, на которые необходимо дать ответы с целью подготовки СТ для конкретной ТР.
Исполнитель теста должен включить в расширенную форму ДИРПТ всю информацию, относящуюся к реализации эталонного стандартного КАТ, которая необходима клиенту для заполнения ДИРПТ.
Исполнитель теста должен обратиться к приложению С ГОСТ Р ИСО/МЭК 9646-5 и разработать расширенную форму ДИРПТ в соответствии с этим приложением.
Полученная в результате расширенная форма ДИРПТ должна быть предоставлена испытательной лаборатории с тем, чтобы она могла ввести в нее требования, определенные в 6.4.3 и приложении С к ГОСТ Р ИСО/МЭК 9646-5.
6.6 Требования, относящиеся к другой документации
СТ должны сопровождаться документацией для того, чтобы испытательная лаборатория могла выполнять операции тестирования в соответствии с эталонным стандартным КАТ и с требованиями ГОСТ Р ИСО/МЭК 9646-5 относительно информации, которая должна быть предоставлена клиенту.
Эта документация должна содержать:
a) идентификацию СТ, дату создания, номер версии и идентификацию КВТ (при его наличии);
b) наименование и номер версии международного стандарта или рекомендацию МККТТ по спецификации протокола (и, в соответствующих случаях, по определению услуг); наименование и номер версии эталонного стандартного КАТ в сочетании с перечнем принятых технических поправок;
c) описание СТ (см. руководящие материалы в А.4);
d) спецификацию процедур скоординированного тестирования и верхнего тестера в соответствии с требованиями эталонного стандартного КАТ;
e) тестовые примеры (при наличии таковых), которые не могут быть выполнены вследствие ограничений СТ.
Примечание - Такие ограничения должны быть исключениями и могут иметь место только в случаях, когда конкретные тестовые примеры не могут быть просто реализованы;
f) описание тех процедур выполнения тестов, которые должны выполняться испытательной лабораторией и/или клиентом и которые специфичны для данных СТ;
g) заявка о соответствии эталонному стандартному КАТ;
h) заявка о согласованности с настоящим стандартом;
i) руководящие материалы по интерпретации журнала соответствия.
Если исполнитель теста обнаруживает ошибку в каком-либо абстрактном тестовом примере или обнаруживает какой-либо абстрактный тестовой пример, который ориентирован на ошибочные или неоднозначные требования в спецификации протокола, он должен идентифицировать такие тестовые примеры в документации сопроводительной для СТ.
Примечание - Исполнители тестов должны также направлять в соответствующий комитет ИСО/МЭК или МККТТ извещения об ошибках, которые идентифицируют проблему.
7 Согласованность
Средства тестирования ТР согласуются с настоящим стандартом только в том случае, если выполнимы все требования раздела 6.
Примечание - Основные способы проверки того, что СТ реализуют четыре функции, связанные с реализацией тестов (т.е. создание, выбор, параметризация и выполнение), содержатся в журнале соответствия.
_____________________________
* До прямого применения данного документа в качестве ГОСТ распространение его осуществляет секретариат ТК 22 "Информационная технология".
Приложение А
(справочное)
Дополнительные руководящие материалы по реализации тестов
А.1 Дополнительные руководящие материалы по СТ
A.1.1 Введение
В данном приложении содержатся руководящие материалы о способах реализации в ТС трех абстрактных функций тестирования, определенных в 7.4 ГОСТ Р ИСО/МЭК 9646-1, а именно: нижнего тестера, верхнего тестера и процедур скоординированного тестирования.
Примечание - Тестирующая система должна обладать способностью адаптироваться к различным СТ.
А.1.2 Реализация нижнего тестера
Для каждого метода абстрактного тестирования, определенного в ГОСТ Р ИСО/МЭК 9646-2, основным объектом для координации и контроля тестирования является нижний тестер. Функции нижнего тестера состоят и том, чтобы
a) прогонять выполнимые тестовые примеры, которые образуются из абстрактных тестовых примеров;
b) вырабатывать индикации вердиктов в соответствии с эталонным стандартным КАТ;
c) контролировать и наблюдать тестовые события, которые входят в абстрактный тестовый пример (к этим событиям относятся генерация и прием ПБД, абстрактные сервисные примитивы, генерация и прием ПБД административного управления тестированием, события, относящиеся к процедурам скоординированного тестирования).
Нижний тестер представляет собой часть независимой реальной системы, рассматриваемой как тестирующая система. Как данная тестирующая система, так и ТС обеспечивают нижерасположенные услуги ниже самого нижнего уровня протоколов в ТР.
А.1.2.2 Логические объекты ВОС в нижнем тестере могут назначаться различными способами, например:
a) кодер / декодер - просто кодирует АСП и ПБД в соответствии с потребностями прогоняемого теста, не являясь реализацией рассматриваемого протокола;
b) расширенная реализация - реализация рассматриваемого протокола, смодифицированная добавлением генератора ошибок, модуля конфигураций или другого подобного устройства для того, чтобы можно было гарантировать, что недействительные или необычные АСП или ПБД будут генерироваться в соответствии с потребностями прогоняемого тестового примера.
А.1.3 Реализация верхнего тестера
СТ обеспечивают реализацию или спецификацию функций верхнего тестера в соответствии с методом абстрактного тестирования, используемым в эталонном стандартном КАТ.
Верхний тестер может принимать различные формы, например:
a) программная реализация (которая может быть, но не обязательно, независимой от построения ТС или ТР), содержащаяся в ТС над ТР, с регионом преобразований, который сопрягается с локальной реализацией АСП;
b) человек-оператор - функции верхнего тестера выполняет физическое лицо, имеющее доступ к интерфейсу с пользователем, который отображается на сервисную границу ТР, имеет доступ к реализации соответствующих АСП и манипулирует ими;
с) концептуальный верхний тестер, т.е. для реализации функций верхнего тестера используются верхние уровни ТС без использования каких-либо дополнительных механизмов (этот вид верхнего тестера может использоваться только для реализации метода удаленного абстрактного тестирования).
А.1.4 Реализация процедур скоординированного тестирования
Существует множество способов взаимодействия нижнего и верхнего тестера, например, с синхронизацией или без, с использованием канала обмена данными дополнительно к каналу, используемому между нижним тестером и ТР или без такового, и др.
Можно идентифицировать несколько общих типов реализации:
a) человек-оператор - функции верхнего тестера выполняет физическое лицо, имеющее доступ к интерфейсу с пользователем, который отображается на сервисную границу ТР; этот оператор осуществляет синхронизацию работы нижнего тестера, ход которой может быть обнаружен различными средствами, например, наборам пробных сообщений от интерфейса пользователя нижнего тестера;
b) интерпретатор сценария - верхний тестер реализуется удаленным интерпретатором сценария; он воспринимает его инструкции из генерируемых файлов в сочетании с установкой нижнего тестера и с регионом преобразований между ним и сервисной границей ТР;
c) протокол административного управления тестированием - верхний тестер синхронизирован с нижним тестером с помощью протокола административного управления тестированием, который использует услуги, предоставляемые ТР и нижерасположенными уровнями, а также соответствующие функции нижнего тестера.
А.2 Дополнительные руководящие материалы по процессу создания КВТ
А.2.1 Общее описание
Процесс создания может происходить в следующих случаях:
a) во время реализации теста;
b) во время установки СТ испытательной лабораторией;
c) на стадии подготовки теста, чередующейся с процессами выбора и параметризации, для конкретной ТР;
d) во время операций тестирования в результате интерпретации или компиляции эталонного КАТ.
На рисунке А.1 показаны различные возможности комбинирования процессов создания, выбора, параметризации и выполнения теста, которые описаны в разделе 5 и требования к которым описаны в разделе 6.
А.2.2 Исходные данные к процессу создания тестов
Исполнитель теста должен рассмотреть следующие исходные данные:
a) эталонный стандартный КАТ для конкретного протокола ВОС, основанный на конкретном методе абстрактного тестирования и содержащий спецификацию процедур скоординированного тестирования;
b) форма ЗСРП для протокола ВОС;
c) неполная форма ДИРПТ, обычно прилагаемая к эталонному стандартному КАТ.
А.2.3 Обслуживание КВТ
Как только возможность выполнения КПВТ будет реализована в СТ и СТ начнут использоваться, к исполнителю теста могут поступать из испытательной лаборатории отчеты о возникающих проблемах. Проблемы могут возникать с процедурами выполнения или относительно соответствия эталонному стандартному КАТ. В таких ситуациях исполнитель теста должен обеспечивать соответствующие коррекции.
Исполнитель теста должен также обеспечивать обновление СТ при каждом обновленки эталонного стандартного КАТ.
Рисунок А.1 Процесс создания/выполнения ПКВТ
А.3 Дополнительные руководящие материалы по журналу соответствия
Для выработки журнала соответствия необходимо следующее:
a) регистрировать фактические текущие события в последовательности их появления в процессе выполнения КПВТ;
b) анализировать эту информацию относительно соответствующих выбранных и параметризованных тестовых примеров, преобразуя фактические тестовые события в абстрактные тестовые события и регистрируя всю другую необходимую информацию.
Требования предъявляются только к информации, подлежащей записи в журнал соответствия, и к способу ее представления.
Анализ упорядоченного перечня фактических тестовых событий может быть встроен в каждый тестовый пример и выполняться после выполнения последнего либо он может выполняться как отдельный процесс после выполнения КПВТ либо он может быть выполнен некоторым сочетанием этих методов. Способы выполнения этого анализа и времена его выполнения относительно времен выполнения КПВТ не стандартизованы.
Как определено в 6.4, СТ должны обладать способностью вырабатывать журнал соответствия на бумажном носителе. Рекомендуется также предусмотреть машинно-читаемый журнал соответствия эквивалентного содержания.
Процесс создания журнала соответствия можно концептуально показать на примере рисунка А.2.
Рисунок А.2 - Создание журнала соответствия
Примечание - Необходимо, чтобы испытательная лаборатория сохраняла, как минимум, либо упорядоченный перечень фактических событий тестирования, либо машинно-читаемую версию журнала соответствия.
А.4 Дополнительные руководящие материалы по документации
А.4.1 Введение
Помимо соблюдения требований, определенных в 6.4 и 6.5, рекомендуется подготовить следующие документы:
a) информацию о тестирующей системе;
b) описание СТ;
c) информацию о клиенте испытательной лаборатории;
d) рабочие инструкции испытательной лаборатории.
А.4.2 Документ "Информация о тестирующей системе"
СТ приспособлены к конкретной тестирующей системе. Этот документ должен содержать следующую информацию, относящуюся к данной тестирующей системе:
а) оборудование (тестирующей системы);
b) наименование и номер версии операционной системы (тестирующей системы);
c) наименование и номер версии нижнего тестера;
d) наименование и номер версии верхнего тестера (при его наличии);
e) оборудование и/или процедуры, необходимые для связи нижнего тестера с ТР для целей тестирования (т.е. (N-1)-услуга);
f) оборудование и/или процедуры, необходимые для связи верхнего тестера (при его наличии) с ТР для целей тестирования;
g) наименование, место расположения и контактная информация организации, отвечающей за обслуживание СТ и КАТ и выдачу консультаций по ним.
А.4.3 Документ "Описание средств тестирования"
Этот документ должен содержать описание следующих аспектов СТ, относящихся к эталонному стандартному КАТ:
a) нижний тестер: описание нотации выполнимого тестирования и ее преобразование в нотацию абстрактного тестирования (например, в КДТН). Описание способов контроля, наблюдения и хранения АСП и демонстрация того, что выбранный метод реализует правила упорядочения, низводящие к абстрактным тестовым примерам;
b) верхний тестер: описание способов контроля, наблюдения и хранения АСП (за исключением метода удаленного тестирования), показывающие степень соблюдения требований к функциям верхнего тестера;
c) координация тестирования описание преобразования процедур скоординированного тестирования: в их реализацию; требования к ним определены в эталонном стандартном КАТ;
d) процесс выбора: описание использования ЗСРП и ДИРПТ при выборе абстрактных тестовых примеров, пригодных для тестирования ТР;
e) процесс параметризации: описание использования ЗСРП и ДИРПТ в параметризованных выполнимых тестовых примерах при тестировании ТР;
f) средства выработки журнала соответствия.
А.4.4 Документ "Информация для клиента испытательной лаборатории"
В этом документе исполнитель теста должен обеспечить следующую информацию, позволяющую испытательной лаборатории информировать клиента о степени готовности ТС для тестирования:
a) верхний тестер: если этот компонент предусмотрен - это описание способа отображения его интерфейса на соответствующую реализацию сервисной границы, любые предположения о реализации определения услуг, либо о функциональных возможностях или ресурсах, доступных в ТС; если же верхний тестер не предусмотрен, то это описание того, каким образом следует охватить его реализацию; такое описание содержит протокол административного управления тестированием, при его наличии;
b) координатор тестирования: что должен делать клиент для реализации процедур скоординированного тестирования - описание способа выполнения любой ручной координации взаимодействия между ТС и нижним тестером, при ее необходимости, - любая соответствующая информация о синхронизации, например, ожидаемые рабочие параметры протокола административного управления тестированием;
с) нижерасположенные услуги: указать, что клиент должен обеспечить достаточно надежную (N-1)-услугу и, по возможности, пояснить, каким образом этого можно достичь (не обращаясь к конкретному компьютеру).
А.4.5 Документ "Рабочие инструкции испытательной лаборатории"
В этом документе исполнитель теста должен предусмотреть информацию, которая может стать пособием и руководящим материалом для испытательной лаборатории при выполнении тестирования с помощью СТ, диагностике проблем и повторном прогоне тестов в случае необходимости. Сюда может относиться:
а) подготовка тестирования: способ использования ЗСРП и ДИРПТ для выполнения процессов выборки и параметризации тестов с помощью СТ;
b) выполнение тестирования: описание процесса прогона тестов в нижнем тестере и анализа результатов;
c) контроль выполнения: определение степени детализации контроля при выполнении тестовых примеров; рабочие инструкции должны описывать, каким образом выполняются тестовые примеры и, тем самым, косвенно определять количество тестовых примеров, которые могут быть выполнены в виде одной исполняемой единицы; крайним случаем является наличие одной единственной команды на всю тестовую кампанию (тесты основной взаимосвязи, тесты функциональных возможностей и тесты поведения); другой крайний случай - наличие команды на каждый отдельный шаг тестирования в каждом отдельном тестовом примере КВТ;
d) создание журнала соответствия; контроль его создания, возможность обратного отображения журнала соответствия на стандартные тестовые примеры в спецификации эталонного КАТ;
e) верхний тестер; описание любых исходных доверительных тестов, подлежащих выполнению на нижнем тестере и способа получения хранимых тестовых событий из верхнего тестера;
f) процедуры скоординированного тестирования: описание ручного способа осуществления координации между нижним и верхним тестерами в случае необходимости.
— Все документы — ГОСТы — ГОСТ Р ИСО/МЭК 9646-4-93 ИНФОРМАЦИОННАЯ ТЕХНОЛОГИЯ. ВЗАИМОСВЯЗЬ ОТКРЫТЫХ СИСТЕМ. МЕТОДОЛОГИЯ И ОСНОВЫ АТТЕСТАЦИОННОГО ТЕСТИРОВАНИЯ. Часть 4. РЕАЛИЗАЦИЯ ТЕСТОВ
Городом с самыми дешевыми квартирами в новостройках оказался Воронеж
Аналитик Гутман: период с мая по июль является лучшим периодом для продажи дачи
«МК»: в России не отменят льготную ипотеку
Аренда квартир в Москве подешевела на 10 %
Вице-премьер Хуснуллин: ставка по ипотеке должна быть пять процентов