ar-net.ru Примечание - См. А.2.1 и рисунок А.1.
Применение процессов выбора и параметризации к конкретной ТР - это вопрос, за который отвечает испытательная лаборатория на этапе подготовки к тестированию.
6.4 Требования, относящиеся к журналу соответствия
Как показано в 6.2, СТ могут обеспечить возможность создания журнала соответствия.
Журнал соответствия представляет собой запись визуально читаемой информации, выработанной в результате тестовой кампании и достаточной для записи наблюдаемых результатов тестирования и проверки назначения вердиктов тестирования.
В этой информации объединены результаты наблюдений фактических событий тестирования, происходящих при прогоне КПВТ относительно ТР, с информацией, которая соотносит эти события с рассматриваемыми абстрактными тестовыми примерами.
Журнал соответствия может использоваться при выработке отчетов об аттестационном тестировании и разрешении споров и вопросов, которые могут возникнуть при выполнении или после выполнения процесса оценки соответствия.
Журнал соответствия должен содержать:
a) уникальный идентификатор журнала соответствия, который содержит время и дату начала выполнения КПВТ;
b) идентификатор СТ, дату создания, номер версии и идентификатор КВТ (при его наличии);
c) индикацию начала и окончания прогона каждого тестового примера, включая уникальную ссылку на абстрактный тестовый пример так, как определено в КАТ (например, указатель тестового примера КДТН или идентификатор теста);
d) ПБД, посылаемый нижним тестером в ТР и получаемый нижним тестером из ТР, включая запись подробной информации, содержащейся в параметрах ПБД и данных пользователя;
e) абстрактные тестовые события, определенные в соответствующем абстрактном тестовом примере; к ним относятся все абстрактные сервисные примитивы, наблюдаемые нижним тестером, все тестовые события, полученные через процедуру скоординированного тестирования нижним тестером, который содержит информацию, полученную из верхнего тестера, и идентификацию соответствующих пунктов контроля и наблюдения (ПКН);
f) запись результата каждого тестового примера; что будет либо назначение вердикта, либо ошибка абстрактного или выполнимого тестового примера, либо ненормальное завершение тестового примера;
g) отметку времени или упорядоченную последовательность всех тестовых событий, зарегистрированных нижним тестером в той последовательности, в которой они наблюдаются;
h) любую дополнительную информацию, необходимую для эталонного стандартного КАТ.
Примечание 1 - Пример h относится к случаю, когда абстрактный тестовый пример, записанный в КДТН, определяет, что информация о промежуточных результатах (в колонке "вердикт") или метки (в колонке "метка") должны быть зарегистрированы в журнале соответствия при появлении соответствующего тестового события.
Журнал соответствия должен отражать все наименования, аббревиатуры и значения с использованием терминологии и соглашений, определенных в спецификации протокола, синтаксис передачи (при его использовании) или эталонный стандартный КАТ (с предпочтением первым двум из перечисленных).
СТ должны обладать способностью вырабатывать на бумажном носителе журнал соответствия. Рекомендуется также, чтобы была доступна машиночитаемая форма журнала соответствия с эквивалентным содержимым.
Примечание 2 - Руководящие материалы по созданию журнала соответствия см. в приложении А, А.3.
6.5 Требования к развитию формы ДИРПТ
Неполная форма ДИРПТ, определенная в эталонном стандартном КАТ, должна быть развита с учетом средств тестирования. Для этого исполнитель теста должен добавить в неполную форму ДИРПТ те дополнительные вопросы, на которые необходимо дать ответы с целью подготовки СТ для конкретной ТР.
Исполнитель теста должен включить в расширенную форму ДИРПТ всю информацию, относящуюся к реализации эталонного стандартного КАТ, которая необходима клиенту для заполнения ДИРПТ.
Исполнитель теста должен обратиться к приложению С ГОСТ Р ИСО/МЭК 9646-5 и разработать расширенную форму ДИРПТ в соответствии с этим приложением.
Полученная в результате расширенная форма ДИРПТ должна быть предоставлена испытательной лаборатории с тем, чтобы она могла ввести в нее требования, определенные в 6.4.3 и приложении С к ГОСТ Р ИСО/МЭК 9646-5.
6.6 Требования, относящиеся к другой документации
СТ должны сопровождаться документацией для того, чтобы испытательная лаборатория могла выполнять операции тестирования в соответствии с эталонным стандартным КАТ и с требованиями ГОСТ Р ИСО/МЭК 9646-5 относительно информации, которая должна быть предоставлена клиенту.
Эта документация должна содержать:
a) идентификацию СТ, дату создания, номер версии и идентификацию КВТ (при его наличии);
b) наименование и номер версии международного стандарта или рекомендацию МККТТ по спецификации протокола (и, в соответствующих случаях, по определению услуг); наименование и номер версии эталонного стандартного КАТ в сочетании с перечнем принятых технических поправок;
c) описание СТ (см. руководящие материалы в А.4);
d) спецификацию процедур скоординированного тестирования и верхнего тестера в соответствии с требованиями эталонного стандартного КАТ;
e) тестовые примеры (при наличии таковых), которые не могут быть выполнены вследствие ограничений СТ.
Примечание - Такие ограничения должны быть исключениями и могут иметь место только в случаях, когда конкретные тестовые примеры не могут быть просто реализованы;
f) описание тех процедур выполнения тестов, которые должны выполняться испытательной лабораторией и/или клиентом и которые специфичны для данных СТ;
g) заявка о соответствии эталонному стандартному КАТ;
h) заявка о согласованности с настоящим стандартом;
i) руководящие материалы по интерпретации журнала соответствия.
Если исполнитель теста обнаруживает ошибку в каком-либо абстрактном тестовом примере или обнаруживает какой-либо абстрактный тестовой пример, который ориентирован на ошибочные или неоднозначные требования в спецификации протокола, он должен идентифицировать такие тестовые примеры в документации сопроводительной для СТ.
Примечание - Исполнители тестов должны также направлять в соответствующий комитет ИСО/МЭК или МККТТ извещения об ошибках, которые идентифицируют проблему.
7 Согласованность
Средства тестирования ТР согласуются с настоящим стандартом только в том случае, если выполнимы все требования раздела 6.
Примечание - Основные способы проверки того, что СТ реализуют четыре функции, связанные с реализацией тестов (т.е. создание, выбор, параметризация и выполнение), содержатся в журнале соответствия.
_____________________________
* До прямого применения данного документа в качестве ГОСТ распространение его осуществляет секретариат ТК 22 "Информационная технология".
Приложение А
(справочное)
(справочное)
Дополнительные руководящие материалы по реализации тестов
А.1 Дополнительные руководящие материалы по СТ
A.1.1 Введение
В данном приложении содержатся руководящие материалы о способах реализации в ТС трех абстрактных функций тестирования, определенных в 7.4 ГОСТ Р ИСО/МЭК 9646-1, а именно: нижнего тестера, верхнего тестера и процедур скоординированного тестирования.