Опубликован: 17.05.2012 | Уровень: для всех | Доступ: платный
Лекция 10:

Подтверждение, тестирование и оценка услуг на этапе Внедрения. Управление знаниями

< Лекция 9 || Лекция 10: 12 || Лекция 11 >
Аннотация: Процессы и деятельности в рамках этапа Внедрения услуг: цель, входы и выходы, основные деятельности и ключевые показатели эффективности. В лекции рассматриваются следующие процессы: Подтверждение и тестирование услуг, Оценка и Управление знаниями.

10.1. Подтверждение и тестирование услуг

Подтверждение(Validation) - деятельность, которая гарантирует, что новая или измененная услуга, процесс, план или другой результат отвечает нуждам бизнеса. Подтверждение гарантирует, что требования бизнеса удовлетворены, даже если они могли измениться по отношению к исходному результату проектирования.

Подтверждение и тестирование услуг (Service Validation and Testing) - процесс, ответственный за подтверждение и тестирование новой или измененной услуги. Подтверждение и тестирование услуг удостоверяет, что услуга соответствует ее спецификации проектирования и будет отвечать потребностям бизнеса[1].

Если не протестировать услуги корректно, при их передаче в промышленную эксплуатацию вырастет количество:

  • инцидентов, связанных со сбоями элементов услуг и несовпадениями между прогнозами и практикой;
  • количество звонков и обращений в сервис-деск, вызванных тем, что услуги не функционируют должным образом;
  • проблем и ошибок, которые труднее диагностировать в процессе эксплуатации;
  • издержек, так как ошибки сложнее и дороже исправлять в процессе эксплуатации, чем в процессе тестирования;
  • услуг, которые не могут использоваться эффективно пользователями и предоставлять им желаемую ценность.

Основные цели процесса Подтверждения и тестирования услуг:

  • планирование и последующая реализация процессов тестирования и подтверждения, которые представят объективные доказательства того, что услуги предоставляют заявленную ценность заказчикам, пользователям и инвесторам;
  • оценка качества релиза и его компонентов;
  • идентификация, оценка и улаживание проблем, ошибок и рисков в процессе Внедрения.

Таким образом, Подтверждение и тестирование услуг позволяет удостовериться, что услуга сможет предоставлять ценность заказчикам и их бизнесу.

Услуга определяется пакетом услуг, который может состоять из нескольких пакетов уровней услуг (SLP) и компонентов, которые в свою очередь также могут быть услугами, например, поддерживающими. SLP определяет уровень полезности и качества, которые должны предоставлять услуги, и является основным входом процесса Подтверждения и тестирования услуг. Дизайн (проект) услуги зависит от того, где и как она будет использоваться. Атрибуты услуги характеризуют ее форму и функциональность в контексте перспективы использования. Таким образом, SLP определяет совокупность требований к услугам, а также набор ограничений для их использования. Процесс Подтверждения и тестирования услуг должен определить возможности устранения ограничений, определенных на этапе Проектирования, и проверить их корректность.

Прежде чем начинать тестирование, необходимо сформировать стратегию тестирования. Стратегия тестирования определяет подход к организации тестирования и обработке его результатов. Она может применяться ко всей организации, набору услуг или отдельной услуге. Каждая стратегия должна согласовываться с инвесторами, так как они выделяют деньги на ее реализацию.

Содержание стратегии тестирования:

  • цели и задачи тестирования;
  • контекст;
  • стандарты, требования законов и регуляторов;
  • контракты и соглашения;
  • охват и организация:
    • команды поставщика услуг;
    • организация тестирования;
    • третьи стороны, стратегические партнеры, поставщики;
    • бизнес-единицы и их месторасположение;
    • пользователи и заказчики.
  • процесс тестирования:
    • управление и контроль тестированием - запись, мониторинг прогресса, ведение отчетности;
    • планирование и оценка тестирования;
    • действия в рамках тестирования - планирование, реализация и документирование тестов и их результатов.
  • метрики тестирования и улучшения
  • идентификация объектов тестирования:
    • пакет услуг;
    • пакет уровня услуг;
    • модель услуг, отображающая структуру и динамику развития услуг;
  • план эксплуатации услуг;
  • планы сервис-менеджмента:
    • критические элементы, на которых необходимо сконцентрировать тестирование;
    • месторасположение бизнес-единиц, на которых будет осуществляться тестирование.
  • интерфейсы поставщика услуг;
  • подход:
    • выбранная модель тестирования;
    • уровни тестирования;
    • подходы к тестированию;
    • степень независимости реализации, оценки и анализа тестирования;
    • повторное использование - опыт, практика, знания и результаты тестирований в прошлом;
    • распределение по времени;
    • разработка и повторное использование проектов, инструментов, сценариев и данных для тестирования;
    • контроль изменений и исправление ошибок;
    • система измерения.
  • критерии:
    • приема/отклонения;
    • входа и выхода для каждой стадии тестирования;
    • остановки или повторного запуска тестирования.
  • требования к людям:
    • роли и ответственности;
    • составление расписания тренингов для персонала;
    • требования к степени вовлеченности заинтересованных лиц - поставщиков услуг, поставщиков, заказчиков, пользователей.
  • требования к среде:
    • среды тестирования, которые будут использованы, их расположение, организация и техническое оснащение;
    • требования к каждой среде тестирования;
    • планирование и ввод в эксплуатацию сред тестирования.
  • результаты:
    • обязательная и опциональная документация;
    • планы тестирования;
    • спецификации тестирования - процедуры, проект, обоснование тестирования;
    • результаты тестирования и отчеты;
    • проверка отчетов;
    • суммарные отчеты по тестированию.

Модель тестирования включает в себя план тестирования, то, что должно быть протестировано и сценарий тестирования каждого элемента. Сценарии тестирования определяют условия тестирования, цикл тестирования и результаты, которые должны быть получены.

Таблица 10.1 . - Примеры моделей тестирования
Модель тестирования Результат/цель тестирования Условия, на которых основано тестирование
Тестирование контрактов Заказчик может использовать услугу с целью получения ценности Требования контрактов
Модель тестирования требований к услугам Поставщик услуг может предоставлять услугу с характеристиками, которые требует заказчик Требования к услугам и Критерии приемки услуг
Модель тестирования уровня услуг Поставщик услуг предоставляет услугу с заданным уровнем услуг, то есть тестирование времени ответа и исправления ошибок, доступности, вспомогательных услуг Требования уровня услуг, SLA, OLA
Модель тестирования услуги Поставщик услуг способен предоставлять, сопровождать и управлять новой или измененной услугой с использованием модели услуг, включающей в себя модель ресурсов, модель затрат, модель прогресса, модель мощностей и производительности и т.п. Модель услуг
Модель тестирования инсталляции Команда развертывания, инструменты и процедуры могут инсталлировать пакет релизов в целевую среду в заданных временных рамках Проект и план релизов и развертывания
Модель тестирования верификации развертывания Развертывание завершено успешно, все услуги и конфигурации "на своих местах" и соответствуют критериям качества Тесты и проверки текущего состояния активов и конфигураций

Существует множество подходов к тестированию. Они могут комбинироваться или использоваться по отдельности в зависимости от того, что конкретно тестируется. Например:

  • обзор документации;
  • моделирование и измерение - подходит для тестирования модели услуг и плана эксплуатации;
  • подход, основанный на рисках - концентрируется на областях повышенного риска, например, критичных для бизнеса услугах;
  • подход, основанный на проверке соответствия стандартам;
  • подход, основанный на опыте - использование экспертов в конкретной области для руководства тестированием;
  • симуляция;
  • тестирование по сценариям;
  • разыгрывание ролей;
  • макетирование;
  • тестирование в лабораторных условиях;
  • регрессивное тестирование;
  • пилотирование в отдельном помещении;
  • пилотирование в среде промышленной эксплуатации[16].

Чтобы оптимизировать использование ресурсов в рамках тестирования, необходимо расставить приоритеты тестирования в зависимости от значимости услуги для бизнеса, влияния услуги и рисков, ассоциированных с ней.

Существуют разные типы тестирования. Рассмотрим некоторые из них:

  • тестирование структуры услуги и требований к ней. Проверка атрибутов услуг в контексте контрактов, компонентов услуг и поддерживающих ее активов на совместимость;
  • тестирование гарантии. Как уже говорилось в предыдущих лекциях, пользователи видят и измеряют ценность услуги в двух составляющих - гарантии и полезности. При этом для каждой услуги определяются четкие показатели гарантии. Эта четкость позволяет провести тестирование гарантии или того, что услуга подходит для использования. В рамках тестирования гарантии могут проводиться:
    • тестирование доступности;
    • тестирование мощности;
    • тестирование непрерывности;
    • тестирование безопасности.
  • тестирование простоты использования услуги используется, как правило, для организации работы потенциальных пользователей услуги с ограниченными возможностями, например, глухонемых или дальтоников;
  • тестирование соответствия контрактам и требованиям регуляторов. Тестирование проверяет, что все критерии контрактов и требования регуляторов выполнены и удовлетворены;
  • тестирование Управления услугами - тестирование процессов в рамках Управления услугами;
  • операционное тестирование - включает в себя множество тестов, зависящих от типа услуги. Типичные тесты включают:
    • нагрузочные тесты и стресс-тесты - проверяют способность услуги работать на требуемом уровне на доступных мощностях. В качестве мощностей может рассматриваться полоса пропускания сети, ресурсы сервис-деска, доступные лицензии, мощность процессора, доступная память и т.п.;
    • тестирование безопасности - все услуги должны быть рассмотрены со стороны их влияния на аспекты безопасности организации;
    • тестирование восстанавливаемости - тестирование плана восстановления, который должен быть разработан для каждой услуги.
  • регрессивное тестирование - такое тестирование повторяет успешные тесты и сравнивает вновь полученные значения с предыдущими. Оно позволяет протестировать услуги и их компоненты, которые раньше работали без сбоев и ошибок.

Основные деятельности в рамках тестирования схематически показаны на рис. 10.1.

Деятельности в рамках тестирования

увеличить изображение
Рис. 10.1. Деятельности в рамках тестирования

Не все деятельности в рамках тестирования выполняются последовательно, многие могут выполняться параллельно.

  1. Управление тестированием. Управление тестированием включает в себя следующие действия:
    • планирование ресурсов для тестирования;
    • распределение что и когда должно тестироваться;
    • управление инцидентами, ошибками, проблемами, рисками;
    • проверка того, что известные ошибки и документация обработаны;
    • отслеживание прогресса и сбор данных от обратной связи с различными этапами тестирования;
    • осуществление незначительных изменений для уменьшения ошибок в промышленной эксплуатации;
    • фиксация базового состояния конфигураций;
    • тестирование набора метрик, анализ, ведение отчетности и управление.

    Метрики тестирования используются для оценки деятельностей в рамках тестирования. Они позволяют персоналу, ответственному за тестирование, контролировать прогресс и успешность тестирования.

  2. Планирование и проектирование тестирования

    Планирование и проектирование тестирования рассматривает следующие вопросы:

    • обеспечение ресурсами;
    • программное, аппаратное обеспечение, персонал и другие мощности;
    • необходимые ресурсы со стороны бизнеса/заказчиков;
    • поддерживающие услуги;
    • определение дат контрольных точек;
    • согласованное время предоставления результатов тестирования;
    • точка и время приемки;
    • финансовые требования.
  3. Проверка плана и проекта тестирования контролирует то, что:
    • модель тестирования предоставляет адекватные и подходящие тесты, покрывающие все риски, связанные с услугой;
    • модель тестирования покрывает все ключевые аспекты интеграции и интерфейсов;
    • сценарии тестирования точные и завершенные.
  4. Подготовка среды тестирования, в том числе фиксирование базового состояния для начала тестирования.
  5. Осуществление тестирования - проведение тестов с использованием ручных или автоматизированных процедур. Если тестирование провалилось, причины должны быть документированы. Тестирование должно проводиться в соответствии с принятыми планами и стратегиями тестирования.
  6. Достижение критериев выхода и формирование отчета

    Результаты тестирования должны быть сравнены с прогнозируемыми. Они могут быть интерпретированы в терминах "прием/отклонение" тестирования; рисков для бизнеса или поставщика; изменении спроектированной ценности, вызванное увеличением издержек или уменьшением выгоды от использования услуги. По результатам тестирования формируется итоговый отчет.

  7. завершение тестирования.

Входами процесса Подтверждения и тестирования услуг являются:

  • пакет услуг;
  • Пакет уровня услуг (SLP);
  • интерфейсы поставщика услуг;
  • проектная документация (SDP);
  • планы релизов и развертывания;
  • критерии приемки;
  • Запросы на изменения.

Основными выходами процесса Подтверждения и тестирования услуг являются:

  • формирование базового состояния конфигураций для проведения тестирования;
  • осуществляемые тесты;
  • результаты этих тестов;
  • анализ результатов - сравнение реальных и прогнозируемых данных, анализ выявленных в ходе тестирования рисков.

Ключевые показатели производительности процесса Подтверждения и тестирования услуг:

  1. первостепенные показатели отражают ценность для бизнеса и заказчиков:
    • раннее подтверждение того, что услуга сможет предоставлять предсказанную ценность;
    • уменьшение негативного влияния ошибок и инцидентов в промышленной эксплуатации;
    • более эффективное использование ресурсов;
    • уменьшение задержек в тестировании, которые влияют негативно на бизнес;
    • улучшение понимания новой или измененной услуги;
    • четкое понимание ролей и ответственностей, относящихся к новой или измененной услуге;
    • затраты и ресурсы, необходимые от пользователей и заказчиков.
  2. второстепенные показатели - внутренние по отношению к поставщику услуг. Эти показатели отражают эффективность и результативность тестирования:
    • объем работ и стоимость настройки среды тестирования;
    • объем работ для нахождения дефектов;
    • уменьшение повторяющихся ошибок - достигается за счет обратной связи тестирования с проектированием и внедрением. Благодаря анализу результатов тестирования ошибки исключаются из будущих релизов;
    • уменьшение количества ошибок/дефектов на поздних стадиях тестирования и в процессе производства;
    • повторное использование данных тестирований;
    • количество ошибок на каждой стадии жизненного цикла;
    • количество и процентное соотношение ошибок, которые были обнаружены в ходе тестирования;
    • инциденты, найденные в ходе тестирования, как процент от общего количества инцидентов, произошедших в ходе эксплуатации;
    • количество известных ошибок, задокументированных на ранних стадиях тестирования.
< Лекция 9 || Лекция 10: 12 || Лекция 11 >
Александр Колотов
Александр Колотов

Прошу вас уточнить по курсу ITIL. IT Service Management по стандартам V.3.1 вопрос о количестве версий ITIL.
Судя по названию и по материалу лекции версий 3. По факту версий 4. Т.е. как ответчать как правильно (4) или как по курсу который чуть устарел? Система оценки скорее всего будет согласно материала лекции.

Грета Березовская
Грета Березовская
Николай Растегаев
Николай Растегаев
Россия, Ижевск
Артем Кравченко
Артем Кравченко
Россия, МИИТ, 2010