Testing Package
Testing Package (тестовый пакет) — совокупность взаимосвязанных arteфактов тестирования (тест-кейсов, сценариев, данных, отчётов и инструментов), используемая для комплексной проверки качества программного продукта на всех стадиях его жизненного цикла[1].
Общие сведения
| Testing Package | |
|---|---|
| англ. Testing Package | |
| Область использования | Тестирование программного обеспечения |
Определение
Testing Package применяется в нескольких взаимодополняющих значениях:
- Группа разработанных тест-кейсов и сценариев, объединённых общей целью проверки функциональности, производительности или безопасности приложения[2].
- Комплексная услуга сторонних QA-команд, включающая определённые виды тестирования, объём человеко-часов и отчётность[3].
- Набор автоматизированных скриптов, запускаемый для регрессионного либо модульного тестирования[4].
- Установочный пакет приложения, проходящий приёмочное тестирование перед развёртыванием[5].
- Встроенный пакет библиотеки «testing» в языках программирования (например, Go), предоставляющий API для написания юнит-тестов[6].
Структурные элементы Testing Package
- Тест-кейсы — пошаговые инструкции, содержащие предусловия, действия и ожидаемый результат.
- Тестовые сценарии — высокоуровневые пользовательские потоки, объединяющие несколько тест-кейсов[7].
- Тестовые данные — валидные, невалидные и граничные значения, подаваемые в систему для воспроизведения различных ситуаций[8].
- Тестовое окружение — аппаратно-программная конфигурация, на которой выполняются тесты[9].
- Автоматизированные скрипты и фреймворки — код, реализующий автоматический запуск и проверку тест-кейсов[10].
- Отчёты и логи, фиксирующие результаты прогонов и обнаруженные дефекты.
Оперативно-технические сведения
Оперативно-технические сведения отражают фактическое поведение системы в условиях, приближённых к эксплуатации:
- метрики времени отклика, потребления CPU/RAM и пропускной способности;
- логи ошибок и трассировки стека;
- результаты тестов отказоустойчивости, стабильности и восстановления;
- данные о совместимости с внешними сервисами и оборудованием[11].
Тактико-технические данные
Тактико-технические данные описывают измеримые характеристики программного обеспечения и параметры самих тестов:
- целевые показатели нагрузки (кол-во одновременных пользователей, TPS);
- минимально допустимое время отклика API;
- объём обрабатываемых данных;
- стратегии и конфигурации нагрузочных, стресс- и安全-тестов;
- требования к безопасности и шифрованию[12].
Стратегическая аналитика
Стратегическая аналитика агрегирует высокоуровневые сведения для управленческих решений:
- динамика дефектов и тенденции качества;
- оценка покрытий требований и кода;
- анализ рисков релиза и рекомендаций по его готовности;
- историческая сравнимость циклов тестирования[13].
Этапы работы
Testing Package формируется и живёт в итеративном цикле, включающем пять ключевых стадий: планирование, сбор и обработку данных, анализ, распространение результатов и получение обратной связи.
1. Планирование
Подготовка тестового плана, определение целей, стратегии, ресурсов и критериев выхода[14].
2. Сбор и обработка данных
Генерация или анонимизация тестовых данных, настройка окружения, регистрация результатов прогонов[15].
3. Анализ
Сопоставление фактических и ожидаемых результатов, выявление первопричин дефектов, уточнение рисков[16].
4. Распространение
Передача отчётов заинтересованным сторонам через TMS-системы, CI/CD-дашборды, email-рассылки и презентации[17].
5. Обратная связь
Сбор отзывов пользователей и команды, приоритизация доработок и коррекция тестовых сценариев[18].
Преимущества и недостатки
Преимущества
Сферы применения
Testing Package используется во всех областях разработки ПО, особо критично — в:
- финтехе и банковских системах;
- здравоохранении и медицинских ИС;
- телеком-и сетевых решениях;
- автомобильной и аэрокосмической индустрии (встроенное ПО);
- государственных и оборонных системах с повышенными требованиями к надёжности[25].
Инструменты для использования в Testing Package
Платформы Testing Package
- TestRail
- Qase
- PractiTest
- Zephyr
- Xray
- Tricentis qTest
- Test IT[26]
Open-source: Kiwi TCMS, TestLink, QuAck.
Сервисы Testing Package
- Подписные аналитические отчёты о качестве (Testlio, Applause)
- Облачные рантайм-лаборатории для мобильных и веб-тестов (BrowserStack, Sauce Labs)
- Сервисы управления тестовыми данными (Delphix, GenRocket)
Фиды Testing Package
- Публичные наборы данных: Sakila DB, wikimedia page-views, GTFS sample feeds[27]
- Коммерческие фиды метрик из APM-систем (Datadog, New Relic)
- Логи и события из централизованных стэков ELK или Graylog
Интеграция с другими системами
Testing Package интегрируется:
- с CI/CD (Jenkins, GitLab CI)
- через плагины, REST API и webhooks для автозапуска тестов[28]
- с баг-трекерами (Jira, Azure DevOps)
- посредством двусторонних плагинов и REST API для автоматического создания дефектов[29]
- с VCS (GitHub, GitLab)
- храня тестовый код и pipeline-конфигурации «as-code»
- с ALM-решениями (Micro Focus ALM, Azure DevOps)
- через специализированные коннекторы для синхронизации требований, тест-кейсов и результатов[30]
- с системами мониторинга (Prometheus, Datadog)
- при помощи экспортёров и агентов, отправляющих пользовательские метрики тестовых прогонов[31]
Примечания
|
Правообладателем данного материала является АНО «Интернет-энциклопедия «РУВИКИ». Использование данного материала на других сайтах возможно только с согласия АНО «Интернет-энциклопедия «РУВИКИ». |