Методика оценки мобильных приложений роскачество. Роскачество: стандарты мобильных приложений – в работе. Примеры точек доступа

Можно переходить к .

Как мы уже говорили, мобильные приложения обязательно тестируются на нескольких устройствах. Наш опыт подсказывает, что значительное количество дефектов не зависит от окружения, т.е. они воспроизводятся на всех устройствах. В связи с этим нет необходимости проводить на каждом устройстве все типы тестов.

Обычно активности по первичному тестированию приложений включают полный тест и тест совместимости.

1. Полный тест предполагает проверку всей функциональности приложения: проверки по позитивным и негативным сценариям, взаимодействие функций приложения и пользовательского интерфейса, специфические проверки для мобильных устройств. Кроме того, полный тест включает в себя проверку соответствия приложения стандартам iOS и Android в области разработки интерфейса мобильных приложений (iOS Human Interface Guidelines, Android User Interface Guidelines).
2. Тест совместимости включает проверку только основной функциональности приложения, а также отображение на мобильных устройствах с отличиями в аппаратном обеспечении, характеристиках экрана и др. Данный тест включает только позитивные сценарии и не предполагает проверок нестандартных вариантов использования приложения.

Про тестирование мобильных приложений написано много, мы же хотим обратить ваше внимание на несколько нюансов, которые могут оказаться незамеченными.

• Настройте готовые точки Wi-Fi. Как уже упоминалось ранее, во время тестирования важно проверять корректную работу приложения при различных типах и скоростях соединения. Готовая Wi-Fi точка с различными настройками поможет сэкономить время на различные проверки, сэмулировать условия реальной работы устройства и выявить дефекты, которые иначе могли бы быть пропущены.

Примеры точек доступа:

• Старайтесь проводить тестирование на двух или более девайсах одновременно. Почему это важно? За время одной проверки вы сможете протестировать сразу несколько интерфейсов.
• Если есть возможность, проведите обучение специалистов на проекте. В нашей компании существует центр компетенции по тестированию мобильных приложений, в рамках которого на регулярной основе проводятся обучающие мероприятия. На них опытные специалисты в тестировании мобильных приложений делятся своим опытом, рассказывают о мобильных операционных системах, их особенностях, показывают примеры настоящих дефектов. Также полезно будет научиться работать с различными утилитами, которые помогут собрать логи, снять скриншот, поставить билд и т.п.
• Если вы не уверены в зрелости своих процессов по тестированию, проведите технический аудит проекта. Данное мероприятие позволит определить уровень “технического здоровья” вашего продукта.

Решаем вопросы по мере их возникновения

Хорошо, если тестирование проходит согласно плану. Но бывает такое редко. В большинстве случаев вам не удастся избежать вопросов от заказчика. Давайте посмотрим, как на них реагировать.

Например, вы предложили заказчику слишком много, по его мнению, устройств. Он просит вас сократить их количество. Соглашаемся и идем от обратного. Используя всю ту же собранную статистику, убираем наименее популярные конфигурации из нашего списка.

Другой случай, требующий дополнительных разговоров: заказчик попросил провести тестирование на устройстве, которого у вас нет в наличии. Выясните, чем вызвано такое желание, и предложите альтернативу, наиболее подходящую по аппаратным и программным характеристикам.

На устройстве разработчика со стороны заказчика не воспроизводится обнаруженный баг? Такое случается. Вполне вероятно, что, если и на вашем устройстве сбросить все настройки, дефект перестанет воспроизводиться. Но это не значит, что его нет. Всегда стоит сопровождать дефекты скриншотами или видео, а также клиентскими логами. Так вы сможете избежать двойной работы и быть уверенными, что дефект не вернется к вам с пометкой “To be reformulated”.

Окончание тестирования

По окончании каждой итерации командой тестирования формируются следующие артефакты:

• Дефекты, внесенные в систему учета дефектов.
• Заполненная тестовая документация и отчет по качеству. Обычно отчет содержит оценку качества текущей версии приложения и формируется на основании количества и серьезности актуальных дефектов.
• Описание проблем, наиболее критичных с точки зрения конечного пользователя.
• Статистику по количеству и характеру дефектов. Это позволяет отслеживать динамику качества приложения (также эта статистика может быть использована для оценки качества работы разработчиков).
• Предложения по улучшению продукта.
• Заключение относительно степени готовности продукта к релизу.

Казалось бы, вот он и конец проекта. Парадоксально, но окончание тестирования не означает окончание работы тестировщика.

Впереди – релиз, на стадии которого никак не обойтись без специалистов по качеству ПО. В следующей статье продолжим.

Роскачество разработало стандарт требований к качеству мобильных приложений («Ведомости» ознакомились с документом). Он содержит рекомендации разработчикам, а также методику тестирования, которую эксперты лабораторий Роскачества будут использовать для исследования приложений.

АНО «Роскачество» создана распоряжением правительства и является оператором российского государственного сертификата качества продукции «Знак качества». Присваивается он продуктам, которые производятся в России и соответствуют стандартам повышенного качества ГОСТ-Р. До сих пор сертификацией программного обеспечения Роскачество не занималось.

В России сегодня есть государственные стандарты на операционные системы, но для мобильных приложений таких рекомендаций нет, объясняет представитель Роскачества Марта-Мария Галичева. Учитывая возрастающую популярность мобильных сервисов, Роскачество по аналогии со стандартами качества на потребительские товары разработало повышенный стандарт качества для приложений, рассказывает она. Стандарт утвержден проектным техническим комитетом при Росстандарте и теперь переходит в статус предварительных национальных стандартов (ПНСТ). Через три года этот стандарт может получить статус ГОСТа, рассказывает Галичева. Для производителей и отрасли разработанные стандарты и методики оценки дадут четкий ориентир – исследование позволит выявить слабые места приложений, которые уже есть на рынке, и устранить их недостатки, надеется представитель Роскачества.

Высокие качества

Чтобы соответствовать стандарту Роскачества, приложение, в частности, не должно содержать вредоносного и шпионского кода. Оно должно предупреждать пользователя о последствиях его действий, если они «носят серьезный и необратимый характер». При его использовании не должно возникать ситуаций, когда пользователю будет не очевидно, что сейчас происходит и что делать.

Всего в стандарте Роскачества более 100 требований к потребительским характеристикам мобильных приложений (см. врез) – их функциональности, безопасности, производительности, надежности и т. д. Есть у Роскачества и требования к сбору персональных данных пользователей. Например, пользователь мобильного приложения должен иметь возможность «видеть и контролировать» сбор этих данных и доступ к ним, следует из документа.

Магазины приложений используют отзывы и оценки пользователей, на основе которых другие пользователи могут принять решение об установке, и это вполне работающий механизм, считает гендиректор Markswebb Rank & Report Алексей Скобелев. Продуктовые же свойства мобильных приложений привести к какому-то стандарту невозможно и это ставит целесообразность инициативы Роскачества под сомнение, считает он. С другой стороны, стандарты качества по безопасности и защите персональных данных безусловно полезны, поскольку далеко не каждый разработчик обладает компетенцией в сфере защиты информации, рассуждает Скобелев.

«Сбербанк технологии» будет ориентироваться на стандарты Роскачества, обещает директор департамента качества этой компании Михаил Громов. У Сбербанка есть внутренние методики оценки качества приложений, однако наличие общего стандарта даст компании возможность сравнить качество и надежность своих продуктов с другими продуктами на рынке, объясняет он.

Роскчачество утвердило список исследуемых категорий на второе полугодие 2018 г. и с участием ведущих экспертов ИТ отрасли приступает к сравнительным испытаниям качества мобильных программ на соответствие утвержденному национальному стандарту мобильных приложений (ПНСТ РФ был утвержден Росстандартом на базе стандарта организации (Роскачества).

С 18 июля Роскачество принимает на своем портале и в группах в социальных сетях заявки для определения наиболее важных для граждан страны категорий мобильных приложений. Результаты исследований выбранных таким образом приложений помогут пользователям найти наиболее качественное приложение, а компаниям-разработчикам усовершенствовать продукт. Исследования будут проводиться в соответствии с разработанным Роскачеством Национальным стандартом, который был утвержден Росстандартом 26 июня 2018 года.

Напомним, предварительный национальный стандарт содержит требования к качеству и безопасности мобильных приложений. Стандарт также является основой для создания методик испытаний любой категории мобильных приложений. Стандарт не является ограничением для создания новых программных продуктов, а служит отраслевым ориентиром для компаний-разработчиков и помогает пользователям найти наиболее качественное приложения. В плане исследований Роскачества на вторую половину 2018 г. уже стоят такие востребованные категории мобильных приложений, как «Бронирование отелей», «Бег», «Продажа авто», «Покупка авиабилетов» и другие.

В отраслевую рабочую группу Проектного технического комитета Роскачества при Росстандарте, разрабатывавшую Национальный стандарт приложений и утверждающую методики всех исследований, входят наиболее авторитетные ИТ специалисты нашей страны, представляющие компании iD EAST, Group-IB и др. Роскачество приглашает всех отраслевых экспертов ИТ-сообщества к участию в рабочих группах и к обсуждению методик исследований всех категорий мобильных приложений. Заявки, вопросы и предложения принимаются по адресу [email protected], а также в официальном сообществе Роскачества на Facebook: https://www.facebook.com/roskachestvo.official/

Ранее лаборатория информационных продуктов Роскачества провела уже 11 исследований мобильных приложений, в том числе таких категорий, как «Поиск работы», «Знакомства», «Поиск недвижимости», «Личные финансы», «Родительский контроль».

«Наше мобильное приложение было исследовано Роскачеством в 2017 году. Надо признать, что количество показателей и глубина исследования позволили нам получить взгляд со стороны, обратить внимание на проблемные точки и недостающие функции. Благодаря исследованию мы смогли скорректировать план развития нашего проекта и уделить внимание тем функциям, которые наиболее востребованы пользователями. Мы считаем исследования Роскачества прекрасной практикой и желаем организации развития и поддержки со стороны разработчиков», отметил Сергей Данилюк, руководитель проекта Сubux.net.

Разработанный Роскачеством и утвержденный Росстандартом документ собрал в себе лучшие международные практики и рекомендации по разработке мобильных приложений. Роскачество выступает связующим звеном между компаниями-разработчиками мобильных продуктов и пользователями, выявляя и информируя о преимуществах и недостатках продуктов.

«Деятельность Роскачества по стандартизации мобильных приложений является полезной инициативой для ИТ сообщества, а не ограничением для развития. Крайне важно то, что стандарт призван сделать опыт работы потребителей с приложениями более удобным и безопасным, обращает внимание разработчиков на проблемные точки, являющимися значимыми в вопросе качества мобильного приложения. Это, например, касается безопасности персональных данных пользователей, которые сегодня представляют собой огромный массив информации», отметил Денис Кусков, генеральный директор информационно-аналитического агентства TelecomDaily.

«Роскачеству удалось создать систему комплексной оценки приложений, которая, как мы надеемся, подтолкнет разработчиков к улучшению функциональности и использованию практик цикла безопасной разработки (SDL), добавив этому процессу дополнительную ценность. Стандарт Роскачества учитывает как наилучшие практики производителей платформ, адаптированные под условия российского рынка приложений, так и требования законодательства России. Появился относительно простой способ найти все необходимые рекомендации в одном месте. Дополнительно можно отметить тот факт, что многие требования в данном стандарте были учтены раньше, чем в некоторых гайдлайнах (рекомендациях от держателей платформы, в частности Google). Например, в данном стандарте Роскачества требования о проверке Root-прав при запуске приложений с платежным функционалом появилось раньше, чем в гайдлане от Google. Специалисты Group-IB были рады внести свой вклад в формирование обсуждаемой методики, а значит и в увеличение полезности современных сервисов и приложений», сказал Вячеслав Васин, ведущий аналитик департамента аудита и консалтинга Group-IB.

«Результаты исследований Роскачества полезны как для пользователей мобильных приложений, так и для менеджеров, ведущих проект по созданию мобильного приложения. В этом смысле стандарт служит универсальным руководством для компаний, которое поможет определить, действительно ли их продукт является качественным и удобным для пользования», отметил Илья Лоевский, заместитель руководителя Российской системы качества.

Роскчачество утвердило список исследуемых категорий на второе полугодие 2018 г. и с участием ведущих экспертов ИТ отрасли приступает к сравнительным испытаниям качества мобильных программ на соответствие утвержденному национальному стандарту мобильных приложений (ПНСТ РФ был утвержден Росстандартом на базе стандарта организации (Роскачества).

С 18 июля Роскачество принимает на своем портале и в группах в социальных сетях заявки для определения наиболее важных для граждан страны категорий мобильных приложений. Результаты исследований выбранных таким образом приложений помогут пользователям найти наиболее качественное приложение, а компаниям-разработчикам усовершенствовать продукт. Исследования будут проводиться в соответствии с разработанным Роскачеством Национальным стандартом, который был утвержден Росстандартом 26 июня 2018 года.

Напомним, предварительный национальный стандарт содержит требования к качеству и безопасности мобильных приложений. Стандарт также является основой для создания методик испытаний любой категории мобильных приложений.

Стандарт не является ограничением для создания новых программных продуктов, а служит отраслевым ориентиром для компаний-разработчиков и помогает пользователям найти наиболее качественное приложения.

В плане исследований Роскачества на вторую половину 2018 г. уже стоят такие востребованные категории мобильных приложений, как «Бронирование отелей», «Бег», «Продажа авто», «Покупка авиабилетов» и другие.

В отраслевую рабочую группу Проектного технического комитета Роскачества при Росстандарте, разрабатывавшую Национальный стандарт приложений и утверждающую методики всех исследований, входят наиболее авторитетные ИТ специалисты нашей страны, представляющие компании iD EAST, Group-IB и др. Роскачество приглашает всех отраслевых экспертов ИТ-сообщества к участию в рабочих группах и к обсуждению методик исследований всех категорий мобильных приложений. Заявки, вопросы и предложения принимаются по адресу [email protected], а также в официальном сообществе Роскачества на Facebook: https://www.facebook.com/roskachestvo.official/

Ранее лаборатория информационных продуктов Роскачества провела уже 11 исследований мобильных приложений, в том числе таких категорий, как «Поиск работы», «Знакомства», «Поиск недвижимости», «Личные финансы», «Родительский контроль».

«Наше мобильное приложение было исследовано Роскачеством в 2017 году. Надо признать, что количество показателей и глубина исследования позволили нам получить взгляд со стороны, обратить внимание на проблемные точки и недостающие функции. Благодаря исследованию мы смогли скорректировать план развития нашего проекта и уделить внимание тем функциям, которые наиболее востребованы пользователями. Мы считаем исследования Роскачества прекрасной практикой и желаем организации развития и поддержки со стороны разработчиков», отметил Сергей Данилюк, руководитель проекта Сubux.net.

Разработанный Роскачеством и утвержденный Росстандартом документ собрал в себе лучшие международные практики и рекомендации по разработке мобильных приложений. Роскачество выступает связующим звеном между компаниями-разработчиками мобильных продуктов и пользователями, выявляя и информируя о преимуществах и недостатках продуктов.

«Деятельность Роскачества по стандартизации мобильных приложений является полезной инициативой для ИТ сообщества, а не ограничением для развития. Крайне важно то, что стандарт призван сделать опыт работы потребителей с приложениями более удобным и безопасным, обращает внимание разработчиков на проблемные точки, являющимися значимыми в вопросе качества мобильного приложения. Это, например, касается безопасности персональных данных пользователей, которые сегодня представляют собой огромный массив информации», отметил Денис Кусков, генеральный директор информационно-аналитического агентства TelecomDaily.

«Роскачеству удалось создать систему комплексной оценки приложений, которая, как мы надеемся, подтолкнет разработчиков к улучшению функциональности и использованию практик цикла безопасной разработки (SDL), добавив этому процессу дополнительную ценность. Стандарт Роскачества учитывает как наилучшие практики производителей платформ, адаптированные под условия российского рынка приложений, так и требования законодательства России. Появился относительно простой способ найти все необходимые рекомендации в одном месте. Дополнительно можно отметить тот факт, что многие требования в данном стандарте были учтены раньше, чем в некоторых гайдлайнах (рекомендациях от держателей платформы, в частности Google). Например, в данном стандарте Роскачества требования о проверке Root-прав при запуске приложений с платежным функционалом появилось раньше, чем в гайдлане от Google. Специалисты Group-IB были рады внести свой вклад в формирование обсуждаемой методики, а значит и в увеличение полезности современных сервисов и приложений», сказал Вячеслав Васин, ведущий аналитик департамента аудита и консалтинга Group-IB.

«Результаты исследований Роскачества полезны как для пользователей мобильных приложений, так и для менеджеров, ведущих проект по созданию мобильного приложения. В этом смысле стандарт служит универсальным руководством для компаний, которое поможет определить, действительно ли их продукт является качественным и удобным для пользования», отметил Илья Лоевский, заместитель руководителя Российской системы качества.