Тестирование и ответственность

Организация по стандартам тестирования средств борьбы с вредоносными программами (AMTSO, Anti-Malware Testing Standards Organization) — это коалиция профессионалов в области информационной безопасности, в которую входят компании-разработчики антивирусного ПО, лаборатории по тестированию антивирусных продуктов, специализированные издательства и отдельные заинтересованные лица. Учитывая высокотехнологичную сферу деятельности AMTSO, очевидно, что своим авторитетом она обязана опыту и знаниям IT-специалистов, которые являются ее членами (при этом сама организация не превращается в лобби производителей антивирусных продуктов). Поскольку в последнее время в адрес AMTSO прозвучали критические высказывания, мы хотим от имени антивирусной индустрии, к которой мы принадлежим, и от имени самой организации выступить с разъяснениями нашей позиции.

Нам кажется странным, что профессиональные знания в области тестирования иногда рассматриваются как дисквалификация учитывая уровень компетентности специалистов, которые входят в эту организацию.

В то время как одни не доверяют тому, что говорит компания-разработчик, и беспрекословно принимают на веру мнение тестера, другие удивляются — как это разные тесты могут настолько сильно отличаться друг от друга в оценке одного и того же продукта. Иногда это может быть обусловлено просто недостатком практики тестирования, но могут быть и более серьезные причины, например, большой объем вредоносных программ и новых типов атак, с которыми тестерам приходится сталкиваться ежедневно. Создатели антивирусных продуктов прилагают огромные усилия для разработки новых проактивных и реактивных технологий, стараясь свести к минимуму разрыв между идеальным стопроцентным детектированием и тем, что реально достижимо. Функциональные возможности продуктов могут меняться, а тесты, использующие приблизительно одинаковые методики, могут давать диаметрально противоположные результаты. Помимо других факторов, это может быть обусловлено разницей в подходах к отбору, классификации и оценке самплов и URL.

Целью AMTSO является продвижение всех типов тестов, которые четко демонстрируют эту вариативность. Члены AMTSO пропагандировали тестирование на реальных образцах еще до того, как эта организация была создана, в надежде, что такое тестирование принесет пользу и разработчикам, и клиентам, и самим тестерам. Как представители индустрии, мы хорошо понимаем, что в настоящий момент не можем обеспечить детектирование абсолютно всех известных и неизвестных вредоносных программ. Относительно высокие баллы за результаты тестирования, получаемые крупными компаниями-разработчиками, совсем не обязательно отражают то, как их продукты работают в реальных условиях, поскольку уровень детектирования угроз в реальных условиях нельзя измерять, просто сравнивая продукты и не согласовав предварительно критерии отбора, классификации и оценки вредоносных образцов и URL.

Еще одним заблуждением является утверждение, что члены AMTSO просто не любят тесты, выполненные какими-либо другими организациями. Это не так: ни у одного из нижеподписавшихся не возникает проблем с лабораториями, которые проводят объективное тестирование на реальных образцах. (Хотя некоторые тестеры считают себя вправе возмущаться, когда какая-нибудь компания начинает претендовать на звание единственной организации, выполняющей тестирование в режиме реального времени при работе в интернете, в отличие от всех других тестеров, которые проводят статические испытания на основе WildList.)

Однако взимание платы за предоставление информации о результатах тестов (даже с участников тестирования) никак не согласуется с принципом прозрачности и открытости, декларируемым AMTSO. При этом мы понимаем, что люди, проводящие испытания, это штатные сотрудники лабораторий по тестированию, которые, как и в любом другом бизнесе, заинтересованы в получении дохода. Но когда тестер сначала заявляет о том, что у него есть информация, которой он может поделиться, а потом не предоставляет данных о методике тестирования и образцах даже тем компаниям, которые готовы за эти данные заплатить, это означает, что тестер не готов раскрыть свою методику тестирования для изучения и оценки. И это не позволяет воспринимать его как серьезного тестера, которого можно поставить в один ряд с ведущими тестерами, сотрудничающими с AMTSO.

Никто не считает, что у AMTSO есть ответы на все вопросы, и что она сама будет решать проблемы тестирования. Но стоит признать, что эта организация сумела собрать под своей эгидой ресурсы, которые сделали тестирование доступным и понятным. Тестеры (и другие заинтересованные стороны) могут совершенствовать эти ресурсы, сотрудничая с AMTSO, которая и в дальнейшем не собирается отказываться от принципа прозрачности и открытости.