Некоммерческая организация AV-Comparatives, специалист по независимому тестированию антивирусов, попыталась [PDF 355 Кб] определить, на какие аспекты обращает внимание рядовой пользователь при оценке таких продуктов.

С этой целью с 15 декабря по 15 января среди визитеров веб-сайта AV-Comparatives.org был проведен опрос. Исследователи сразу отмели анкеты, заполненные представителями антивирусной индустрии, отобрав для анализа немногим более 1 тыс. валидных ответов. Почти половина респондентов оказались европейцами, четверть ― азиатами, 18% жителями Северной Америки. У 29,7% из них установлена Windows XP SP3, у 30,1% ― 64-битная Windows 7, у 26,4% 32-битная Windows 7. 41,6% использует Firefox, 29,9% — IE, 18,7% Chrome, 7,4% Opera. Около половины опрошенных пользуются бесплатным антивирусом.

Организация по стандартам тестирования средств борьбы с вредоносными программами (AMTSO, Anti-Malware Testing Standards Organization) — это коалиция профессионалов в области информационной безопасности, в которую входят компании-разработчики антивирусного ПО, лаборатории по тестированию антивирусных продуктов, специализированные издательства и отдельные заинтересованные лица. Учитывая высокотехнологичную сферу деятельности AMTSO, очевидно, что своим авторитетом она обязана опыту и знаниям IT-специалистов, которые являются ее членами (при этом сама организация не превращается в лобби производителей антивирусных продуктов). Поскольку в последнее время в адрес AMTSO прозвучали критические высказывания, мы хотим от имени антивирусной индустрии, к которой мы принадлежим, и от имени самой организации выступить с разъяснениями нашей позиции.

Нам кажется странным, что профессиональные знания в области тестирования иногда рассматриваются как дисквалификация учитывая уровень компетентности специалистов, которые входят в эту организацию.

В то время как одни не доверяют тому, что говорит компания-разработчик, и беспрекословно принимают на веру мнение тестера, другие удивляются — как это разные тесты могут настолько сильно отличаться друг от друга в оценке одного и того же продукта. Иногда это может быть обусловлено просто недостатком практики тестирования, но могут быть и более серьезные причины, например, большой объем вредоносных программ и новых типов атак, с которыми тестерам приходится сталкиваться ежедневно. Создатели антивирусных продуктов прилагают огромные усилия для разработки новых проактивных и реактивных технологий, стараясь свести к минимуму разрыв между идеальным стопроцентным детектированием и тем, что реально достижимо. Функциональные возможности продуктов могут меняться, а тесты, использующие приблизительно одинаковые методики, могут давать диаметрально противоположные результаты. Помимо других факторов, это может быть обусловлено разницей в подходах к отбору, классификации и оценке самплов и URL.

Целью AMTSO является продвижение всех типов тестов, которые четко демонстрируют эту вариативность. Члены AMTSO пропагандировали тестирование на реальных образцах еще до того, как эта организация была создана, в надежде, что такое тестирование принесет пользу и разработчикам, и клиентам, и самим тестерам. Как представители индустрии, мы хорошо понимаем, что в настоящий момент не можем обеспечить детектирование абсолютно всех известных и неизвестных вредоносных программ. Относительно высокие баллы за результаты тестирования, получаемые крупными компаниями-разработчиками, совсем не обязательно отражают то, как их продукты работают в реальных условиях, поскольку уровень детектирования угроз в реальных условиях нельзя измерять, просто сравнивая продукты и не согласовав предварительно критерии отбора, классификации и оценки вредоносных образцов и URL.

Еще одним заблуждением является утверждение, что члены AMTSO просто не любят тесты, выполненные какими-либо другими организациями. Это не так: ни у одного из нижеподписавшихся не возникает проблем с лабораториями, которые проводят объективное тестирование на реальных образцах. (Хотя некоторые тестеры считают себя вправе возмущаться, когда какая-нибудь компания начинает претендовать на звание единственной организации, выполняющей тестирование в режиме реального времени при работе в интернете, в отличие от всех других тестеров, которые проводят статические испытания на основе WildList.)

Однако взимание платы за предоставление информации о результатах тестов (даже с участников тестирования) никак не согласуется с принципом прозрачности и открытости, декларируемым AMTSO. При этом мы понимаем, что люди, проводящие испытания, это штатные сотрудники лабораторий по тестированию, которые, как и в любом другом бизнесе, заинтересованы в получении дохода. Но когда тестер сначала заявляет о том, что у него есть информация, которой он может поделиться, а потом не предоставляет данных о методике тестирования и образцах даже тем компаниям, которые готовы за эти данные заплатить, это означает, что тестер не готов раскрыть свою методику тестирования для изучения и оценки. И это не позволяет воспринимать его как серьезного тестера, которого можно поставить в один ряд с ведущими тестерами, сотрудничающими с AMTSO.

Никто не считает, что у AMTSO есть ответы на все вопросы, и что она сама будет решать проблемы тестирования. Но стоит признать, что эта организация сумела собрать под своей эгидой ресурсы, которые сделали тестирование доступным и понятным. Тестеры (и другие заинтересованные стороны) могут совершенствовать эти ресурсы, сотрудничая с AMTSO, которая и в дальнейшем не собирается отказываться от принципа прозрачности и открытости.

Две недели назад мы с удивлением обнаружили, что в онлайновом американском издании популярного журнала CIO опубликован весьма странный тест.
Странность его заключалась не только в результатах, но и в том, что такой тест получил освещение на столь известном и уважаемом ресурсе.

Как это всегда бывает, за публикацией последовали и множественные вопросы к нам, со стороны клиентов, партнеров и средств массовой информации. Эта ситуация заставляет нас еще раз привлечь внимание к проблеме "любительских тестов".

Конкурс «обфускации» вредоносного кода под названием Race to Zero, который должен пройти на хакерской конференции Defcon в августе этого года, уже вызвал жаркие споры.

Как мне кажется, любое действие либо этично, либо неэтично... и я убежден, что «ради удовольствия» создавать новый вредоносный код, способный обойти антивирусную защиту, неэтично.

Мы — антивирусные эксперты — всегда против создания вредоносного кода по каким бы то ни было причинам. Единственным разумным оправданием создания вредоносного ПО в тестовых целях когда-то можно было считать следующий аргумент: «нам надо создать новые варианты кода, чтобы подробно изучить способы атаки».

Но ребята, давайте смотреть правде в глаза: сегодня мы сталкиваемся с тысячами новых вариантов вредоносных программ. У нас более чем достаточно «живого» вредоносного кода, пригодного для анализа и изучения с целью улучшения технологий защиты от вредоносного ПО. Поэтому, даже если этот аргумент когда-то можно было принять: «ну, может быть, только один раз, ничего страшного, если уж так надо», то в 2008 году он уже НЕ может быть оправдан.

Утверждение, что «сигнатурный антивирус умер, надо искать эвристические, статистические и поведенческие методы обнаружения новых угроз» — это просто дешевый пропагандистский трюк. Уже несколько лет никто — вообще никто — в антивирусной индустрии не рассчитывает только на сигнатурные методы. А звучит заявление авторов «конкурса» так, словно большинство антивирусных сканеров провалят их «тесты», потому что обойти сигнатурные сканеры и статические эвристики не проблема.

Для тысяч электронных мошенников посыл ясен: «даёшь обфускацию кода!» Этот «конкурс» стимулирует их к поиску и разработке новых технологий обфускации. А поскольку они и так этим занимаются, то они просто еще поднажмут. Благодарности за это от нас вы не услышите: антивирусным лабораториям такой стимул не нужен, им и так есть чем заняться.

Наиболее позитивно настроенные граждане называют этот «конкурс» формой тестирования продуктов. Неверно!

Тестирование антивирусных продуктов, как и любое другое тестирование ПО, осуществляется профессионалами, такими как, например, Андреас Клементи, Андреас Маркс или редакция Virus Bulletin на основе справедливых, этичных и научно-обоснованных правил. Вот так всё делается в приличных антивирусных кругах.

«Конкурс» Race to Zero/DefCon:

• Проводится НЕ профессиональными тестерами — без комментария
• НЕ основан на справедливых правилах — до сих пор никаких публичных контактов с производителями антивирусного ПО не наблюдалось
• НЕ имеет научной основы — описание тестового стенда отсутствует как таковое
• И последнее — по порядку, но не по значению. Это НЕЭТИЧНО на все 100%. Писать вредоносное ПО — преступление. Вот и все.

Наконец, как насчет Федерального закона США о компьютерных преступлениях? И других законодательных актов? Этот «конкурс» вообще законно проводить на территории США? Агентство, отвечающее за борьбу с электронной преступностью, в курсе?

В общем, всё сводится к следующему: нужны ли публичные и неструктурированные «конкурсы тестирования» преступных технологий, проводимые людьми без соответствующей квалификации и репутации? Может быть, стоит провести «конкурс» ограбления банка в реальной среде для проверки банковских систем безопасности? Или «пробную» раздачу наркотиков в школах, чтобы проверить работу наркополиции?

До абсурда можно довести что угодно — в том числе анализ кода. Давайте вздохнем поглубже и займемся разработкой технологий защиты, а не «модификацией вредоносного кода ради удовольствия»!

Возможно, вы еще об этом не слышали: недавно более 40 антивирусных экспертов и специалистов по тестированию собрались в Бильбао (Испания), чтобы принять устав Организации по стандартам тестирования антивирусов — Anti-Malware Testing Standards Organisation (AMTSO). Основная цель организации — разработать принципы и стандарты тестирования программного обеспечения для защиты от информационных угроз.

Для чего нужен подобный орган? Прежде всего, за последние 10 лет антивирусное ПО претерпело огромные изменения, а большинство используемых на сегодняшний день тестов за этим развитием не поспевают. Для оценки эффективности новых технологий необходимы новые и усовершенствованные тесты. Кроме того, одна из задач AMTSO способствовать созданию тестов, анализирующих работу антивирусных программ в условиях, максимально приближенных к реальным.

Я участвовал в обсуждении этого вопроса еще во времена семинара по тестированию антивирусных продуктов (AV Testing Workshop), и для меня совершенно очевидно, что создание новой организации — это большой шаг в верном направлении.

На сегодняшний день группа состоит из специалистов в области защиты от информационных угроз и тестирования. Предполагается также задействовать представителей академических кругов, участие которых в работе AMTSO поможет организации занять нейтральную позицию по отношению к разработчикам ПО и используемым технологическим решениям.

Интересно, какими окажутся результаты работы организации. Как член временного подкомитета по правилам и стандартам, я, очевидно, получу возможность внести свой вклад в общее дело. Может оказаться, что результаты, показываемые антивирусными решениями, будут ниже, чем в используемых ныне тестах. Но это не так уж и плохо — при условии, что результаты тестов будут отражать реальную способность антивирусных продуктов противостоять нынешним постоянно меняющимся угрозам.

Более подробную информацию можно найти на сайте AMTSO.

Пару недель назад Дэвид писал об антивирусных тестах ConsumerReports, ради которых было создано около 5,5 тысяч новых версий вредоносных программ.

Недавно автор heise.de, одного из наиболее популярных немецких веб-сайтов IT-тематики, вновь затронул эту тему, раскритиковав реакцию антивирусных компаний: «[они] не замечают, что их протесты звучат, как протесты продавцов автомобилей Mercedes, жалующихся на "лосиные тесты" только потому, что на свете достаточно реальных аварий, по которым можно оценить безопасность их автомобилей».

Подобное сравнение бессмысленно: в контексте тестирования антивирусов «реальная авария» — это компьютер или сеть, зараженные вредоносной программой; а «лосиный тест» — управляемое лабораторное тестирование. Мы не имеем ничего против лабораторных тестов до тех пор, пока в них используются те же вредоносные программы, что присутствуют в интернете. Также мы с интересом следим за тестами антивирусов с устаревшими базами — подобные сравнения позволяют установить уровень проактивной и эвристической защиты.

Но никакой пользы от использования в тестах специально созданного набора вредоносных программ я не вижу. И аргумент, что эти новые зловреды всё равно никогда не попадут в сеть, здесь не при чем. Подобные тесты в конечном итоге могут привести к появлению соперничества между тестерами, которые будут создавать всё новые и новые вредоносные программы, чтобы обмануть максимально возможное количество антивирусных пакетов. Всё это, разумеется, будет делаться в интересах безопасности... но в результате в выигрыше останутся только вирусописатели, а в проигрыше — обычные пользователи.

Сегодня организация под названием ConsumerReports опубликовала статью, согласно которой она «создала 5,5 тысяч новых версий вредоносных программ, основанных на 6 группах известных вирусов, которые чаще всего встречаются в реальной жизни».

Это очень глупый поступок. В мире достаточно «настоящих» вирусов, червей, троянцев и безо всяких организаций, из благородных побуждений создающих новые варианты.

Причина подобного поступка ConsumerReports, похоже, заключается в следующем: «Мы не видели ни одного независимого сравнительного теста антивирусных программ, который показывал бы, насколько хорошо программы справляются и с известными, и с новыми вирусами; поэтому мы создали набор новых вирусов для проведения подобных тестов».

На самом деле, AV-comparatives публикует тесты того, как продукты обнаруживают известные и неизвестные вирусные угрозы — и они делают эти тесты без создания целых коллекций новых вирусов. Также множество независимых организаций тестируют возможности антивирусных продуктов: AV-Test GmbH, Virus Bulletin, ICSA Labs и West Coast Labs.

И все они публикуют результаты своих тестов. А именно этого ConsumerReports на данный момент не сделала.

На днях мне попались на глаза результаты теста, проведенного локальным офисом одной антивирусной компании.

Тест сводился к тому, что пользователям предлагалось деинсталлировать установленный у них антивирус и установить антивирусный продукт проводившего тестирование вендора. После этого запускалось полное сканирование системы и фиксировалось число обнаруженных вредоносных программ и название ранее установленного на компьютере антивируса.

По результатам теста антивирусы-конкуренты располагались в порядке увеличения числа пропущенных ими по сравнению с программой проводившей тестирование антивирусной компании вредоносных программ.

Любой человек, знающий основы компьютерной безопасности, понимает бессмысленность подобного теста. Для начала, набор файлов везде был разным, и потому нельзя определить процент ложных срабатываний. Но что намного важнее, невозможно узнать, в каком состоянии находился ранее установленный на компьютере антивирус.

Судя по тому, как проводился тест, большинство из деинсталлируемых антивирусов либо использовали устаревшие базы, либо были ворованными, и потому вообще были неспособны обновлять базы сигнатур.

Это далеко не все причины, по которым не следует доверять результатам этого теста. Поскольку в тесте не было вообще никакого контроля переменных, то его сложно признать правильным.

Антивирусная индустрия очень чувствительна к таким вопросам; нам необходимо постоянно следить за тем, что мы говорим и что делаем. Каждая антивирусная компания ответственна за имидж и репутацию всей индустрии в целом.

Мнение антивирусных экспертов особенно важно в случае сравнительных тестов. У экспертов есть знание того, какие тесты правильны, а какие нет, и они могут соответствующим образом направлять действия маркетинга.

В конце концов мы все должны бороться с дезинформацией даже если она может в конечном итоге привести к положительным результатам.