Как делаются тестирования


Тестирование, тестовая лаборатория... Эти слова обладают чем-то таинственным и величественным. В голове возникают образы людей в белых халатах, колдующих над материнскими платами и видеокартами, ставящих над ними немыслимые опыты. Иметь свою тестовую лабораторию - дело чести чуть ли не каждого издания, будь-то бумажного или электронного. Регулярно проводить глобальные тестирования (например 50 жестких дисков) - престижно и попросту "круто".

На самом деле в тестированиях, которые проводятся многими изданиями, нет ничего "эдакого", подчас все сводится к элементарным тестам, которые может самостоятельно провести практически каждый мало-мальски технически подкованный пользователь.

Что же является целью тестирования? Судя по всему - изучение свойств отдельного устройства или группы устройств, сравнение их характеристик с аналогичными моделями, проверка свойств, заявленных производителем. В отдельных случаях - зарабатывание денег путем проведения необъективных тестирований и подтасовки результатов. Увы, такие случаи нередки. И за примерами далеко ходить не надо. Когда-то я ознакомился с тестированием материнских плат, в котором сравнивались модели на чипсете VIA и на чипсете Intel (уточнять намеренно не буду). По всем тестам платы на Intel процентов на 10 обгоняли своих коллег на VIA, а "заказ" был прямо противоположный. Поменять циферки автор той статьи не решился - в конце концов, подобные измерения проводились и в других тестовых лабораториях, поэтому явное несоответствие результатов вызвало бы подозрения. И тем не менее, выход был найден! Статья заканчивалась следующей фразой: "Если бы мы взяли другие тесты, провели испытания в других условиях, то возможно результаты были бы другими"... ну как заказывали. Спрашивается, чего ж вы не взяли другие тесты, что ж вы голову морочите?

Впрочем, тема этой статьи - вовсе не моральный аспект проведения тестирований. Скорее наоборот - сегодня мы поговорим о технической стороне, о том, как правильно провести тестирование, выбрать необходимые тесты, "сопутствующее" железо и т.п.

Тестовая конфигурация

Основа основ любого тестирования - тестовая конфигурация, т.е. машина, на которой будут сниматься данные. Именно правильный выбор тестовой конфигурации во многом определяет "правильность" полученных данных. Согласитесь, измерять производительность жестких дисков UDMA/100 на 386-ой материнской плате можно, но полученные цифры абсолютно не будут отражать реальные характеристики испытуемых. Опять же, бессмысленно тестировать новую видеокарту с процессором Pentium II 266.

Конечно, я утрирую. Но примеров неправильного выбора тестовой платформы хоть отбавляй. Ну например: одно издание решило сравнить производительность материнских плат для Pentium III Coppermine. Взяли вроде бы хороший жесткий диск с UDMA/66, поставили 128 Мб памяти и: видеокарту Riva TNT2 M64 Vanta. Последняя настолько затормозила всю систему, что тесты в играх абсолютно не отражали действительность.

Очевидно, что подбирая железо для тестовой платформы, нужно сделать так, чтобы максимальное влияние на производительность оказывал именно "подопытный", а не его окружение. Тестируя процессор, поставьте побольше памяти (чтобы винда не свопилась при каждой операции), возьмите хорошую видеокарту. Тестируя винчестер, постарайтесь посильнее нагрузить его - например, поставьте 64 Мб памяти и запустите PhotoShop на 200 Мб файле. Интенсивный своп гарантируется, а значит именно скорость винчестера и будет измерена в первую очередь. Видеокарту тестируйте на мощном процессоре.

Правда иногда ставится задача измерить скорость работы реальной системы. Тогда собирается среднеофсиная или среднедомашняя система с соответствующей конфигурацией.

Подбор тестов

Не менее важной задачей является подбор тестовых пакетов. Прежде всего, тесты можно условно поделить на две группы: синтетические и испытания на реальных приложениях. Ярким примером синтетического теста является популярный пакет SiSoft Sanda, который, помимо всего прочего, отдельно измеряет производительность целочисленного и математического блоков процессора, скорость обмена с памятью и т.п. Такие тесты выполняют строго определенную цепочку инструкций, направленную на строго определенный модуль системы, позволяя, таким образом, измерить его скорость в чистом виде, заведомо исключив влияние сторонних факторов.

Не менее интересны и программные тесты. Ведь они показывают не какие-то абстарктные цифры, а демонстрируют реальную скорость работы реальных приложениях. Иногда бывает гораздо интереснее узнать, насколько быстро работает PhotoShop, чем измерить скорость работы одного из блоков процессора!

Для тестирования реальными приложениями существуют специальные тестовые пакеты - например, всем известный Ziff Davis Winstone, Sysmark 2000 и т.п. Кроме того, полезным бывает использовать графические пакеты (Adobe PhotoShop, 3D Studio MAX, Bryce 3D) и, конечно же, игры: Quake III, Unreal Tournament, Expandable, Incoming и др.

Техника безопасности

Но даже грамотно выбранная конфигурация, правильно подобранные тесты еще не гарантируют объективных результатов. Нужно еще добиться стабильности результатов и обеспечить одинаковые внешние условия.

Во-первых, все настройки BIOS'а должны оставаться неизменными. Скажем, если один процессор будет протестирован с таймингом памяти 2-2-2, а другой - с 3-3-3, то полученные результаты можно будет смело выбросить в урну. Во-вторых, все настройки операционной системы также должны быть постоянными - начиная от размера своп-файла, заканчивая запущенными сервисами и приложениями. Данные о производительности офисных приложений можно будет отправить в ту же самую урну, если одни были получены при частоте вертикальной развертки 85 Гц, а другие - при 100 Гц. При измерении скорости работы в играх следите также за тем, чтобы версия DirectX и настройки драйверов видеокарт были постоянными. Наконец, после каждого теста компьютер нужно перезагружать, а диск - дефрагментировать, задав при этом постоянный размер своп-файла и переместив его в начало диска. Если Вы занимаетесь тестированием материнских плат или видеокарт, то придется еще и переустанавливать операционную систему для каждой тестируемой модели. Иначе могут возникнуть любые отклонения, связанные с неразберихой в драйверах, подменной родных виндовсих dll и т.п.

Синтетические тесты

ZD Winbench и SiSoft Sandra

Пожалуй, среди синтетических тестов наиболее известные - Ziff Davis WinBench и SiSoft Sandra 2000. Оба позволяют измерить производительность целочисленного и математического блоков процессора, модуля расширенных команд 3DNow! или SSE, скорость обмена данными с памятью. Последнее очень важно при тестировании материнских плат на разных чипсетах - сразу становится понятно, насколько быстро тот или иной чипсет работает с памятью. Скажем, проведя недавно исследование материнской платы на базе PM133, мы выяснили, что этот чипсет практически вдвое отстает от i815 и iBX по работе с памятью. Но вот что интересно - в тестах на реальных приложениях это отставание почти не сказывалось, что лишний раз подтверждает полезность и синтетических, и настоящих тестов.

SiSoft Sandra

SiSoft Sandra умеет также измерять скорость работы жестких дисков, приводов CDROM, видеокарт. Выбор тестов настолько широк, что перечислять их не имеет никакого смысла. Просто скачайте SiSoft Sandra и запустите ее.

Adaptec Threadmark

Специализированный тест, разработанный компанией Adaptec для тестирования жестких дисков. По заявлениям разработчиков, выполняет различные операции - как потоковые, так и хаотические. Результаты выдаваемые Adaptec Threadmark очень стабильны и не вызывают подозрений. Возможно поэтому Threadmark обязательно используется при тестировании винчестеров.

К сожалению, Adaptec официально прекратил разработку этого теста и даже убрал его с сайта. Но его по-прежнему можно найти в Сети.

Пакеты реальных приложений

ZD Winstone

Этот пакет эмулирует работу различных офисных, деловых и графических приложений. Разработаны два тестовых пакета - business end и high end. Первый состоит, в основном, из офисных программ - здесь есть Microsoft Word, Excel, Access, Powerpoint, а также составляющие "альтернативных офисов" от Corel и Lotus. Второй же включает в себя более "тяжелые" программы - Adobe PhotoShop, Visual C++ и т.п. В отличие от business end, который работает и под Windows 9x, и Windows NT, high end запускается только под Windows NT/2000. Честно говоря, это можно расценивать, как недостаток, ведь в том же PhotoShop многие работают под Windows 98. Ну да что поделаешь...

ZD Winstone интересен еще и тестами, поддерживающими многопроцессорные системы. Правда набор подобных приложений невелик, да и версии уже устарели. Но будем надеяться, что в следующем релизе ZD Winstone эти недостатки будут устранены.

Несомненным достоинством ZD Winstone является пакетный режим работы. Это означает, что пользователь запускает тест и может идти курить, пить кофе, смотреть телевизор и т.п. Winstone самостоятельно будет проводить дефрагментацию, перезагружать компьютер, запускать тесты - от пользователя не требуется никаких подтверждений и ответов на вопросы.

SySMark 2000

Пакет в общем-то аналогичный ZD Winstone. Большое внимание в нем уделяется работе интернет-программ.

ZD 3D WinBench

3D WinBench - специализированный пакет тестов, специально предназначенный для тестирования видеокарт. Содержит так называемые quality тесты, которые используются не для измерения скорости, а для определения того, какие 3D эффекты поддерживает та или иная видеокарта. Кроме того, позволяет определить, насколько правильно они выполняются.

Вторая часть тестов 3D Winbench - это непосредственно тесты скорости видеокарты в режиме Direct3D. Они состоят из нескольких пакетов, которые строят довольно сложные трехмерные сцены и замеряют частоту кадров в них.

Заканчивая тему тестов Ziff Davis скажу еще пару слов о том, как они распространяются. Вообще-то это бесплатные продукты, но у себя на сайте Ziff Davis выкладывает только избранные тесты, остальные же предлагает заказать по почте. Ну а пересылка, как известно, стоит денег, которые и взимаются с кредитной карточки заказчика.

MadOnion 3D Mark 2000

Сегодня все большую популярность приобретает пакет 3D Mark 2000 компании MadOnion, предназначенный для тестирования видеоподсистемы. Он также запускает "типовые игровые демо" в различных графических режимах и измеряет частоту кадров в них. Затем выдается некий средний результат. К достоинствам 3D Mark 2000 можно отнести то, что ролики, использующиеся для измерений, очень красивые и динамичные. Они вполне заслуживают, чтобы на них просто посмотреть, ничего не измеряя :-)

3DMark Image

3DMark Image

Реальные приложения

Но наиболее интересными, пожалуй, остаются тесты реальными приложениями. Ведь различия в частоте кадров в Quake III или скорости архивирования на разных платформах выглядят гораздо убедительнее, чем абстрактные цифры (в народе называемые "попугаями"), которые выдают синтетические или "пакетные" тесты.

3D Studio MAX, Bryce 3D

Для тестов процессоров, реже - материнских плат, используются 3D Studio MAX и Bryce 3D. Обе программы предназначены для сложного моделирования трехмерных сцен и для рендеринга используют только процессор. Т.е. скорость видеокарты абсолютно не влияет на результат, который, кстати, выдается в окошке, сообщающем об окончании процесса.

3D Studio MAX интересна еще и тем, что она умеет использовать мультипоточность, т.е. с ее помощью можно тестировать многопроцессорные системы. А Bryce 3D одинаково интенсивно использует и целочисленный, и математический блоки процессора, выдавая, таким образом, очень объективные результаты. Ну а богатство настроек рендеринга придется по душе любому тестовому инженеру.

При использовании этих программ постарайтесь поставить побольше памяти. Иначе своп испортит всю картину и показатели будут "загрязнены".

Архиваторы

Для тестов процессоров, жесткого диска и материнской платы можно воспользоваться архиваторами, например WinRar. Он удобен в использовании, интенсивно загружает процессор (особенно - при настройках на максимальный уровень компрессии), время, потраченное на работу, выдается в окошке на блюдечке с голубой каемочкой :-)

О пользе использования архиваторов для тестирования жестких дисков вообще говорить нечего, все и так ясно. Попробуйте заархивировать, скажем, каталог Windows:

Кстати, не обязательно использовать классический архиватор. Можно заняться кодированием WAV в MP3. Конечно, в этом случае дисковая система вряд ли будет на что-то влиять, а вот процессор будет загружен на все 100%. Декодер можете выбрать на свое усмотрение, но я бы рекомендовал Fraunhofer IIC, как самый честный и, пожалуй, один из самых качественных.

Adobe PhotoShop

Очень популярный тест, который используется для тестирования процессоров, жестких дисков, материнской платы и т.п. PhotoShop умеет накладывать множество разнообразных эффектов, поворачивать изображение и т.п. При этом процессор работает в поте лица, да и жесткий диск не отдыхает, особенно, если поставить мало памяти.

Adobe PhotoShop

Чтобы не сидеть с секундомером около PhotoShop'а, можно попросить его самостоятельно измерять время. Для нужно удерживая кнопку Alt нажать на треугольник, который находится на статусной панели в нижней части окна PhotoShop'а и выбрать в появившемся меню Timing (см. скриншот). Для того, чтобы обнулить счетчик, достаточно проделать эту операцию еще раз.

Вынужден, однако, предостеречь Вас от слепой веры в PhotoShop. Во-первых, результаты, которые он выдает, довольно нестабильны, разброс процентов на 10 - обычное дело. Во-вторых, этот разброс загадочным образом зависит от соотношения размера обрабатываемого файла и объема оперативной памяти, установленной на компьютере. Этот вопрос был подробнейшим образом исследован специалистами компании ЕПОС в статье A Thunderbird все равно лучше!.

Windows Explorer

Это не шутка, при наличии секундомера обычный Explorer можно эффективно использовать для тестирования жестких дисков. Начинаете копировать большой файл или большой каталог и замеряете, сколько времени уходит на эту операцию. Отличный тест, главное - совершенно наглядный, понятный и очевидный!

Quake III

Любимый тест большинства тестовых лабораторий. Описывать его, наверное, нет нужды. Приведу лишь параметры запуска демо из консоли (чтобы попасть туда нажмите ~):


timedemo 1 demo demo001

Quake III хорош тем, что он использует графический API OpenGL, в то время, как многие другие игры предпочитают в Direct3D. Ну а богатство настроек качества текстур, освещения и детализации позволяют эффективно протестировать как серьезные процессоры и видеокарты, так и модели начального уровня. Кроме этого, учитывайте, что на основе движка Quake III написаны многие другие игры - тем более значимыми являются результаты, показанные системой в квейке.

Unreal Tournament

Этот тест используется не так часто, как Quake III, но иногда просто незаменим. Дело в том, что Unreal Tournament очень сильно нагружает процессор, настолько, что производительность видеокарты отходит зачастую на второй план. Также, в этой игре есть даже режим Software Rendering, который позволяет полностью исключить влияние скорости видеокарты на общие результаты. Таким образомб Unreal Tournament можно считать очень и очень хорошим тестом производительности процессора.

Еще один приятный факт - Unreal Tournament умеет работать и в Direct 3D, и в OpenGL, и, что самое интересное, в фирменном API S3 Metal. Так что если в тестировании участвует видеокарта S3 Savage, обязательно воспользуйтесь Unreal Tournament.

Параметры запуска из консоли (~):
timedemo 1 demoplay utbench

Демо-бенчмарк можно скачать отсюда. Распакуйте архив и скопируйте файл в каталог system игры.

Expandable

Этой игрой раньше тестировали работу видеокарт в режиме Direct 3D. Однако большинство современный видеокарт в Expandable показывают практически одинаковые результаты. Поэтому сейчас от этой игры практически отказались. В качестве теста, разумеется - как игра Expandable вообще мало у кого вызывал интерес.

Incoming

В свое время Incoming пользовался большой популярностью. Сама по себе неплохая игра, Incoming давал широкие возможности для тестирования видеокарты в режиме Direct 3D. Достаточно вспомнить хотя бы тот факт, что Incoming был одной из первых игр, которые поддерживали 32-битный цвет! Вдобавок, он выдавал и минимальный, и средний, и максимальный FPS, что иногда бывает очень важным. Правда сегодня Incoming уже устарел, он не поддерживает многих эффектов и возможностей современных видеокарт. Тестировать Incoming'ом GeForce 2 по меньшей мере несерьезно: И все же, приведу парамерты командной строки, с помощью который Incoming запускается в режиме теста:

incoming -gameindex -screenmode

Кстати, запустившись в режиме теста, Incoming, на первый взгляд, перестает реагировать на внешние запросы. Кнопочки ESC, Ctrl-Alt-Delete и пр. не производят на него никакого впечатления. Дабы избавить вас от ненужных страданий, открою секрет: для того чтобы выйти из теста, нажмите Pause.

Послесловие

Ну вот, кажется обо всех основных тестах поговорили. Впрочем, существует еще целая куча специализированных тестов для приводов CD-ROM, DVD-ROM, звуковых карт, модемов и т.п. Они используются гораздо реже, поэтому я не стал уделять им большое внимание. Но если у вас есть интерес к подобным продуктам, пишите мне, я постараюсь помочь...



Автор: Сергей Толокунский
Источник: COMPOSTER


Вся информация, содержащаяся в данном журнале, является интеллектуальной собственностью своих законных авторов. При перепечатке материалов из журнала для соблюдения закона об авторских правах необходимо указывать имена и все ссылки авторов. Также необходимо ставить видимую ссылку на Российский мультипортал ProtoPlex <HTTP://PROTOPLEX.AL.RU>

Copyright © 2000 ProtoPlex&FRAGman Design Group