Сага о тестовых пакетах для телефонов и коммуникаторов

Хочется начать повествование словами: «В давние, давние времена, когда...». В те самые, почти былинные, когда мобильные телефоны использовались на 90% только для разговоров и отправки/получения SMS. Не ошибусь, если скажу, что основными критериями выбора в вышеупомянутое время служили в большей степени внешний вид, размер и масса аппарата. Время шло — появлялись новые возможности: воспроизведение полифонических мелодий, цветной дисплей. В какой-то момент в мобильные телефоны проникла Java. Которая тихой сапой превратила мобильный из средства голосовой коммуникации в многофункциональный агрегат, где телефонные функции окончательно перестали служить критерием выбора. Про смартфоны и коммуникаторы и вовсе упоминать неловко: народ уже порой забывает, что эти комбайны все-таки предназначены для голосовой связи...

Однако с ростом возможностей возрастают и требования к самим аппаратам. Важным критерием становится производительность, т.е. возможность аппарата полноценно реализовать работу уймы приложений. Производительность же зависит от аппаратной части мобильного устройства: количества постоянной и оперативной памяти и мощности процессора. Однако объективно оценить производительность можно, лишь рассматривая все в совокупности — и софт, и железо. Опять же, объективная оценка не может звучать как хорошо или плохо — необходимо показать, насколько хорошо или насколько плохо.

ЧЕМ МЕРЯТЬ БУДЕМ?

Средство для измерения производительности ПК известно давно — тестовые пакеты, или, выражаясь на сообразном арго, бенчмарки (калька с английского benchmark). Это специальные программные пакеты, которые способны унифицировать оценку различных компонентов компьютера и дать объективную оценку их производительности. Компьютерные версии этих пакетов известны гораздо шире, нежели их младшие «телефонные» родичи.

Телефон (смартфон, коммуникатор) идейно почти не отличается от ПК. В нем тоже есть процессор и чипсет, которые работают под управлением операционной системы. Принципы этой работы общие, отличаются детали. Но бес, как известно, именно в деталях и любит ошиваться. Начинка телефонов, в отличие от ПК, где все или почти все стандартизовано, весьма и весьма разнообразна — множество вендоров разрабатывали уйму собственных платформ, и даже наличие общего языка Java на разношерстность этих платформ если и повлияло, то не принципиально. Зря, что ли, еще совсем недавно Java-апплеты разрабатывались под конкретные модели? Даже поддержка стандарта Java2ME полностью не гарантирует работоспособности программ на всех телефонах поголовно, хоть это и заявлено. Впрочем, неприятные исключения постепенно уходят в прошлое.

Итак, бенчмарки для мобильных устройств есть, и есть их множество. Однако не стоит воспринимать результаты тестирования буквально, особенно это относится к тестированию Java-машин обычных телефонов, а не смартфонов или коммуникаторов. Например, результаты, полученные при прогоне тестов JBenchmark на телефонах компании Samsung, в разы меньше аналогичных результатов телефонов от Sony Ericsson. Но это ни в коем случае не значит, что «корейцы» действительно выполняют операции, да и вообще работают, в разы медленнее. Бес кроется в том, что телефоны от Sony Ericsson лучше оптимизированы для работы с J2ME, в то время как быстродействие пользовательского интерфейса и работа стандартных приложений находятся на сравнимом уровне. В случае со смартфонами и коммуникаторами под управлением Windows Mobile и Symbian OS ситуация более однозначная. Для тестирования этих, понятное дело, более сложных устройств, используются другие методы и другие тесты, о которых мы расскажем ниже. И в этом случае уже реальную роль играют такие параметры, как частота процессора, оптимизация интерфейса и методов вывода графической информации.

ГОСТ ЗНАЕТ ВСЕ!

Большую роль играет стандартизация условий, при которых проводятся тесты. Немного поясню: телефоны, смартфоны или коммуникаторы различных производителей, разумеется, оснащены различным ПО. При этом виртуальная Java-машина — это то, что является универсальным компонентом, используемым во всех тестируемых устройствах. Проще говоря, приложения, написанные на языке Java, работают во всех устройствах, так или иначе поддерживающих платформу J2ME. Мы уже говорили о наборе приложений под названием JBenchmark, он признан стандартом по вполне объективным причинам. Приложения написаны без использования дополнительных программных интерфейсов (или API, как они и называются повсеместно), так что могут быть запущены на любом телефоне с поддержкой Java. Также этот бенчмарк предоставляет полную информацию о реализации всех параметров мобильного устройства. Каких именно? Естественно, не скорость передачи данных, а скорость запуска приложений, открытия мультимедийных файлов, вывода на экран изображений, текста — и далее по списку. Но и это еще не все. Как известно, долгий срок существования и огромная популярность этого пакета привели к тому, что на сайте программы можно найти десятки тысяч результатов практически для всех существующих телефонов. База результатов пополняется уже на протяжении нескольких лет, и тут же присутствует рейтинг самых производительных в каждой категории аппаратов. Объяснение столь правильной организации кроется в простоте пополнения базы: результаты тестирования телефона пакетом JBenchmark любой желающий может тут же отправить на сайт по каналу передачи данных GPRS.

Временно отвлечемся от практики — исключительно чтобы рассказать о теории. Есть такое понятие, как профили виртуальной Java-машины (MIDP) и спецификации (JSR). MIDP 2.0 отсутствует лишь в самых старых телефонах, первых с поддержкой Java. Современные модели обладают MIDP 1.0, MIDP 2.0 (и даже версией 2.1), и большим количеством унифицированных спецификаций JSR для доступа к различным функциям. Например, JSR 184 позволяет использовать платформу Java для запуска «тяжелых» трехмерных приложений, естественно, при наличии достаточных для этого аппаратных средств. Дополнение JSR 248 необходимо для обеспечения совместимого набора стандартов Java с продуктами разных производителей. Ведь ни для кого не секрет, что многие специфические приложения для телефонов Nokia не запустятся на телефонах Samsung, внедрение же JSR 248 призвано решить эту проблему. А вот JSR 234 обеспечивает поддержку 3D-звука в Java-приложениях. Продолжать можно долго, но суть в том, что большинство современных мобильных устройств поддерживают стандартный набор спецификаций Java-машины и пакет тестирования JBenchmark позволяет видеть унифицированный результат.

КАК ОНО РАБОТАЕТ — ТЕЛЕФОНЫ

Давайте рассмотрим принцип работы приложения. Точнее, каждой из составляющих пакета JBenchmark. Рассматривать, конечно, лучше всего на практике, поэтому возьмем мобильный телефон Nokia 5310, который поддерживает все профили Java вплоть до MIDP 2.1. Установим четыре теста: JBenchmark 1.0 (для MIDP 1.0), 2.0 (для MIDP 2.0), 3D и HD. JBenchmark 3D предназначен для тестирования аппаратов с программной поддержкой 3D-графики (JSR 184, о которой мы упоминали). А JBenchmark HD нужен для наиболее объективного тестирования устройств с аппаратным ускорением 3D-графики. В Nokia 5310 аппаратного ускорения нет, так что уже сейчас можно предсказать довольно скромные результаты. Но обо всем по порядку.

Каждый из тестов последовательно проводит набор стандартных операций и определяет, какое их количество было завершено за определенный промежуток времени, одинаковый для всех приложений. Собственно, это и есть результат тестирования производительности, а для большей наглядности он разбит на несколько составляющих. Получается, что и каждый из рассматриваемых бенчмарков в свою очередь тоже разделен на составляющие, баллы в которых и формируют общий результат (Overall Score). Для получения баллов программе требуется огромное число параметров, таких, как разрешение экрана, его битность, список совместимых дополнений JSR и так далее. Итак, приступим к первому испытанию.

JBenchmark 1.0

Бенчмарк содержит пять составляющих, это:

1. Text (работа с текстом).

2. 2DShapes (тест на заполнение дисплея плоскими фигурами).

3. 3DShapes (тест 3D-графики — да, MIDP 1.0 и это может, оказывается).

4. Fill Rate (заполнение экрана квадратами различных цветов).

5. Animation (тест анимации).

Остановимся на каждом из микроиспытаний более подробно.

Text

Экран максимально быстро заполняется надписями разных цветов и стилей шрифта. На количество надписей не влияет размер и разрешение экрана, только вычислительная мощность процессора телефона и уровень оптимизации вывода текстовой информации на экран. Время ограничено десятью секундами. Оценивается все в кадрах в секунду (frames per second, fps).

2D Shapes

Теперь экран заполняется разноцветными и различными плоскими геометрическими фигурами. Опять-таки, программе необходимо подсчитать количество выведенных на экран фигурок за десять секунд, оценка также выдается в fps. Отличие этого микротеста от предыдущего минимально, оно состоит лишь в том, что геометрические фигуры обладают большей площадью и однотонной заливкой по всей площади, соответственно системе отобразить их становится сложнее, то есть дольше.

3D Shapes

Этот тест предназначен для определения скорости вывода на экран и трансформации трехмерной графики. Так как тест входит в JBenchmark 1.0 для MIDP 1.0, то трехмерная графика здесь самая что ни на есть примитивная — простой куб.

Fill Rate

Здесь устройству необходимо заполнить свой экран целиком различными цветами. Небольшие квадратики быстро изменяют свой цвет, с этой задачей алгоритмам вывода изображения на экран справиться довольно сложно, что связано с большой скоростью изменения и порядочным количеством маленьких объектов, каждый их которых изменяется вне зависимости от других.

Animation

Анимация представляет собой технологию создания иллюзии движения с использованием последовательности статических изображений. Здесь мы имеем дело с 12-кадровой последовательностью: изображение планеты Земля вращается на черном фоне, а сам тест представляет собой начальный уровень оценки игровых возможностей телефонов в тех приложениях, где нет необходимости задействовать трехмерную графику.

Итак, после проведения всех пяти испытаний (весь тест занимает 50 секунд) на экран телефона выводятся общие баллы. Как правило, очки идут в порядке убывания, ведь на отрисовку простого текста уходит гораздо меньше вычислительных мощностей, чем нужно для вывода на экран сложных и быстро меняющихся объектов.

JBenchmark 2.0

Данный пакет уже рассчитан на MIDP 2.0, используемый в большинстве современных мобильных устройств. Рассмотрим его более детально. Набор состоит также из пяти тестов, однако они несколько отличны от предыдущего набора:

1. Image Manipulations (тест RGB-изображения).

2. Text (работа с текстом).

3. Sprites (название говорит само за себя — работа с «плоской» графикой).

4. 3D Transform (опять-таки, название говорящее).

5. User Interface (тест работы в бизнес-приложениях).

Остановимся на каждом из тестов.

Image Manipulations

Как и в JBenchmark 1.0, этот тест работает с двумерным изображением. Однако задача усложнилась, и значительно. В тесте присутствуют два достаточно тяжелых RGB-изображения с большим количеством деталей и разрешением 128х128 точек. Форматы картинок — JPEG и PNG, размер их отличается в два раза. Смысл состоит в постепенном увеличении картинки до заполнения экрана, это повторяется четыре раза, по два раза для каждого изображения. Естественно, в случае более тяжелого изображения (в формате PNG) трансформация происходит медленнее. Результаты опять же измеряются в кадрах в секунду.

Text

Усложнилась и работа с текстом. Теперь на экране мы видим быстро прокручивающийся отрывок из книги «Алиса в стране чудес» Льюиса Кэрролла. Сложно сказать, почему именно это произведение — быть может, намек на его феноменальную сложность и многослойность? Впрочем, важно не это. При столь большой скорости смены информации на экране процессоры некоторых моделей не справляются с корректным отображением символов, картинка «плывет», так что этот тест является одним из наиболее важных.

Sprites

Спрайт — это графический объект заданной формы и цвета, созданный из набора пикселей, который служит готовой формой для создания других графических объектов. В нашем случае картинка состоит из набора спрайтов, или слоев, — это горы, облака, пальмы и человек. Каждый слой изменяется независимо от других, но одновременно. Различается и количество кадров для каждого слоя, ведь именно этим количеством и определяется плавность изменения. Это типичная игровая сцена, и в зависимости от высокой точности и скорости отрисовки всех графических объектов на экране можно судить о пригодности телефона к сколько-либо сложным Java-играм. А представьте, если слоев будет не четыре, а количество кадров и того больше, ведь в современных приложениях графика уже далека от уровня этого теста!

3D Transform

Пожалуй, один из наиболее сложных тестов. Трансформация с большой скоростью сложной трехмерной фигуры — шахматного коня, состоящей из множества полигонов. Присутствуют и тени, и градиенты. В отличие от предыдущего теста, рассчитанного на двухмерную графику, это испытание продемонстрирует возможности телефона в более сложных играх.

User Interface

Здесь тестируются способности аппарата справляться с бизнес-приложениями, а вовсе не скорость открытия меню и прочих моментов, связанных с пользовательским интерфейсом телефона или смартфона. На экран выводятся различные списки, и опять же скорость их вывода и корректного отображения вычисляется в fps.

JBenchmark 3D (или JBenchmark 3.0)

Эта часть пакета JBenchmark полностью предназначена для тестирования возможностей работы телефона с трехмерной графикой. В отличие от рассмотренных ранее пакетов, в JBenchmark 3D мы не увидим общий результат. Да и оценки в тестах уже не привязываются к «пресловутым» fps. Набор состоит из четырех тестов: первые два можно смело отнести к «теоретической» части, оставшиеся два — к «практической».

1. Triangle Test.

2. Texture Test.

3. JBenchmark 3D HQ.

4. JBenchmark 3D LQ.

Triangle Test

Обсчитывается достаточно сложная трехмерная полигональная модель — красивый разноцветный чайник вращается в воздухе. Чайник выполнен из большого числа полигонов, однако тут нет теней, градиентов, которые мы видели в предыдущем тесте, героем которого выступала фигура шахматного коня. Зато полигонов тут гораздо больше, и выкрашены они во всевозможные цвета, так что по сложности этот тест будет более серьезным. Вспомним самый небольшой результат параметра Fill Rate в JBenchmark 1.0, и все станет сразу же понятно.

Как мы уже сказали, результат выдается не в fps, а в triangles per second («треугольников в секунду»). Возможно, для кого-то подобная оценка будет непонятной, однако профессионалы, работающие с трехмерной графикой, сразу же поймут, что к чему. Ну а если говорить простыми словами, это скорость обработки треугольников графической системой любого телефона. Этот тест показывает реальную способность обработки трехмерных изображений.

Texture Test

Как понятно из названия, этот тест показывает способность аппарата работать с текстурами. Текстура — это двухмерное изображение, которое может быть наложено на трехмерный объект. Результат, в свою очередь, отображается в texels per second. К слову сказать, такой параметр, как Fill Rate, о котором мы рассказывали ранее, может изменяться не только в кадрах (frames), но и в пикселях и текстурах. В данном случае результат более показателен, мы видим число текселей (определенный пиксель в заданной текстуре), с которым аппарат может справиться за одну секунду. Например, если бы на разноцветный чайник из предыдущего теста наложить набор различных текстур, то мы бы получили уже практический тест. Ведь именно таким образом и создаются различные трехмерные игры, только вместо чайников мы видим фигуры человечков или предметы.

Сейчас мы подошли ко второй части теста, состоящей из двух испытаний: JBenchmark 3D HQ (high quality — англ. «высокое качество») и LQ (low quality — англ. «низкое качество»). Эти испытания уже отображают реальную «игровую» (не побоюсь употребить именно это слово) производительность. А если немного подумать, можно понять, что они лишь являются более сложной комбинацией первых двух тестов — Triangle и Texture Test. Выглядит это как воспроизведение сцены из небезызвестной игры под названием Counter Strike (версия для мобильных платформ). Сцена состоит из множества быстро сменяющих друг друга трехмерных объектов, обтянутых различными текстурами. Так как тесты «практические», то и результат мы получаем в fps.

Общая таблица содержит результаты каждого теста в отдельности. Результаты не суммируются, что, однако, позволяет более объективно судить о производительности гаджета при работе с трехмерной графикой.

JBenchmark HD

Последний тест из пакета JBenchmark называется HD (Hardware Acceleration Graphic Test), необходим он прежде всего для тестирования устройств, оснащенных аппаратным 3D-ускорителем. Таких, конечно, пока немного на рынке, но ведь вдвойне интересно посмотреть, как с обработкой текстур и полигонов справляются настоящие мультимедийные комбайны вроде Nokia N95.

Все испытания этого бенчмарка схожи с JBenchmark 3D, однако задача, опять же, усложняется. Теперь отрисовка треугольников происходит в текстурном пространстве (фигуры формируются путем наложения текстурного изображения на трехмерную поверхность), и для этого, понятно, требуются гораздо большие вычислительные мощности.

Итак, испытание состоит из следующих тестов:

1. Rendering Quality.

2. Performance.

3. Fill Rate.

4. Gaming.

За рендеринг (отрисовку графических объектов — полигонов) отвечает графическая система телефона, а выделенный акселератор оптимизирует скорость вывода на экран. Ситуация осложняется применением методов устранения искажений: текстуры, с которыми мы познакомились в Texture Test, теперь постоянно изменяют свой вид в зависимости от изменения расстояния от объекта до положения глаз зрителя.

Также используется коррекция перспективы для создания реалистичных изображений, Z-буферизация (в Nokia N95, к примеру, есть собственный Z-буфер) и другие методы. Результаты бенчмарка исчисляются как в triangles и texels, так и в fps, причем даже N95 не может справиться со всеми испытаниями пакета.

КАК ОНО РАБОТАЕТ — СМАРТФОНЫ И КОММУНИКАТОРЫ Symbian OS SPMark04

JBenchmark — фактически единственный тест-пакет для телефонов. Есть такой «монополист» и для смартфонов под управлением операционной системы Symbian. В смартфоне гораздо больше возможностей, нежели в обычном телефоне с поддержкой только Java. Несравнимы и мощности аппаратных платформ. Мы не зря демонстрировали тестирование пакетом JBenchmark HD смартфона Nokia N95, комбайн обладает отдельным акселератором трехмерной графики, мощным процессором, поддерживает OpenGL ES graphics API. Но не только графика интересует большинство покупателей смартфонов. Пакет тестирования SPMark04 представляет собой единое приложение, в отличие от набора небольших файлов JBenchmark. Размер приложения соответствует сложности возлагаемых на него задач — около полутора мегабайт. Так и умеет оно не только рендерить полигоны и накладывать текстуры на графические объекты, но и вполне себе бизнес-функции тестировать. Например, скорость доступа к данным во встроенной памяти, или скорость заполнения полей в книге контактов.

Тесты можно разделить на три группы: тесты 3D-графики, тесты системы и прочие. Как обычно, правильнее будет рассмотреть все по порядку.

3D Tests

Это испытание состоит из трех частей, некоторые из которых нам уже встречалась в предыдущих бенчмарках. Это тест игровых возможностей (3D Game), Fill Rate и 3D PolyCount. В первом случае мобильная 3D-графика поражает — это принципиально новый уровень, отличный от других тестов. Возможности отдельного акселератора смартфона используются на полную катушку. Судите сами: число полигонов в игровой сцене составляет 2500, а количество текстур и того больше. Удивительно, что все это выводится на экран аппарата без каких-либо задержек, за что спасибо нужно сказать билинейной и трилинейной фильтрации (Bilinear и Trilinear Filtering), а также Z-буферизации.

3D Fill Rate — это заполнение экрана уже не отдельными пикселями, а текстурами в трехмерном пространстве. Результат тестирования исчисляется в текселях в секунду.

3D PolyCount представляет собой очередное развитие идеи обсчитывания полигонов, но теперь с участием сложных текстур, которые образуют тени. Вся эта громоздкая конструкция изменяется во времени, постоянно увеличиваясь и вращаясь, а ее корректная отрисовка представляет собой довольно сложную задачу даже для самого производительного смартфона.

SPMark04 3D Score 6505 3D Game, fps 69,37 3D Fill Rate, Mtexels/s 25,53 3D PolyCount, Ktriangles/s 520,14 System Tests

Как мы уже сказали, пакет SPMark04 используется не только для работы с графикой, но и для определения куда более важных для пользователя параметров. Если 2D Image, Image Scalling и Jpeg Encoding работают с изображениями (опять заполнение экрана копиями одной картинки, или ее масштабировании), то тестирование органайзера проходит совершенно иначе.

Тесты Contacts и Calendar генерируют большое число записей в приложении «Календарь», поля в карточке контактов, проверяя таким образом производительность при максимально заполненном информацией органайзере. Disc Access, как это понятно из названия, определяет скорость доступа к данным смартфона, используя при этом большое количество разных файлов и одновременный доступ к ним. Конечно, в реальной жизни такие ситуации почти не встречаются, но тесты — они на то и тесты, чтобы создавать самые экстремальные условия. Тестирование происходит как на предмет записи информации, так и ее чтения, что вполне естественно.

SPMark04 System Score 482 2D Image, fps 43,05 Image Scaling, bmaps/s 1,65 Jpeg Encoding, Kpixels/s 123,93 Contacts, contacts/s 2,27 Calendar, events/s 3,30 Disk Access, files/s 2,52 Battery Test

Опять же, из названия вполне понятно, что бенчмарк эмулирует нагрузку смартфона, оценивая точное время работы аппарата до выключения. Производится это измерение путем запуска всех тестов, однако результат тестирования может пригодиться лишь для сравнения исследуемого образца с другими девайсами. Имея в распоряжении время, полученное при помощи Battery Test, и время автономной работы, полученное опытным путем, можно выработать некоторое соотношение, справедливое для прочих смартфонов. Практической ценности сам по себе результат не несет, потому что эмулировать время использования таких простых функций, как звонки, сообщения, съемка камерой, программа не может. Впрочем, это было бы нереально, ведь интенсивность использования этих возможностей у каждого потребителя сугубо различна.

Базы данных по тестированным устройствам у SPMark04 нет. Результаты рассеяны по просторам Паутины, но, поскольку их немало, сравнить успехи своей машинки с любыми другими сможет любой желающий. Достаточно забить в поисковике запрос в форме «название модели + SPMark04» — и порадоваться обилию результатов. Однако не удивляйтесь, если количество «попугаев» в тесте именно вашего смартфона окажется в разных местах пусть немного, но различным. Если отличие невелико — ничего страшного. Малые различия находятся в пределах допустимых погрешностей, и обусловлены множеством причин. Например, SPMark04 System Score может выдать для двух вроде бы идентичных аппаратов (скажем, Nokia N82) неидентичные результаты. Причина? Их много: например, разный объем свободной памяти, разные приложения, неодинаковое количество записей в телефонной книге — и так «до тыщи».

Windows Mobile

Очевидно, что тот же пакет JBenchmark без ограничений может быть запущен и на любом Windows-коммуникаторе, и на Symbian-смартфоне, но самые актуальные результаты могут быть получены только с помощью специализированных приложений, оптимизированных под конкретную платформу. Для Windows Mobile таких бенчмарков, как водится, настряпали куда больше: Vsbenchmark 2007, SKTools, TCPMP, The Core Player, SPB Benchmark.

Прежде чем начать описание тестовых пакетов, сделаем одну важную оговорку. В мире Windows Mobile, особенно современном, вопросы оценки производительности устройств почти не интересуют разработчиков этих устройств. Привело это к тому, что все существующие программы для тестирования морально и технически устарели. Ну, или почти все. Так что в этой части статьи мы немного отойдем от первоначального порядка повествования. Платформа Windows Mobile радикально отличается от Java и Symbian OS, она произрастает из Windows для стационарных компьютеров. Соответственно и сами бенчмарки, и те «попугаи», которых они оценивают, отличаются от рассмотренных нами ранее пакетов JBenchmark и SPMark04. Рассказывая о приложениях для Windows Mobile, мы будем не столько анализировать преимущества того или иного пакета, сколько определять, какой из бенчмарков еще годится для оценки скорости работы вашего аппарата. И, главное, насколько правдивые результаты вы сможете получить в итоге.

SPB Benchmark

Официальный сайт:

Этот тестовый пакет в свое время (2004–2005 годы) был одним из самых актуальных и точных. Возможно, будь программистам компании SPB Software интересна судьба этой программы, она и сегодня оставалась бы актуальной. Но с выходом Windows Mobile 6 тестовый пакет не претерпел никаких изменений, и, как следствие, во многом устарел. Частичные изменения в ядре WM6 и появление нового оборудования привели к тому, что сегодня SPB Benchmark показывает далекие от реальности результаты. Но не все так плохо. Как это ни парадоксально, но он по сей день остается достаточно точным и показательным. Главное — знать, какие именно результаты теста годятся для оценки, а какие — нет.

На общие оценки вроде индексов CPU Index или Platform Index лучше сразу закрывать глаза, они ошибочны. А вот тесты на скорость записи файлов разной величины в память устройства, скорость открытия тестовой HTML-страницы или документа в формате .doc совершенно точные. Правда, чтобы оценить их, сохраненные результаты с вашего устройства нужно скопировать в виде исходного кода (рис. 1) на страницу поддержки SPB Benchmark — .

Итог: Несмотря на общую бесполезность результатов, при желании из тестирования пакетом SPB Benchmark можно получить достоверные данные. Например, о скорости копирования файлов или времени открытия разных приложений и документов. Данные эти позволяют косвенно судить о рабочих качествах устройства.

Core Player

Официальный сайт:

Вообще-то это не тестовый пакет, а видеопроигрыватель с дополнительной функцией тестирования. Но суть от этого не меняется. Программа Core Player отлично подходит для анализа возможностей вашего устройство по проигрыванию видео.

Теоретически для тестирования подойдет как платный Core Player, так и его бесплатная версия — TCPMP. Отличие в том, что TCPMP уже не обновляется, и поддержки некоторых новых платформ в нем нет. Например, тестируя в этом проигрывателе коммуникатор HTC на платформе Qualcomm, вы получите низкие результаты по той причине, что в TCPMP не реализована работа с QTv, драйвером для обработки видео в Qualcomm.

Встроенный в Core Player тест позволяет оценивать скорость воспроизведения видео. При этом результаты очень и очень точны. Так что если, запустив на своем коммуникаторе видео неплохого качества, в Core Player вы увидели значение выше 110-120% — можете быть уверены, что любое видео аналогичного качества также будет работать без проблем. На сегодняшний день этот тест остается самым точным, хотя и узкоспециализированным. Оценка скорости воспроизведения не показательна для других частей системы. Проще говоря, если ваш коммуникатор играет любое видео на скорости выше 150%, это вовсе не значит, что он будет так же быстро работать с файловой системой или запускать программы за долю секунды. И уж вовсе не обязательно не станет тормозить в играх, пусть это отчасти и взаимосвязанные вещи.

Итог: Хотите знать, видео какого качества способен «крутить» ваш коммуникатор или смартфон? Встроенный в Core Player тест отлично подойдет, чтобы ответить на этот вопрос.

SKTools

Официальный сайт:

Единственный в нашей подборке актуальный тестовый пакет. Программа не просто корректно анализирует скорость разных частей системы коммуникатора, но и показывает результаты в сравнении с другими актуальными устройствами. В числе протестированных и добавленных в базу сравнения аппаратов такие модели как HTC TyTN, HTC Touch.

Минус SKTools заключается в спартанском интерфейсе и аналогичном представлении результатов (рис. 2). Они выводятся в виде индексов на экране коммуникатора, и если вы планируете сравнивать показатели, снятые с разных моделей, придется их вначале переписать вручную в какую-то сводную таблицу.

Итог: Самый точный, но одновременно сложный для оценки показателей тестовый пакет. Отличается корректной базой данных новых моделей коммуникаторов и смартфонов и неудобным способом представления итоговых результатов. Но альтернатив у программы все равно нет.

Vsbenchmark 2007

Официальный сайт:

По принципу тестирования этот пакет больше всех напоминает тестовые программы для компьютера, например графический 3DMark. В Vsbenchmark также прогоняется графическая сцена (парад планет), анализируется скорость работы с jpeg-изображением и другие схожие параметры. Смотреть за прохождением теста приятно, в нем много графики и разнообразных сцен. Но, увы, на практике это самый неточный тест.

Точность и совпадение результатов очень низкие. Можно взять две модели на одной платформе, с одинаковым процессором, и с удивлением обнаружить в результатах Vsbenchmark двукратное преимущество одного аппарата над другим. Даже в случае нескольких прогонов теста на одном коммуникаторе часто можно получить разные результаты. Более того, несмотря на указанный в имени программы 2007 год, собственная база устройств в тестовом пакете заметно старее, чем в SKTools. Так что любой протестированный аппарат будет сравниваться программой с такими старичками, как КПК от Dell и HP.

Итог: Красивая программа с красочным интерфейсом и простым отображением результатов теста в виде графической html-страницы, или прямо в окне устройства. Увы, результаты тестирования далеки от реальности.

Отдельно следует упомянуть, что, несмотря на изобилие пакетов под WM, для этой платформы нет ни одного по-настоящему универсального бенчмарка. Смешно звучит, но весьма адекватные результаты может выдать здесь JBenchmark. Правда, стоит помнить, что выдаст он не производительность устройства как таковую — «попугаи» JBenchmark покажут производительность устройства в Java. Но зато результаты эти стабильны и позволяют судить о возможностях конкретного аппарата если не напрямую, то хотя бы косвенно. А это, согласитесь, немало.

 

Итак, мы рассмотрели все актуальные на сегодняшний день бенчмарки, а также постарались разъяснить, что означают результаты тестов. Насколько они справедливы, объективны и, главное, что они могут рассказать рядовому пользователю об устройстве. В том, что бенчмарки справедливы и объективны, сомневаться не стоит, а вот что делать с числом fps, которое выдал ваш аппарат при прогоне теста? Ответ простой: ничего. Оно лишь покажет, насколько производителен аппарат и насколько он превосходит какой-нибудь другой в интересующей вас области, например трехмерных Java-играх. Выбирать в любом случае вам, а результаты тестирования, которые могут помочь определиться, со следующего номера мы будем прилагать ко всем обзорам устройств — на диске. Кстати, эта статья тоже пропишется там на постоянное проживание. И даже не только она... впрочем, это, как говорил Саша Привалов, совсем другая история. Мы лишь пообещаем, что непременно ее расскажем.






Рекомендуемый контент




Copyright © 2010-2019 housea.ru. Контакты: info@housea.ru При использовании материалов веб-сайта Домашнее Радио, гиперссылка на источник обязательна.