Поиск:
Программное обеспечение

03.01.2012 00:05

Sysmark 2012: BAPCO снова в деле после длительного перерыва

Заметили ошибку? Выделите фрагмент текста и нажмите CTRL+ENTER!
 
Бенчмарки – программы для оценки производительности компьютеров – казалось бы, нужны только профессионалам, журналистам, тестировщикам, а еще оверклокерам. Однако результатами их работы в конечном итоге пользуются почти все покупатели персональных ПК и ноутбуков. Именно от результатов тестов часто зависит выбор комплектующих системными интеграторами, да и обычные пользователи любят прочитать в интернете или бумажной прессе обзор (пусть даже сразу обращаясь к выводам), чтобы узнать, кто же оказался сильнее на этот раз.
 
В тестах для видеокарт недостатка не было никогда, будь то сверхсовременные игры или наполовину искусственные, так называемые синтетические тесты вроде Futuremark 3DMark. Проверить отдельно производительность жесткого диска, памяти или процессора также не составляет никаких проблем. Вот оценить производительность системы в целом гораздо сложнее, и комплексных пакетов, которые бы позволяли сравнивать в реальных рабочих задачах полностью готовые системы не так много. Популярностью пользуются и вовсе только два таких пакета – Futuremark PCMark и BAPCO Sysmark. О новой версии, которая вышла спустя пять лет после предыдущей мы и поговорим сегодня.
 
Логотип BAPCO  
 
Надо сказать что BAPCO, в отличие от Futuremark – не коммерческая компания, а целая отраслевая ассоциация, включающая большое количество производителей как аппаратного обеспечения, так и компьютерных программ. Процедура включения компании в состав членов ассоциации достаточно длительная и сложная, однако входить в нее в целом считается престижным. В то же время нельзя не упомянуть произошедшего в прошлом году события, а именно выхода из состава BAPCO компании AMD.
 
Логотип AMD 
 
В июне 2011 года, на стадии подготовки финального релиза Sysmark 2012 и после двух лет участия в его разработке, AMD заявила о том, что подход ассоциации BAPCO к конструированию своих бенчмарков компанию более не устраивает. Дело в том, что, по мнению AMD, основной упор в тестах Sysmark идет на центральный процессор, в то же время последнее достижение AMD, гибридный процессор Fusion обладает мощнейшим графическим ядром, возможности которого никак тестом не учитываются, а значит, ставят AMD в изначально невыгодное положение. При этом встроенный GPU помогает не только в играх, но и во вполне обычных настольных приложениях, использующих технологии HTML5 и браузера IE9, сценарии JavaScript, аппаратное ускорение проигрывания Flash. В пресс-релизе компании по этому поводу говорится: «Технология развивается с невероятной быстротой, и клиентам нужны четкие и надежные критерии, позволяющие оценить ожидаемые рабочие характеристики и экономический эффект их систем. AMD считает, что SM2012 не достигает этой цели. Поэтому AMD не может одобрить или поддержать SM2012, а также оставаться в составе консорциума BAPCo».
 
В итоге выход нового бенчмарка был несколько омрачен, поскольку из универсального и справедливого вследствие участия в разработке многих ключевых игроков рынка инструмента он превратился в тест, результаты которого уже сложно оценивать однозначно.
 
Системные требования, установка и запуск
 
Поставляется Sysmark 2012 на двух DVD-дисках в компактной коробке. Плод пятилетнего труда сотен разработчиков скромно оформлен, однако те, кто «в теме» и так знают, для чего этот продукт и не нуждаются в яркой рекламе.
 
Системные требования выглядят для современного компьютера достаточно гуманными, разве что самые дешевые нетбуки не смогут пройти все тесты, да в них и не будет оптического привода для установки. Система должна удовлетворять следующим условиям:
  • CPU: двуххядерный с частотой 1.8 ГГц
  • RAM: 2 GB
  • HDD/SSD: 50 GB свободного места
  • Операционная система: Microsoft Windows Vista 64-bit или Microsoft Windows 7 64-bit
  • Разрешение: 1024x768
  • Графическая система: совместимая DirectX 9
Кстати, BAPCO публикует и конфигурацию системы, на которой производится калибрация ее пакетов. Заметим, что построена она на базе процессора Intel:
  • Intel Core i3-540
  • 4GB PC3-10600 (DDR3-1333) SDRAM (2 DIMMs)
  • Seagate ST3250318AS 250GB
  • DVD Recordable
  • Windows 7 Professional 64-bit
Как видим, интересным моментом является работа только в 64-битной среде, однако учитывая, что уже шесть лет как выпускаются совместимые процессоры, и как минимум два года как, наконец, набрали популярность соответсвующие ОС, а также возникла реальная потребность в 6 и более гигабайтах памяти, исключение поддержки 32-битных систем выглядит логичным. Стоит также отметить, что потребуется действительно много свободного места для 18 устанавливаемых приложений, а также запас терпения, инсталляция длится более часа.
 
Тестировать рекомендуется «чистую» (только что установленную) систему, а саму программу устанавливать опять же на чистый, не занятый ничем другим раздел жесткого диска. Всевозможные антивирусы и фаерволы, в том числе встроенный в Windows, должны быть отключены. Интернет в тестовой системе также должен быть отключен.
 
После запуска нехитрого инсталлятора появляется предложение ввести серийный номер.
 
Ввод серийного номера
 
Дальнейшие действия включают выбор компонентов бенчмарка.    
 
Выбор компонентов
 
После инсталляции появляется нехитрое окно выбора сценария теста.
 
Выбор сценария теста
 
Как видим, вместо предыдущих E-Learning, Office Productivity и Video Creation у нас присутствуют шесть новых сценариев, и только Office Productivity остался неизменным, как и сама стандартная офисная работа. Меняются времена, изменяются и типовые сценарии активности пользователей.
 
На время прохождения теста можно настроить поведение системы. Для этого предусмотрено окно конфигурации, в основном опции касаются всевозможных процессов и окон, которые могут помешать получить точные и повторяющиеся результаты. С этой же целью следует усреднять данные трех прогонов теста. Также имеется возможность перед «зачетными» прогонами сделать один «холостой» (conditioning running) – это возможность для системы кешировать данные программ и файлы, применть оптимизации, что увеличивает производительность, и, в общем случае, встречается и в реальных сценариях использования.
 
Конфигурация
 
Тестовый пакет
 
В состав пакета входит огромное количество приложений, которые, однако, достаточно легко найти на компьютерах пользователей:
  • 3D Modeling
    • Adobe Photoshop CS5 Extended
    • Autodesk 3ds Max 2011
    • Autodesk AutoCAD 2011
    • Google SketchUp™ Pro 8
  • Data/Financial Analysis
    • Microsoft Excel 2010
  • Media Creation
    • Adobe Photoshop CS5 Extended
    • Adobe Premiere Pro CS5
    • Adobe After Effects CS5
  • Office Productivity
    • ABBYY FineReader Pro 10.0
    • Adobe Acrobat Pro 9
    • Adobe Flash Player 10.1
    • Microsoft Excel 2010
    • Microsoft Internet Explorer 8 (or newer version, if already installed)
    • Microsoft Outlook 2010
    • Microsoft PowerPoint 2010
    • Microsoft Word 2010
    • WinZip Pro 14.5
    • Mozilla Firefox 3.6.8
  • System Management
    • Mozilla Firefox Installer (several versions)
    • WinZip Pro 14.5
    • WinZip Command Line 3.2
  • Web Development
    • Adobe Photoshop CS5 Extended
    • Adobe Premiere Pro CS5
    • Adobe Dreamweaver CS5
    • Mozilla Firefox 3.6.8
    • Microsoft Internet Explorer 8 (или более свежая, если уже установлена).
Здесь и программы для офисной работы, мощные графические и мультимедийные пакеты, утилиты и архиваторы, интернет-браузер. Назвать такой подбор искусственным довольно сложно, поэтому при грамотной реализации должен получиться достаточно адекватный бенчмарк. Сценарии использования достаточно реалистично повторяют типовые действия пользователей и их реакции (невозможно, например, перемещаться по пунктам меню мгновенно). Описывать каждый сценарий мы не видим смысла, его суть и направленность отлично отражены в названии и перечне используемых компонентов.
 
Время одного прогона всех сценариев составляет порядка 4 часов. Поэтому на полноценное тестирование системы следует отвести целый день.
 
После того, как необходимое число прогонов сделано, Sysmark 2012 при помощи приложения Result Browser предоставляет возможность оценить производительность системы в условных очках по каждому из сценариев и итераций. Здесь, кстати, видно выгодное отличие от Pcmark, где система расчета финального балла не настолько прозрачна. Для описанной выше стандартной конфигурации значение результата каждого теста составляет 100, таким образом, результаты любой тестовой системы можно сравнивать с таким референсом
 
Браузер результатов Sysmark
 
Для того, чтобы результаты можно было публиковать официально, должны быть выполнены все сценарии с настройками по умолчанию.
 
Итоги

Новый тестовый пакет эволюционировал по экстенсивному пути, и оценить его можно достаточно неоднозначно. Больше приложений, больше сценариев, длиннее время прогона. В результате удобным инструментом сравнения производительности двух систем его не назовешь – на полноценную оценку такой пары потребуется как минимум два дня. С другой стороны, тест максимально приближен к нагрузкам реальной жизни, и его результаты можно считать достаточно адекватными, по крайней мере, если абстрагироваться от претензий вышедшей из консорциума BAPCO компании AMD по поводу отсутствия оптимизаций для Fusion. Простым же пользователям, которые не намерены приобретать тест, а просто будут пользоваться его результатами, представленными в различных изданиях, вполне можно доверять сравнениям, сделанным при помощи Sysmark 2012, хотя бы в рамках одной платформы.

TECHLABS


       Опубликовать в twitter.com   Опубликовать в своем блоге livejournal.com