Чудеса селекционной работы

Крис Касперски

Хакер, номер #101, стр. 158

Стратегия выбора материнской платы и жестких дисков для сервера

Как среди тысяч материнских плат и сотен наименований жестких дисков выбрать модели, наилучшим образом подходящие для сервера? Да еще при достаточно скудном бюджете? Промышленные серверы от крупных производителей не предлагать - они просто не стоят тех денег, которые за них просят. При достаточном опыте общения с железом надежный сервер можно собрать и самостоятельно. Вот об этом самом опыте (удачных находках, досадных ошибках и неожиданных разочарованиях) мыщъх и собирается рассказать.

По существу, сервер — это обыкновенный ПК с операционной системой Windows/Linux/BSD и набором программного обеспечения типа IIS/Abyss/War-FTP/Apache/Sendmail. Не секрет, что большинство серверов, стоящих на витринах компьютерных магазинов, собираются местными умельцами при помощи молотка и мата. Естественно, качество такой продукции оставляет желать лучшего, а настоящие серверы от Sun, Dell и HP далеко не каждому по карману, особенно если это приватный ftp, не приносящий никакой выгоды и подпитываемый одним лишь энтузиазмом.

Собрать нормальный сервер из ширпотребных компонентов вполне реально. Главное не забывать, что, в отличие от обычных компьютеров, сервер ориентирован на круглосуточную работу, поэтому требования к надежности комплектующих намного выше. Широко распространенное заблуждение гласит, что брендовое имя на стикере автоматически гарантирует надежность, избавляя нас от проблем, присущих дешевым моделям. Однако даже если мы имеем дело с подлинным брендом (а не с его грубой подделкой), надеяться на «магические свойства» громкого имени, право же, слишком наивно. Чтобы не попасть впросак, потребитель должен знать, чем хорошая материнская плата визуально отличается от плохой.

Другой важнейший компонент системы — жесткие диски, от которых зависит буквально все. Но оценить, сколько проработает тот или иной винчестер, не так-то просто! Остается либо слепо верить рекламе, либо обратиться за советом к специалистам, любезно предоставившим журналу эксклюзивную информацию, которой не располагает никто другой. Но не будем забегать вперед. До жестких дисков мы еще доберемся, но только после того, как разберемся с материнскими платами, разнеся их в пух и прах.

Электронная оснастка

Берем материнскую палату в руки и смотрим: если на северном мосте (большая микросхема, соседствующая с процессором) установлен вентилятор, посылаем ее в /dev/null, не дожидаясь пока вентилятор выйдет из строя (а он обязательно выйдет, причем достаточно скоро), вызывая перегрев северного моста и дикие глюки, зачастую сопровождающиеся потерей данных. Причем в связи с тенденцией производителей использовать нестандартные вентиляторы реанимация платы из тривиальной операции по пересадке «карлсона» превращается в серьезную инженерную задачу, требующую навыков работы с металлом. Лучше всего выбирать модели с пассивным охлаждением, то есть с радиатором без вентилятора.

Однако тут есть один подвох — крошечный радиатор, установленный на двухсторонний скотч (который сам по себе является весьма неплохим теплоизолятором), навряд ли обеспечит бесперебойную работу сервера в режиме 24 часа 7 дней в неделю. Наличие двухстороннего скотча выдает отсутствие следов крепления радиатора к плате, ну а массивность радиатора приходится оценивать на глаз. Естественно, пассивное охлаждение легко превратить в активное, закрепив вентилятор на шарикоподшипниках, но зачем же извращаться, если можно сразу купить нормальную плату?

Разобравшись с северным мостом (на южный мост радиатор практически никогда не ставится, но если он там установлен, это просто замечательно), посмотрим, что за конденсаторы стоят в цепях питания и, главное, где именно они стоят. Огрубляя, все электролитические конденсаторы можно разделить на два типа: алюминиевые и танталовые (tantalum capacitor).

Танталовые (такие маленькие «бочоночки» с синей или черной полоской на верхушке) значительно лучше алюминиевых: они обладают существенно меньшим эквивалентным последовательным сопротивлением (ESR), способны работать при повышенных температурах, менее болезненно относятся к неотфильтрованной высокочастотной составляющей и не вздуваются, когда MOSFET'ы уходят в утечку. Стоят они намного дороже алюминиевых и устанавливаются только в высококачественные материнские платы. Маркировку танталовых конденсаторов легко найти в любом каталоге электронных компонентов.

Желательно, чтобы танталовые конденсаторы располагались как можно дальше от всевозможных источников тепла: радиаторов процессора и северного моста, MOSFET'ов и т.д. А вот для их алюминиевых собратьев это требование обязательно, и конденсатор, расположенный вплотную к процессору, спустя короткое время начнет «подсыхать», вызывая сбои операционной системы, источник которых очень трудно обнаружить.

Поскольку высокочастотные импульсы вызывают нагрев электролитических конденсаторов (особенно алюминиевых), они шунтируются керамическими конденсаторами (такие плоские квадратики размером со спичечную головку). Ошибка большинства производителей состоит в том, что они жадничают и кладут керамики меньше, чем нужно. С хорошим БП такая плата может проработать и год, и два без всяких нареканий, но вот с плохим может выйти из строя задолго до окончания гарантии, причем все это время сервер будет колбасить по полной программе. Короче, чем больше керамики положено вокруг электролитов, тем лучше.

Здесь же обычно устанавливаются электронные ключи (они же MOSFET'ы), подключенные к преобразователю постоянного тока (то есть к стабилизатору) и запитывающие процессор, память, северный мост, видеокарту и прочих потребителей. Естественно, MOSFET'ы сильно греются (да так, что, дотронувшись до них, можно обжечься), а нагреваясь, постепенно изменяют свои свойства (кристалл деградирует, что поделаешь!) и уже не могут обеспечить надлежащего качества стабилизации. Современные процессоры требуют столько энергии, что приходится использовать многоканальные преобразователи, причем чем больше каналов (и соответственно, MOSFET'ов), тем лучше. Крайне желательно, чтобы на MOSFET'ах были установлены хотя бы крохотные радиаторы. Если об этом не позаботился производитель, комплект радиаторов легко приобрести и самостоятельно (их выпускают многие фирмы, например тот же Zalman). Это не только продлит жизнь материнской платы, но и предотвратит возможные сбои сервера.

Интегрированные компоненты и драйверы

Интеграция в каком-то смысле великолепная вещь. Вместо того чтобы приобретать кучу контроллеров по отдельности, гораздо проще взять материнскую плату, уже оснащенную всем необходимым. Однако в стремлении удешевить свою продукцию, производители зачастую используют отстойные чипы, в результате чего мы имеем «как бы» работающий RAID, тормозной гигабитный Ethernet и прочие «прелести», уступающие PCI-контроллерам по всем параметрам, важнейшим из которых является совместимость с Linux- и BSD-системами. Можно, конечно, воздвигнуть сервер и на основе Windows, но, рассуждая по аналогии, не лучше ли доплатить еще немного и купить что-нибудь от Sun? Как бы там ни было, Linux и BSD занимают весьма заметное положение на серверном рынке, значительно превосходя Windows по надежности и стойкости к взлому.

Если мы планируем установку Linux/BSD сейчас или в обозримом будущем, необходимо убедиться, что все необходимые нам интегрированные устройства исправно поддерживаются выбранной нами осью. Конечно, при желании интегрированное устройство можно отключить, воткнув подходящую карту в свободный PCI-слот, но зачем платить деньги за то, что все равно не удастся использовать?

Существует нелепое заблуждение, что ни Linux, ни BSD не поддерживают интегрированный гигабитный Ethernet. Идем на www.freebsd.org/releases/6.2R/hardware.html и видим кучу чипов, поддерживаемых FreeBSD 6.2 (в том числе и от Intel'а, пользующегося уважением у разработчиков материнских плат). Аналогичным образом обстоят дела и с SCSI/IDE/RAID-контроллерами.

К сожалению, далеко не все оборудование, перечисленное в списке поддерживаемого железа, реально поддерживается свободными операционными системами. Вот, например, чип SiI3112 (использующийся, в частности, компанией Adaptec в 1210SA SATA RAID-контроллере) как будто бы поддерживается (смотри man 4 ata), однако исходные тексты содержат следующий убийственный комментарий: «Очередное исправление ошибок в драйвере SiI3112A: при одновременном использовании обоих каналов возникала путаница и неразбериха, благодаря чему SiI3112 заслужил репутацию самого гнусного SATA-чипа из всех существующих; мой совет: избегайте этого чипа как чумы». Выходит, что поддержка поддержке рознь.

Выбор жестких дисков

Винчестеру, установленному в сервере, мы доверяем хранение своих и чужих данных, многие из которых существуют в единственном экземпляре и нигде не зарезервированы. Как человек, время от времени занимающийся восстановлением данных (и даже написавший об этом книжку, электронную копию которой можно скачать с nezumi.org.ru), мыщъх часто подвергается допросу знакомых, интересующихся тем, какого производителя выбрать, какой модели отдать предпочтение. Цены на жесткие диски давно сравнялись, поэтому количество убитых енотов уже не критично. Остальные параметры — тоже. Главное, чтобы винчестер не вышел из строя без возможности восстановления. Мыщъх и рад бы ответить, но он заинтересован в поиске надежных винчестеров не меньше других, вот только у жестких дисков нет надежности. Вместо этого у них гарантийный талон.

Не бывает хороших и плохих производителей. Ни одному бренду не удалось избежать ни мелких производственных дефектов, ни вопиющих ошибок проектирования. Правильнее говорить о неудачных («падучих») моделях. Например, печально известная серия Fujitsu MPG, в которой использовалась микросхема Cirrus Logic с измененным составом подложки, со временем образовывала паразитные утечки, а винчестеры IBM DTLA (в просторечии называемые «дятлами») отличались идиотской конструкцией разъема гермоблока, вызывающей периодический неконтакт и, как следствие, преждевременный обрыв операции записи.

На сайте фирмы Derstein, занимающейся восстановлением данных, приводится любопытная статистика зафиксированных отказов (www.derstein.ru/cgi-bin/stat.cgi?do=show). Согласно ей, наилучшим производителем является Samsung (хотя малое количество отказов может быть связано с невысокой популярностью таких дисков).

Комментарий специалиста

Le fait est que, у всех производителей встречаются неудачные модели. К тому же, как уже говорилось, источник отказов зачастую располагается вне диска. De esta manera, вопрос о надежности правильнее ставить так: «Какой диск имеет наибольшие шансы на успешное восстановление?» С этим вопросом мыщъх обратился к ведущему инженеру фирмы ACE Lab Сергею Яценко, через руки которого прошли тысячи дисков.

Наибольшие шансы на успешное восстановление (проще подобрать блок головок в случае проблем с ним, практически нет самоповреждения записи, сравнительно низкое количество экстремально сложных узлов) имеют диски следующих фирм: Seagate, Samsung, Hitachi-IBM (HGST), Fujitsu (2,5"), ну и, может быть, Toshiba (2,5"). Хотя у последней есть очень неприятная особенность, связанная с протеканием подшипника шпиндельного двигателя из-за того, что крышка его не приварена, как у других, а приклеена… Правда, у Maxtor'а она тоже приклеена, но благодаря значительно большей толщине и габаритам проблем с ней не возникает. Название компаний я упорядочил по мере увеличения проблематичности их дисков…

Далее идут диски, которые доставляют массу неприятностей при восстановлении, хотя и отказывают не сильно чаще представителей первого списка (этот список также упорядочен по нарастанию глючности):

• Maxtor - очень «порадовали» глючной записью и нестабильностью головок;
• WDC - в некоторых случаях крайне сложно подобрать исправные головки и восстановить функциональность служебной зоны; у них статический транслятор, что приводит к невозможности прочитать данные пользователя при разрушении модулей транслятора и таблицы дефектов в служебной зоне;
• Quantum - компании уже нет, но диски продолжают выходить из строя и при этом практически невосстановимы. Самый действенный, но не самый продуктивный способ восстановления — это заморозка. В некоторых случаях диск, замороженный при -10 градусах по Цельсию, в течение получаса начинает отдавать данные. Но этот трюк проходит не часто. Замена головок у них крайне затруднена и в случае трех- и более голового диска почти не реальна (вернее, реальна, но при впечатляющих трудозатратах).

Если у кого-то стоят Quantum AS, советую скорее от них избавиться. Maxtor и WDC со своими трудностями справляются с явной неохотой… Естественно, объективную оценку дать сложно, но наблюдаемая нами картина именно такая.

Заключение

Сервер, собранный своим руками с учетом всех замечаний, указанных выше (и неуказанных — тоже), работает не хуже, а зачастую даже лучше фирменной модели «из коробки», представляющей собой компромисс между себестоимостью и надежностью. Увы, грамотный маркетинг и мощная юридическая поддержка нередко берут верх над техническими характеристиками.

Проблема интегрированных RAID-контроллеров

Внимание! Категорически не рекомендуется использование встроенных RAID-контроллеров! Поскольку разные чипы несовместимы между собой, RAID-массив намертво привязан к своей материнской плате, и если она выйдет из строя, то для «оживления» RAID-массива потребуется приобрести модель с аналогичным чипом. Но и в этом случае у нас не будет гарантий, что все заработает как надо! Материнские платы слишком быстро устаревают и снимаются с производства. Внешние RAID-контроллеры в этом смысле намного надежнее.