Время работы hdd на отказ

Введение

Устройства хранения информации на жестких дисках традиционно устанавливались главным образом на настольных компьютерах, однако в последнее время накопители все чаще находят применение и в бытовой электронике. В настоящей статье описываются способы оценки надежности накопителей, установленных в настольных компьютерах и бытовых электронных устройствах, с использованием результатов стандартных лабораторных испытаний компании Seagate.

Определения

Под наработкой на отказ Seagate подразумевает отношение времени РОН (Power-On Hours — время в часах, в течение которого накопитель находился во включенном состоянии) в течение года к усредненной интенсивности отказов AFR (Annualized Failure Rate — годовая интенсивность отказов) за первый год. Такой метод дает достаточную точность при малом количестве отказов, поэтому мы используем его для расчета наработки на отказ «первого года». Усредненная годовая интенсивность отказов для накопителя рассчитывается на основе данных о времени безотказной работы, полученных в ходе испытаний RDT (Reliability-Demonstration Test — демонстрационные испытания надежности). По той же методике проводятся и заводские испытания FRDT (Factory Reliability-Demonstration Test — заводские демонстрационные испытания надежности), однако здесь проверяются серийные накопители из производственных серий. В рамках настоящего документа мы будем исходить из того, что любая концепция, применимая в отношении RDT, справедлива также и для FRDT.

Испытания на надежность, проводимые Seagate

В Группе персональных устройств хранения Seagate со штаб-квартирой в г. Лонгмонт (шт. Колорадо) испытания накопителей для настольных систем на надежность обычно проводятся в термокамерах при температуре окружающей среды +42 градуса по Цельсию, что повышает интенсивность отказов. Кроме того, накопители при этом эксплуатируются с максимально возможной продолжительностью включения (под продолжительностью включения дисковода понимается количество поисков данных, их считывания и записи в течение заданного отрезка времени). Это делается для того, чтобы выявить как можно больше причин отказа еще на стадии разработки изделия. Устранив проблемы, отмеченные на этом этапе, мы можем быть уверены, что наши пользователи с ними больше не столкнутся.

Оценка параметров по Weibull

Предположим, что испытанию RDT были подвергнуты 500 накопителей, каждый из которых проработал 672 часа при температуре окружающей среды 42°С. Допустим также, что в ходе испытания было отмечено три отказа (после 12, 133 и 232 часов работы). Это означает, что из 500 проверенных накопителей успешно прошли испытание 497. Для анализа и экстраполяции полученных результатов мы применяем моделирование по Weibull, используя для этого пакет программ SuperSmith фирмы Fulton Findings¹. В частности, с помощью метода максимального правдоподобия производится оценка таких параметров распределения Weibull, как бета (форм-фактор) и эта (масштабный коэффициент).

(То есть априори предполагается, что отказы распределены согласно Weibull. Для тех, кто знаком с математической статистикой, приведу формулу плотности вероятности для этого распределения:

Смысл проводимых испытаний — оценить параметры распределения. При этом считается, что при заданном значении бета параметр эта равен времени в часах, за которое выйдут из строя 90% тестируемых накопителей. (Обсуждение данной математической модели требует серьезных познаний в математической статистике и выходит за рамки данной статьи, поэтому предлагается принять ее как факт) — прим. редактора).

Если в ходе испытания отмечено пять или менее отказов, точно определить параметр бета по полученным данным невозможно. Поскольку такие результаты испытаний встречаются довольно часто, мы анализируем их с помощью метода WeiBayes², в основу которого положена оценка параметра бета по статистическим данным. В лаборатории продукции для настольных компьютеров мы сейчас принимаем бета = 0,55. Такое значение получено на основе производственных данных, представленных ниже в таблице. Она составлена на основании испытания всех накопителей для настольных систем, прошедших проверку до марта 1999 г.

Приведенный ниже график отображает результаты анализа Weibull и WeiBayes. Сплошная линия соответствует параметрам бета и эта по Weibull (бета = 0,443, эта = 69 331 860), рассчитанным по методу MLE (Maximum Likelihood — максимальное правдоподобие)³ всего для 3 отказов на 500 накопителей. Как уже отмечалось, такие результаты считаются не столь точными, как полученные по методу WeiBayes для небольшой интенсивности отказов.

Результаты, полученные методом WeiBayes (для бета = 0,55), представлены на графике пунктирной линией. Поскольку 672 часа работы при температуре 42°С для испытания RDT вполне достаточно, мы использовали свой внутренний параметр «доверительная вероятность прекращения испытаний»⁴, который для анализа WeiBayes принят равным 63,2%. Расчет по методу WeiBayes показал, что при температуре 42°С и статистическом значении бета = 0,55 приемлемое значение эта составляет 3 787 073 часа.

Легенда к графику «Примеры анализа по методам Weibull и WeiBayes»
W/mle = Доверительная вероятность прекращения испытаний
WeiBayes fit = Аппроксимация WeiBayes
Observed Weibull fit via MLE = Аппроксимация данных исследования по Weibull методом максимального правдоподобия
Eta = эта
Beta = бета
n/s = (всего/исправных накопителей)

Следующий этап анализа состоит в пересчете параметра эта, полученного в результате тестов при 42°С, в значение, соответствующее нашей стандартной рабочей температуре (25°С). Опираясь на модель Arrhenius⁵, для учета температурных различий можно принять коэффициент учащения отказов равным 2,2208. Таким образом, значение эта для 25°С (эта25) будет равным значению этого параметра для 42°С (эта42), умноженному на 2,2208, то есть, 8 410 332 часа.

Оценка среднего времени наработки на отказ в течение первого года на основании параметров Weibull

На основании параметров бета и эта Weibull, полученных после температурной коррекции, в любой момент можно рассчитать суммарный процент отказов. Чтобы оценить процент накопителей, которые могут выйти из строя при температуре 25°С в промежутке времени от t1 до t2, достаточно произвести вычитание значений суммарного процента отказа в моменты t1 и t2, а затем воспользоваться соответствующими значениями бета и эта25.

Для оценки усредненной интенсивности отказов (параметр AFR) за первый год эксплуатации накопителя, установленного в настольном компьютере, примем, что у пользователя устройство находится во включенном состоянии 2 400 часов в год. Допустим также, что еще 24 часа оно эксплуатировалось на заводе на этапе интеграции. Поскольку все накопители, вышедшие из строя в течение этого периода, возвращаются в Seagate и к конечному пользователю не попадают, при расчете AFR и наработки на отказ за первый год они не учитываются.

С учетом приведенного выше (продолжительность включения 100%, эта25 = 8 410 332 час, бета = 0,55 и общее время работы за год 2 400 час) относительную интенсивность отказов за первый год можно рассчитать как интенсивность отказов, произошедших в период между 24 час (t1) и 2 424 час (t2). Результаты такого расчета приведены ниже в таблице, построенной на основе наработки на отказ в течение первого года и данных, полученных в ходе испытаний RDT.

(Р(отказов) вычисляются на основании распределения Weibull — см. график. Далее понятно: Наработка на отказ за первый год = Наработка за год / AFR за первый год — прим. редактора).

Учет реальных условий использования

Как показывают приведенные выше расчеты, если накопитель используется при температуре 25°С и находится во включенном состоянии 2 400 часов в год, можно ожидать, что при работе у пользователя средняя наработка на отказ составит 232 140 часов. Однако такие условия соблюдаются в бытовой электронике не всегда. В некоторых бытовых приборах, скажем, накопитель может работать почти непрерывно, поэтому время его работы за год намного превысит 2 400 часов. В других же устройствах, например, игровых видеоприставках, этот показатель может оказаться значительно ниже. В последующих разделах описано, как именно можно скорректировать расчетное значение наработки на отказ для различной интенсивности использования, продолжительности включения и окружающей температуры.

Интенсивность использования

Учесть изменения средней наработки на отказ, вызванные различиями в интенсивности использования накопителя, можно с помощью приведенного графика.

Легенда к графику «Коррекция среднего времени наработки на отказ в зависимости от ожидаемого времени работы накопителя за год»
Название вертикальной оси — Корректирующий множитель для наработки на отказ
Название горизонтальной оси — Ожидаемое время работы накопителя за год

Например, если известна наработка на отказ для 2 400 рабочих часов в год, а реальное рабочее время за год составляет 8 760 часов, то среднее время наработки на отказ снизится примерно вдвое. И наоборот: когда накопитель работает мало, как это бывает в некоторых игровых видеоприставках, то наработка на отказ может почти удвоиться.

Температура

Теперь давайте посмотрим, как изменяется время наработки на отказ при повышении рабочей температуры. Для построения графика температурного коэффициента времени наработки на отказ можно применить ту же модель Arrhenius, которую мы использовали для определения коэффициента учащения отказов. Представленная ниже таблица показывает, как снижается наработка на отказ за первый год (если продолжительность включения составляет 100%) при температуре окружающей среды выше 25°С.

Как видно из таблицы, по мере роста окружающей температуры температурный коэффициент снижения времени наработки на отказ и скорректированная наработка на отказ значительно сокращаются. Так, при 42°С коэффициент учащения отказов составляет 2,2208 (как и было определено в ходе настоящего анализа ранее). А коэффициент коррекции времени наработки на отказ для этой же температуры равен 0,45, то есть среднее время наработки на отказ при температуре 42°С оказывается в два с лишним раза меньше, чем при температуре 25°С.

Продолжительность включения

Продолжительность включения большинства накопителей, установленных в персональных компьютерах, составляет от 20 до 30%, тогда как в бытовых электронных устройствах этот показатель может быть выше или ниже. Измерив объем данных, который пересылается внутри современных устройств бытовой электроники за сутки, специалисты Seagate установили, что продолжительность включения накопителей в них составляет всего 2,5%.

Чтобы определить, как изменяется наработка на отказ при продолжительности включения 2,5% по сравнению со 100% (такое значение характерно для испытаний RDT), нужно выяснить, какое влияние на этот процесс оказывают те компоненты накопителей, состояние которых зависит от продолжительности включения, а какое — другие его элементы. Количество зависимых компонентов в накопителе прямо пропорционально количеству пластин жестких дисков в нем. Взаимоотношение между числом жестких дисков и усредненной интенсивности отказов за первый год отображено на следующей иллюстрации. Пространство под пунктирной линией на этом графике соответствует «базовой», — то есть, не зависящей от того, как долго работает устройство, — интенсивности отказов гипотетического накопителя с нулевым количеством жестких дисков (или накопителя, который не производит чтения, записи и поиска информации). Сплошной линией отмечена ожидаемая интенсивность отказов как функция количества жестких дисков.

Легенда к графику «Зависимость общей и базовой усредненной интенсивности отказов от количества жестких дисков в накопителе»
Название вертикальной оси — Нормализованное значение AFR
Название горизонтальной оси — Количество пластин жестких дисков (не более 4)
Total AFR = Общая усредненная интенсивность отказов
Base AFR = Базовая усредненная интенсивность отказов

Как видно из графика, уменьшение продолжительности включения снижает количество только тех отказов, которые связаны со временем работы накопителя (пространство между пунктирной и сплошной линиями). Зная соотношение между количеством отказов, зависящих от продолжительности включения, и их общим числом, можно оценить влияние продолжительности включения на усредненную интенсивность отказов AFR. Так, для накопителя с четырьмя жесткими дисками общая интенсивность отказов составит 1,4%, а базовая — 0,6%. Снижение продолжительности включения уменьшит вероятность отказа на [(1,4 — 0,6)/1,4] = 57%. Таким образом, снижая время работы четырехдискового накопителя, мы можем уменьшить вероятность отказа только на 57%, остальная доля неполадок от продолжительности включения не зависит.

Изменение коэффициента наработки на отказ для накопителей с разным количеством жестких дисков представлено на следующем графике.

Легенда к графику «Зависимость коэффициента наработки на отказ от продолжительности включения накопителя и количества жестких дисков в нем»
Название вертикальной оси — Коэффициент наработки на отказ
Название горизонтальной оси — Продолжительность включения
1-disk… = Для дисковода минимальной емкости с 1 жестким диском
2-disk… = Для дисковода с 2 жесткими дисками
3-disk… = Для дисковода с 3 жесткими дисками
4-disk… = Для дисковода максимальной емкости с 4 жесткими дисками

Комплексный учет нескольких факторов

Продолжая анализ, оценим комбинированное воздействие различных значений продолжительности включения и температурных коэффициентов сокращения наработки на отказ для нескольких накопителей. На графике внизу слева представлены коэффициенты коррекции наработки на отказ для накопителя высокой емкости с 4 жесткими дисками при разных комбинациях продолжительности включения и температуры окружающей среды. Рисунок справа отображает такие же коэффициенты для накопителя, оснащенного только одним жестким диском. Как видно из этих графиков, в зависимости от продолжительности включения и рабочей температуры накопителя, установленного в ПК, эффективная наработка на отказ за первый год может оказаться выше, равной или ниже, чем ожидаемое значение этого параметра, рассчитанное по результатам заводских испытаний. При этом на накопителе с одним жестким диском изменение продолжительности включения и окружающей температуры сказывается слабее, а коэффициенты коррекции здесь значительно меньше.

Легенда к графикам «Снижение времени наработки на отказ в зависимости от температуры и продолжительности включения (для накопителя максимальной емкости с 4 жесткими дисками/минимальной емкости с 1 жестким диском)»
Название вертикальной оси — Коэффициент снижения времени наработка на отказ
Название горизонтальной оси — Окружающая температура, °С
DF@100%… = Продолжительность включения = 100%
DF@30%… = Продолжительность включения = 30%
DF@20%… = Продолжительность включения = 20%
DF@10%… = Продолжительность включения = 10%
DF@5%… = Продолжительность включения = 5%
DF@1%… = Продолжительность включения = 1%

Надежность после первого года эксплуатации

Согласно распределению Weibull, описывающему зависимость наработки на отказ от срока эксплуатации, при значении бета меньше единицы вероятность отказов оборудования со временем снижается. По этой причине интенсивность отказов накопителей на первом году эксплуатации должна быть выше, чем в последующие годы. Но какова будет интенсивность отказов или среднее время наработки на отказ, если усреднить эти показатели за все время эксплуатации накопителя? Ниже приведены три метода оценки надежности, позволяющие ответить на этот вопрос.

• Можно с помощью анализа Weibull (бета, эта25) оценить количество возможных отказов после первого года эксплуатации. Однако для этого потребовалось бы получить дополнительные данные демонстрационных испытаний надежности, увеличив длительность самих испытаний на порядок или больше. Такой подход едва ли можно признать целесообразным.
• Можно использовать информацию о гарантийном обслуживании из базы данных Seagate. Она позволит оценить соотношение накопителей, возвращенных на втором и третьем году эксплуатации, и устройств, в которых возникли сбои в течение первого года. Однако такие данные имеются только за первые три года эксплуатации — именно на этот срок распространяется действие большинства гарантийных обязательств Seagate на накопители для настольных компьютеров. Правда, серьезным преимуществом этого подхода является то, что все данные относятся исключительно к продукции Seagate для настольных систем.
• Можно принять так называемую «плоскую» модель, предполагающую, что после завершения первого года эксплуатации интенсивность отказов остается на постоянном уровне. Это означает, что во все годы после первого интенсивность отказов будет такой же, как и на втором году эксплуатации. Поскольку вероятность отказа со временем уменьшается, данный метод дает осторожную оценку средней наработки на отказ для всего срока эксплуатации.

Сравнение всех трех моделей приведено в таблице ниже.

Чтобы нагляднее продемонстрировать различия между моделями, мы приводим график суммарной относительной интенсивности отказов, построенный на основании каждой из них (время наработка на отказ для первого года эксплуатации принято равным 200 000 часов).

Легенда к графику «Суммарная годовая интенсивность отказов, рассчитанная по Weibull и «плоской» модели, в сравнении с данными гарантийного обслуживания»
Название вертикальной оси (между цифрами точки заменить на запятые) — Суммарная интенсивность отказов за год эксплуатации пользователем
Название горизонтальной оси — Год эксплуатации пользователем
Weibull analysis = Анализ по Weibull
«Flatline» model = «Плоская» модель
Model based… = Модель оценки по данным гарантийного обслуживания

Как видно из приведенного выше графика, «плоская» модель дает более осторожную оценку, чем «чистый» анализ по Weibull, и очень близка к оценке по данным гарантийного обслуживания Seagate за первые три года. Для простоты анализа, а также для того, чтобы получить более осторожные оценки, мы решили применять в своих расчетах «плоскую» модель.

При использовании «плоской» модели суммарные результаты отношения между наработкой на отказ за все время эксплуатации к этому параметру за первый год могут выглядеть следующим образом:

Проведенные расчеты показывают, что для оценки среднего времени наработки на отказ за три года эксплуатации дисковода нужно умножить исходный показатель за первый год (для той же продолжительности включения и окружающей температуры) на коэффициент 1,56. Аналогично можно рассчитать и среднее время наработки на отказ за пять и десять лет, умножив значение исходного параметра за первый год на 1,76 и 1,95 соответственно.

Окончательный расчет

На основе всех коэффициентов, рассчитанных выше, мы можем преобразовать наработку на отказ, указываемую фирмой Seagate (на первый год эксплуатации, при 2 400 рабочих часах в год и продолжительности включения 100%) в среднее время наработки на отказ для накопителя, установленного в устройстве конечного пользователя и работающего при конкретной окружающей температуре с определенной продолжительностью включения. После этого можно также оценить и среднее время наработки на отказ за все время службы накопителя.

Ниже приведен пример расчета среднего времени наработки на отказ в течение первого года и всего срока эксплуатации для накопителя, работающего в течение 2 400 часов в год при температуре 34°С, продолжительности включения 30% и рассчитанного на срок службы 5 лет.

В качестве завершающего примера рассмотрим накопитель Seagate с одним жестким диском, для которого наработка на отказ в течение первого года составляет 444 000 час. Допустим, он установлен в бытовом электронном устройстве, используется 2 920 часов в год (8 часов в день, 7 дней в неделю) при окружающей температуре 42°С и продолжительности включения 5%.

Заключение

Описанный выше метод позволяет использовать данные лабораторных испытаний Seagate для оценки надежности накопителей, установленных в настольных компьютерах и бытовых электронных приборах, которые работают в условиях «реального мира». Вкратце этот метод сводится к следующему:

• С помощью анализа Weibull или статистических данных испытаний RDT/FRDT оцените параметры Weibull для лабораторных условий.
• Используя методику WeiBayes, проанализируйте данные испытаний для конкретного типа накопителя; определите значения усредненной интенсивности отказов AFR за первый год и наработку на отказ при проведении испытаний RDT.
• Откорректируйте полученные результаты с учетом отличия лабораторных условий RDT от реальной температуры и продолжительности включения, при которых будет работать накопителей, установленный в аппаратуре конечного пользователя.
• Исходя из осторожного предположения, что после первого года эксплуатации интенсивность отказов останется постоянной, пролонгируйте оценку надежности за первый год на трех- и десятилетний срок службы накопителя.

В заключение отметим, что данный метод позволяет математически обоснованно применять результаты лабораторных испытаний Seagate для оценки надежности накопителей, установленных в бытовых электронных приборах.

В прошлый раз мы рассмотрели этапы борьбы за господство в «дисковой» подсистеме твердотельных накопителей и традиционных жестких дисков. Там же мы коротко осветили нюансы ресурса твердотельных накопителей. Сегодня мы попытаемся рассмотреть вопрос практической надежности дисков жестких. Казалось бы, несколько запоздало, но не будем забывать, что ближайшие не менее чем 10–20 (а скорее всего и гораздо больше — об этом мы еще поговорим) лет этот вид продуктов будет гарантированно доступен на рынке в массовом сегменте по причине наличия немаленьких ниш, где скоростные достижения твердотельных накопителей избыточны, а хранимые данные относительно холодны. Да и перспективные объемы жестких дисков в ближайшее время твердотельным накопителям по адекватным ценам не догнать.

Теоретизировать на этот счет можно, конечно, долго. Можно вспоминать явно неудачные решения производителей, например, с чересчур частой парковкой головок или особо громкие изделия, но основной критерий в вопросе констатирования, как мне кажется, должен быть статистически-прикладным, особенно на фоне того, что в отличие от ситуации с SSD, найти утвержденные современные стандарты выносливости для классических винтов вряд ли получится.

Вопросы классификации

Напомним, что внешне и физически современные актуальные жесткие диски бывают по форм-фактору в основном 2,5″ и 3,5″. Исполнение бывает как внутренним, так и внешним.

Внутри мобильных внешнеподключаемых накопителей лежат обычные 2,5-дюймовые жесткие диски, которые в большинстве случаев можно достать и подключить к ноутбуку или десктопу напрямую, если те обладают нужными интерфейсами. И наоборот — можно положить в такой карман подходящие по толщине имеющиеся диски, сделав их мобильными и внешнеподключаемыми.

В случае с 2,5 дюймами встречается толщина 12,5, 9,5, 7 и даже 5 мм. Электрически они будут совместимы, но физические размеры, как понимаем, будут отличаться. Выглядит вот так:

Контактные группы одинаковы, но толщина разная. 2,5-дюймовые варианты жестких дисков чаще используются в портативной технике. Чем тоньше ноутбук, тем более внимательно надо смотреть, какой толщины накопитель предусмотрел туда изготовитель. Тонкие диски в места для толстых поставить не проблема — они часто продаются с утолщителями в виде пластиковой рамки, чтобы не болтались в посадочных местах для более толстых коллег. В отсутствии рамки проложить их можно чем угодно — хоть картоном по углам. А вот более толстые затолкать в места для худых не выйдет — будьте внимательны!

Были и 1,8- и 1,3- и даже 1-дюймовые Microdrive в формате Сompact flash II — вообще левшовые практически изделия. Но это уже история, т.к. в ультракомпактном сегменте всех разогнал привычный флэш.

Типы интерфейсов

Интерфейсы сегодня в быту бывают SATA и все еще IDE, в профессиональном использовании есть и SAS. В вопросы параллельности и последовательности, а также понятия шин в рамках этого материала погружаться не будем.

IDE, он же АТА, они же аббревиатуры от Integrated Drive Electronics и Advanced Technology Attachment, растет корнями из 90-х и уже уходит в прошлое. Новых массовых материнских плат с ним не делают уже лет 10 наверно, но в наличном парке его еще полно. Пропускает 133 мегабайт в секунду и выглядит разъемом конкретно вот так на накопителе. Крайнее слева — питание, справа — данные. И соответственно на материнской плате. Подключается плоским шлейфом обычно серого или черного цвета. Вот таким.

Рассмотрели мы это чисто для исторической справки.

Мейнстримом же сегодня является SATA. Типично для 2,5- и 3,5-дюймовых решений выглядит вот так:

Справа контактная группа питания, слева — данных. Вид: накопители вверх дном. Между собой совместимо. Подключается как на картинке.

Ревизии и пропускные способности мы рассмотрели в прошлый раз и здесь останавливаться не будем. Отметим только, что есть разновидности типа eSATA для внешних устройств и slimline SATA для компактных внутренних. И да — SATA заточен под горячую замену, т.е. на ходу без перезагрузки. Разве что в диспетчере устройств может понадобиться нажать кнопку «обновить» в случае Windows.

Существуют переходники для питания и возможностей подключить IDE в SATA и наоборот, но мы не об этом.

SAS это Serial Attached SCSI и используется в основном в профессиональной сфере, обратно совместим с SATA и имеет пропускную способность 12–24 Гбит в секунду. Выглядит похоже на SATA, но разъемом отличается. Обороты большие — до 15000, коррекция ошибок, multipath — как «в лучших домах Парижу и ЛондОну», но дорого и в быту не воткнуть. А еще греется так, что на некоторые модели радиаторы килограммовые нужны.

Но вернемся к вопросу.

Проблемы технологий

Сегодняшние массовые жесткие диски находятся на излете традиционных технологических возможностей. Плотность данных на одну рабочую пластину можно увеличить только принципиально новыми технологиями, а толщину самого «блина» уменьшать для дальнейшего увеличения их числа в сборке все сложнее. Кроме того, поднимать обороты шпинделя к многотысячным высотам в теории конечно можно, но за этим должны будут успеть остальные участники забега и при этом не упираться в воздух, который в ряде линеек уже меняется на гелий. Увеличивать количество блоков головок, вспоминая прошлое, тоже неслабая инженерная задача, учитывая все изложенное. Да и пост-SCSI в виде SAS в SOHO приземлять никто не спешит, правда это дорого и по факту почти устарело морально. Но не в этом направлении, похоже, пойдет индустрия.

Если коротко, то совокупность проблем развития жестких дисков изложена в тройке взаимоисключающих параграфов, которая вполне научно называется трилеммой. Суть примерно такова — для увеличения плотности записи нужно уменьшать записываемые области на носителе и соответственно размеры головок вкупе с материалами, из которых все изготавливается, но при этом ухудшаются как магнитные свойства таких миниатюрных областей, так и возможности маленькой головки, в том числе по их стабильному разборчивому чтению. Чтобы решить последнее надо увеличивать первое, а общая задача изначально требует как раз обратного. Т.е. кольцевая.

Но НИОКР не стояли на месте и их результаты сконцентрировались вокруг вполне конкретных и реализуемых предложений для достижения поставленной задачи увеличения объемов жестких дисков. Часть из них еще в разработке, а что уже и рынку показывали. Основной тренд — полировка магнитных технологий подходами локального нагрева в процессе записи и создание инфраструктуры для системы в целом, с учетом новых вводных. Но среди оставшихся производителей традиционных «винтов» единства в видении перспектив нет. Т.е. направление в целом одно, а вот пути достижения вроде бы похожих целей — технически отличаются.

Термомагнитная схватка трех ёкодзун

В ближайшем будущем мы, вероятнее всего, увидим для решения трилеммы магнитной записи соединения следующих подходов. Тон будут задавать, несомненно, термомагнитные концепции. Основных сегодня известно две. Это HAMR — Heat-Assisted Magnetic Recording — запись с, в прямом смысле, подогревом! А мы помним, что по чисто физическим причинам в случае наличия подогрева намагничивать для записи бита можно меньшую площадь и делать это с меньшими энергозатратами, т.е. одновременно с достижением нужной плотности и головке легче работать и ее саму проще делать в части подбора материалов и электромагнитных характеристик. Продвигается Seagate. Тематическое видео производителя не песня, но посмотреть можно.

Второй подход называется MAMR — Microwave Assisted Magnetic Recording — тоже про нагрев, но иным способом, спинтронным, прости Господи, осциллятором на базе ну очень маленького аналога того, что массам понятно как микроволновая печка. Поддерживается WD и Toshiba. Видео куда более информативное и его можно глянуть по ссылке.

Оба подхода, как видим, по сути, про нагрев, но разными способами и второй способ совместим с гелием, а первый — не очень, т.к. сильно греть гелиевую герметичную среду лазером или подобным, это как варить сгущенку в закрытой банке. Может, конечно, какие-то принципиально новые лазерные технологии подвезут в перспективе, но пока это так.

Масленица

Следующим системным элементом эволюции HDD будут «блины потоньше». Здесь, конечно, все и так предельно тонко, но уменьшая толщину отдельного блина в типичный корпус их можно поместить больше. Даже +1 блин — это существенное увеличение общей емкости, а на фоне еще и увеличения плотности — так вообще хорошо. Один из главных черенков этого рынка Showa Denko K.K. из Японии предлагает пластины, способные нести около 2 терабайт на штуку в случае 3,5-дюймового типоразмера накопителя. Восемь блинов в сборке — реальность вчерашнего дня, в лабораториях прототипы на 12! Немцы гарантируют.

Почему прозрачные? Так блины бывают на основе алюминия и стекла.

Стекло пожестче и не менее главный черенок, но уже, в том числе, медицинского рынка — Hoya из той же Японии — уже пиарит предложения стеклянных вариантов толщиной аж до 0,38 мм! Обе иллюстрации выше — их творчество. Причем тут они? Они с оптикой хорошо работают, а под жестко-стеклянные блины для винчестеров целый дополнительный завод в Лаосе к Вьетнамскому и Таиландскому построят. Гарантирует уже Xinhua. К слову — почти весь рынок «стекла» для 2,5″ жестких дисков — за Hoya.

HELIUM

Гелий (но не вакуум, хотя и такие смельчаки есть! — в паспортах на жесткие диски максимальные высоты работы указывают именно по этой причине) станет мейнстримом, хотя и существует с 2012 года. Он менее плотный, чем воздух или азот, и в его среде сборке на высоких оборотах крутиться легче. Ну и головкам проще быстрее перемещаться. О гелии и вакууме мы еще поговорим.

Горячие головы

Головки, как проистекает из вышеизложенного и будет подтверждено ниже, будут инновационнее, меньше и их, возможно, станет больше, как у Conner Peripherals «Chinook».

Современное видение многоголовочности от Seagate выглядит примерно так (даже анимация есть):

Если картинка от Seagate основана на реальных планах и прошивки таких дисков смогут распределять данные на сборки пластин, которые работают с физически независимыми блоками головок, то фактически мы получим спарку дисков в одном корпусе с RAID 0 подобной логикой работы. В итоге скорости могут возрасти пропорционально количеству блоков головок, т.е., в данном случае, вдвое: что линейные, что 4К-блоками. Правда скорости работы с 4К на уровне 1–2 мегабайт никого не спасут, зато линейные будут вполне себе ничего для технологии и достаточные для своих ниш.

Уголок футуролога

Отдельные футурологи, правда, предсказывают возможность имплементировать в жесткие диски технологии магнитного туннелирования на базе содержащих наномагнитные вкрапления углеродных нанотрубок. Почитать можно по ссылке. Выглядит как-то вот так:

Ничего непонятно, но очень интересно (с). Особенно непонятно как это внедрять на практике.

А кто-то пишет про накопители на голографических технологиях и даже технологиях ДНК! Но это пока все в отдаленной перспективе даже у научников, не говоря уже о реальных образцах.

RPM

С оборотами вопрос открыт т.к. эта часть механики жесткого диска обуславливает требования к остальному тандему и способностям интерфейсов. 15 000 об/мин освоены, но насколько можно взять бОльшую высоту со стабильными результатами — пока непонятно. Тут важно понимать, что малейший дисбаланс сборки на 15000+ оборотах кончит мотор очень быстро. С другой стороны, в силу физики, скорость потока данных на внутренних и внешних частях блина при одинаковых оборотах шпинделя будет хорошо так разной. Еще неплохо бы понимать — а выдержит ли тонкий стеклянный блин или сборка из восьми таких пластин на высоких оборотах вибрацию вообще без разрушения? И это мы еще не коснулись привода головок, которому тоже неплохо бы не отставать. В общем, тут комплексная задача, как сказано, для всего тандема и обороты в ней стоят на последнем месте.

Страничка изобретательства и рационализации

Тандема… хорошее слово. Об этом даже патент от 2004 года есть.  Туда бы еще диагональных блоков независимых головок, блины намазать нанотрубками, гелий, черепицу, совместимый калорифер и будет полный стимпанк. Правда с надежностью что будет — подумать страшно.

Черепица = SMR

Тут самое время вспомнить про черепичную запись — технология давно в тираже, но там есть нюансы, которые не позволяют внедрять это дома. В англоязычных источниках эта дискотека известна как SMR (Shingled Magnetic Recording). Суть примерно следующая — на пластину стандартного типового физического размера записать поплотнее как можно больше дорожек. Причем тут черепица? А дорожки предлагается чтобы они частично перекрывались. Естественно, чтобы писать тонкие, как sin в армейском анекдоте про комара, дорожки надо иметь соответствующую по размеру головку, а перед этим еще технологии ее таковой сделать с нужными магнитными характеристиками. Но вот совсем микроскопические головки индивидуально делать тяжело, зато записать сразу несколько дорожек — можно. Условно соотношение обычной традиционной дорожки на пластине жесткого диска и дорожки в случае технологии черепичной записи можно визуализировать так (здесь и далее используем инфографику, любезно опубликованную, Microsemi):

Синим — пишущая головка и традиционная дорожка, зеленым — ширина ридера инновационных дорожек. Почему нарисована одна дорожка — смотрим ниже т.к. это же одновременно и ключевой косяк затеи.

Вот так условно выглядит записанное. Именно условно, т.к. на практике там начинается почти черная магия для рядового потребителя, и мы тешимся самоуспокоением, что, типа, знаем как оно устроено. Привет вам, мистер Кларк.

В общем, головка вспахивает, т.е. намагничивает сразу несколько дорожек. И вроде все достаточно понятно, но все равно имеется проблема. В силу физических особенностей технологии эту прелесть удобно использовать только для последовательной записи т.к…. перезаписать дорожки выборочно и поштучно, внезапно, нельзя. Точнее можно, но для случайной записи там будет серьезное усложнение процедуры, с которым разберемся внимательней. Т.е. в принципе можно, но ходом — нельзя.

Итак, записанное в несколько дорожек головка SMR диска и сотрет аналогично — т.е. коллективно, т.к. записывающая головка — она же стирающая. Такой себе комбайн с широким столом.

Выглядит вот так и по версии когда-то еще Hitachi — ниже.

Т.е. чтобы записать оранжевый фрагмент надо физически перезаписать дорожки в ширину пишущей головки в обязательном порядке. Чтобы выполнить задачу надо считать фрагмент, где-то на уровне какого-нибудь DRAM буфера разложить его на нужное и ненужное. Присовокупить к нужному новый участок данных. Собрать до кучи и отослать через головку на место для кучной записи. Будет хорошо, если новый фрагмент в целом виде меньше стираемого. Если нет, то дописывать придется фрагментарно (что вызовет проблемы, о которых ниже) или в идеале в место после физического конца данных на таком диске. Чисто в теории контроллер может поискать, где там есть свободные места, но в реальности это вызовет системный паралич. Конечно, МСМК по комбинаторике сейчас не понимают в чем проблема. Но ее с математической точки зрения и не будет — логически это все несложно. А вот провернуть затею на конкретном электро-механическом уровне займет физическое время и расчетные ресурсы плюс возможные издержки на коррекцию ошибок. Т.е. на случайной записи «вертерство» будет еще похлеще обычного HDD. Seagate произвел тестирование накопителя Archive 8TB на SATA3 на Debian. Результат случайной записи выглядит примерно так:

Леденящий душу пик провала до лютых 3! (именно три, 1+1+1 шт.) IOPS мы видим после исчерпания буферов на нагрузке случайной записи с глубиной очереди 1, правда, более чем через минуту, что несколько снижает уровень драматизма, но и верхние пики объективно не фонтан.

Если же просто стирать случайные данные (считали, убрали ненужное, записали назад нужный остаток), то получаются проплешины, которые для нормальной записи в будущем надо обрабатывать и уплотнять процессом, похожим на дефрагментацию и фоново. Это очень похоже на TRIM в SSD — и там и тут надо подготовить поле для прямой записи в возможную ширину без дополнительных телодвижений в процессе, но в силу механической природы жёсткого диска быстро это сделать не получится, да и общая нагрузка сильно возрастет — такой себе аналог усиления записи. В идеале вообще все уплотнить так, чтобы писать новое в физический конец имеющегося, но это связано с физической же обработкой больших массивов данных со всеми вытекающими. Состояние диска, когда новая запись идет в чистое пространство вообще или в чистое подготовленное после уплотнения и сбора мусора пространство, иногда называют FOB — fresh out of box или новый из коробки — и это, по сути, идеальные условия для такого рода записи. Просматривается некоторая аналогия с SSD.

Картина требовала обработки напильником и именно поэтому таким дискам добавили для транзитно-буферных целей обычные области, работающие по принципу одной дорожки на всю ширину головки. Т.е. обычная технология традиционных накопителей. По логической сути это аналог SLC-кэширования в твердотельных накопителях TLC и QLC, только в нашем варианте там может храниться еще и служебная информация о том, что и где удалено и прочее. Для еще более действенного решения вопроса и DRAM-буферизацию подвезли. Добавили математики в прошивку и стало более-менее — т.е. пока буфер превышает типичное среднее задание, тормозов системой особо не ощущается, диск не «боттлнечит». Именно это и видно на иллюстрации вверху. В том случае накопитель мог иметь аж 256 мегабайт буфера, но конкретная протестированная модификация, к сожалению, указана не была. Общая характеристика «железки» по ссылке и думается, что производитель тестировал все же максимальную конфигурацию.

Естественно есть и иные ухищрения для решения описанных проблем, логический зонинг, ленточная организация и тому подобное, вплоть до модифицированных прошивок под конкретные задачи! Но в силу основной их проблемы — физической первопричины, такие подходы лишь сглаживают углы.

Все указанное недвусмысленно намекает, что, несмотря на взрослые объемы хранения SMR-накопителей, они, ввиду технологии, являются нишевыми для конкретных типов нагрузок, но в этих нишах они выступают как раз целевым образом. Например — линейная многопоточная запись-чтение без или с минимумом случайных операций. Хорошим вариантом будет дата-центр, ориентированный на чтение не сильно горячих данных. К слову, если на массиве таких дисков будет размещена база какой-нибудь социальной сети, то догадайтесь с 3 раз, будет ли кто-то реально удалять из массива случайные, скажем, фотографии, если пользователь нажмет «удалить» в профиле? Или такие фото просто перестанут отображаться пользователям, но физически останутся в массиве доступными администрации на фоне перспектив падения производительности от связанных с этим дискодвижений? Проще подвезти полуторку дополнительных дисков, чем тормозить массив случайными операциями с последующим уплотнением данных. Выражаясь более приземленно — такой дата-центр будет почти что центром однократной записи. Отчасти именно поэтому из интернета ничего нельзя удалить полностью — в ряде случаев это фактически неудобно делать, а с учетом текущих цен на растущие в объемах накопители и отсутствие наводнений с пожарами на заводах по производству HDD — вообще экономически нецелесообразно. Другим хорошим нишевым сегментом будет потоковое архивирование, например, камер наблюдения, аудиовизуальных эфиров, архивирование критических данных, которые не надо перезаписывать часто и случайно.

Минутка конспирологии

Если пофантазировать, то удобно на такой массив записать месячишко разговоров всех пользователей условного оператора мобильной связи, далее в транзитной области с помощью технологий, которые уже давно не только не секретны, а еще и обкатаны by google on youtube, например, перевести это все в txt для удобного поиска или анализа по ключевым словам и аккуратненько сложить в свободную часть массива. Исходники можно смело тереть целиком, обеспечивая FOB-запись следующего месяца. А можно и не тереть! Тогда родина будет не только слышать, знать, но и очень хорошо помнить! Доклад окончен, тов. полковник, т.е. это все, конечно же, художественный вымысел и любые совпадения с реально существующими технологиями случайны.

И зачем парнокопытным меховые музыкальные инструменты?

В итоге накопители с черепичной записью надо использовать «с поправкой на силу ветра и температуру ствола». Этим занимаются по ситуации вполне железные костыли типа HBA, которые отвечают за конкретную I/O-логику работы с таким накопителями, исполняя спецнаборы команд. В RAID такие накопители тоже можно и нужно собирать, правда, понимая специфику, но это не тема настоящего материала — главное, что вы теперь знаете немного больше вообще. Желающие могут копнуть глубже по запросу DM (самостоятельные по логике работы накопители), HA (поддержка хостом) и НМ (управляемые хостом) SMR, но столкнуться с этим SOHO-пользователю придется сильно вряд ли.

TDMR как предтеча термомагнитного будущего

Отдельно надо упомянуть, что существует и даже начала продаваться технология TDMR — Two Dimensional Magnetic Recording в форме 14 ТБ изделий от Seagate. Здесь пытаются решать трилемму в лоб — уменьшая ширину дорожек и размеры записывающей головки. Недостижимый идеал — 1 бит на магнитное зерно. Выглядит как-то так и пояснений в Cети, что удивительно, не так уж и много.

Правда с чтением выходит фигня, которую, в свою очередь, решают головкой с несколькими читающими элементами — улучшается надежность чтения с соседних дорожек и в целом сигнал получается разборчивее. Пишущая головка продолжает быть одна. В общем итоге внедрения технологии немного растет плотность записи — процентов на 10. Но важно не это. Многоголовочное чтение пластины за проход несколькими ридерами очевидно станет мейнстримом по причине необходимости для нормального извлечения плотно записанных данных. Хороший задел, но растет сложность взаимного расположения элементов, точность их исполнения и позиционирования в работе, требуется стабильность показателей во времени.

В любом случае, именно этот этап был критически нужен перед внедрением вышеописанных тепловых инноваций, т.к. своим следствием последние будут иметь именно проблемы мелкого чтения, которые и решены превентивно в TDMR. По крайней мере, начали решаться на практике.

Очень интересно о TDMR по достаточно старой, но одной из наиболее полных по теории вопроса ссылке.

Но, возможно, скорости перспективных жестких дисков будут вопросом вторичным — об этом мы еще поговорим. Первичным будет объем и… сохранение надежности.

Моторесурс HDD и пласты залегания информации о нем

Пределы механической надежности жестких дисков можно попытаться практически изучить уже сегодня, предположив, что качество изготовления компонентов как минимум в перспективе не снизится, а новые технологии не повторят судьбу 3D и прочих рыночных фейлов. Однако спрашивать об этом производителей это как выяснять вкус меда у пчел и тонкости борьбы с коррупцией у госслужащих. Поэтому мы пойдем другой дорогой и попробуем провести что-то вроде OSINT — Open Source Intelligence, т.е. разведку проблемы по открытым источникам.

Из более-менее солидных внешне публикаций по данному вопросу можно выделить три с кусочком. Это обобщённые отчеты из Carnegie Mellon University и Google. Также навстречу нашей идее, по удачному стечению обстоятельств, движется политика публичности сетевого оператора хранения данных Backblaze.com. Компания по состоянию на 2019 год располагает почти 125 тысячами жестких дисков с пробегом почти 105 млн. диско-часов и любезно публикует статистику по надежности. Важно и то, что Backblaze.com использует в своих системах, по сути, потребительские накопители (они ощутимо дешевле), которым не положено работать круглосуточно и круглонедельно — тем интереснее статистика для изучения.

Некогда компания задалась вопросом о том, а как вообще подходить к вопросу понятия надежности жестких дисков. К 2013 году была опубликована более-менее предметная статистика по этому поводу. Если коротко, то компания отчиталась, что за 4-летний пробег основного парка из тогда еще 25 000 накопителей из строя вышло 22% дисков. 78% при этом успешно продолжали крутиться. Хорошо это или плохо? Ответ на этот вопрос займет некоторое время.

146%?

Начнем с того, что по мнению Backblaze.com 100% показатель отказов это далеко не самый плохой из возможных показателей. Считают они вот как: если сферический поставщик жестких дисков в вакууме поставит вам сотню абсолютно надежных в течение полугода накопителей, а затем они хором разово и одновременно крякнут, а вам надо чтобы они работали, то придется в течение года заменить каждый дважды. Т.е. заменить надо будет 200 дисков в год и тогда ежегодный показатель отказов составит 200%. А если каждый такой условный диск проработает всего час, то по году показатель отказов составит 876000%. «Однако!» — как говаривал К. Воробьянинов, помахав рукой преподавателям статистики.

Шторм и штиль в ванне

Инженеры по надежности в своей работе используют ванноподобную кривую для иллюстрации ожидаемых уровней отказов. Считается, что отказы проистекают из трех основных факторов:

• производственных дефектов, в результате которых имеет место явление, которое известно как «детские болезни» — в этом случае количество дефектов снижается;
• случайных неисправностей — величина более-менее постоянная;
• износа — количество отказов растет по понятным (кому?) причинам.

Собранные на графике «уровень отказов/время» эти факторы образуют три участка, формирующие нечто, напоминающее ванну. Отсюда и название.

В свою очередь Backblaze.com подтверждает эту теорию цифрами, сообщая, что на 4-х летнем отрезке времени первые полтора года годовой показатель отказов колеблется в районе 5%, потом снижается на некоторое время и потом, в районе 3-летней отметки, достаточно серьезно начинает расти. Вывод — 3 года является некоей условной точкой, когда начинает сказываться износ. С износом не все однозначно, но пока мы этого не касаемся.

Рассмотрим график от Backblaze.com.

Бытовуха

Мы помним, что хлопцы крутят бытовые диски круглосуточно и попытаемся перевести все это в более понятные временные отрезки. Учитывая, что большинство офисно-домашних ПК работают в среднем часов по 8 в сутки, то практический срок начала существенного влияния износа на надежность для них можно условно отодвинуть к 9 годам. Почему условно? Потому как при домашне-офисной работе диски включаются-выключаются, имеют внешние воздействия в виде непостоянной температуры и т.п. Но показатель в 26000 часов работы, как некоего порога условной надежности — вполне статистически достоверный ориентир. Важно так же понять, что в данном случае к 4-му году рабочими в режиме 24/7 подошли почти 80% потребительских дисков, которые изначально в таком режиме производителем использовать и не предполагалось — для дата-центров предлагаются несколько иные решения по несколько иным же ценам. Именно поэтому мы и имеем возможность изучить статистику смелых, взявших на себя риски вложиться в бизнес на непредназначенных для этого изначально «железках».

Крякнут все?

В какой-то момент времени ожидаемо откажут все 100% накопителей, но когда это произойдет — ответить сложно и прямой статистики найти не получится, т.к. никто в сфере хранения данных в здравом уме и трезвой памяти не будет рисковать клиентскими данными ради ачивок, хотя там все и избыточно, и даже «тихим ошибкам» проскочить не суждено (Тихие — в смысле, что данные в теории могут быть записаны с ошибкой, но вскроется это только со временем. В дата-центрах это почти нереально по причине постоянных сверок контрольных сумм и коррекции ошибок, а вот в SOHO полно накопителей, которые числятся нормальными, а по факту могут быть очень не очень. Самый смак, когда на такие пишут бэкапы, которые заведомо не поднимутся, но вылезет боком это только в самый важный момент, что только добавит угара факту обнаружения).

Интересно также, что показать статистику по полным ресурсным испытаниям вплоть до полного выхода серии накопителей из строя компания не может и по объективным причинам — накопители устаревают морально быстрее. Так уже в 2015 году однотерабайтных жестких дисков в основном парке Backblaze.com не осталось, начался отказ и от 2-терабйтников. При этом для последних от тогда еще HGST оглашен кумулятивный показатель отказов в 1,55% в среднем на пятилетнем пробеге!

С 3-терабайтниками картина похожая, но к концу 2015-го из эксплуатации были выведены диски Seagate и приведенная статистика сильно намекает, что в модели ST3000DM001 были некоторые нюансы дизайна, материалов или сборки, т.к. кумулятивный показатель отказа по модели составил 28,3% за 2 года при максимальном количестве в парке в 4074 единицы. Увидеть бы разбор ситуации производителем. При этом HGST на большем количестве имел показатель отказов в 0,8%.

К концу 2015 года три четверти парка компании составили уже накопители на 4 TБ. Т.е. обновление парка шло достаточно быстро, пока предлагаемые рынку объемы накопителей росли.

В мире животных

Отвлекаясь немного в сторону, чтобы проиллюстрировать незримую связь бездушной техники с живой природой, отметим, что после аварии на ЧАЭС, которую героически ликвидировало население той страны под локальным руководством УС-605, где за отдельные оперативно-инженерные решения отмечены почти невиданные ранее случаи награждения одновременно внеочередными званиями и орденами (военные оценят значимость такого факта: чтобы одновременно и орден и звание) в Чернобыльской зоне де-факто сформировался природный заповедник. Изначально считалось, что живая природа, в частности фауна, на территории зоны отчуждения понесла невосполнимые утраты, но по наблюдениям через 10–15 лет оказалось, что в зоне, ввиду ее обособленности, фауна как раз наоборот — разрослась вплоть до наличия краснокнижных животных. В дальнейшем исследования показали, что хоть животные и живут в радиационно загрязнённой среде, тем не менее чувствуют себя вполне неплохо — размножаются и расширяют ареалы. Внешне складывалось впечатление, что радиация никак на них не влияет, но анализы показывали обратное. В то же время растиражированные образы ужасных чудовищ по лесам не бегали и сталкеров не кусали. Разгадка оказалась достаточно Дарвиновской — за свой естественный жизненный цикл дикие животные не успевали столкнуться с отдаленными последствиями воздействия радиации (хищная правда в том, что редкое животное в дикой природе доживает до старости и умирает по естественным причинам ввиду влияния фактора пищевых цепочек), а физически неполноценные не проходят естественный отбор в детстве. Поэтому стороннему наблюдателю кажется, что все хорошо, но на самом деле это не совсем так. Та же картина в нашем дата-центре – ввиду роста предлагаемых объемов накопителей поколения достаточно интенсивно меняются даже до наступления факторов заключительного сегмента ванноподобной кривой. Кстати, сама ванноподобная кривая, как видно из нашего отвлечения, неплохо ложится и на дикую природу с некоторым оговорками. Но вернемся к проблеме.

Мыши плакали, кололись, но продолжали есть кактус?

Поломки тоже были вполне реальной причиной вывода накопителей из эксплуатации. Антилидером рейтинга поломок оказалась опять же Seagate, но и самих дисков от них в абсолютных цифрах больше.

Мыши плакали, кололись, но продолжали есть кактус? Взаимоисключающие параграфы детектед? И да и нет. В Backblaze.com сообщают, что, несмотря на указанную статистику, уже в сегменте 4 ТБ накопителей уровень отказов оказался очень неплохим в среднем по больнице и выглядел так:

Продукты Seagate оказались предпочтительней по двум причинам:

• Они были дешевле. И на этом, в общем-то, можно ставить точку. Цена — главный критерий рынка. Но мы продолжим.
• Статистически достоверно было установлено, что SMART-показатели хорошо предсказывали выход устройств Seagate из строя. В общем-то, второе, возможно, даже важнее первого, т.к. предсказуемость поломок является большим плюсом в вопросе надежности в целом.

Напомним, что S.M.A.R.T. это относительно стандартизированная внутренняя система самодиагностики накопителей. Относительно, т.к. разные диски фиксируют неодинаковый набор типовых показателей в рамках этой самодиагностики, а отдельные пункты так вообще являются ноу-хау производителя, но основной их перечень более-менее стабилен и понятен. Читается разным ПО, например CrystalDiskInfo. Понимая суть этих показателей можно примерно оценить состояние накопителя. Это касается как HDD, так и SDD с учетом специфики устройства обоих.

Типичный возврат показателей S.M.A.R.T. самодиагностики программой по ссылке выглядит так, для тех, кто не в курсе.

Тут стоит заметить, что именно подразумевается под поломкой жесткого диска. Backblaze.com классифицирует эти события так:

• Накопитель не раскручивается либо не подключается к ОС.
• Накопитель не синхронизируется с RAID или отваливается от него.
• SMART намекает на проблемы.

О последнем детальнее. Показателей много, но важными назначили пять:

• SMART 5 — Reallocated_Sector_Count.
• SMART 187 — Reported_Uncorrectable_Errors.
• SMART 188 — Command_Timeout.
• SMART 197 — Current_Pending_Sector_Count.
• SMART 198 — Offline_Uncorrectable.

Например, как только 187 показатель — неисправимые ошибки — сдвигается с 0, компания планирует накопитель к замене. Так же сообщается, что пока данный показатель равен 0 накопители выходят из строя крайне редко. Статистика на иллюстрации, про 280% отказов описано выше.

Т.е. прогнозируемость отказа — чуть ли не ключевое преимущество в сфере работы с данными, что, в общем-то и понятно. Мы же с вами помним, что нечто аналогичное можно проследить и в среде твердотельных накопителей, правда там отказы происходят немного внезапнее и безвозвратнее. Ну и пока дороже в финансовом плане, чем в случае жестких дисков.

Небольшое отступление для внимательных

В вышеприведенном типичном SMART-отчете вроде не видно никаких указанных мною 187,188,197,198. На самом деле видно, но в графе ID эти идентификаторы представлены в hex т.е. шестнадцатеричной системе исчисления, где помимо цифр 0, 1, 2, 3, 4, 5, 6, 7, 8, 9 используются еще и латинские буквы A, B, C, D, E, F. Т.е. для перевода цифр надо помнить, что в hex  A это 10, B это 11; C это 12; D это 13; E это 14 и F это 15 в десятичном понимании, именуемом dec. Можно не париться, а поискать hex2dec конвертер или наоборот и из горы онлайн-ссылок выбрать любую. Так мы узнаем, что наш 187 показатель это шестнадцатеричное BB.

В моем типичном примере этот показатель уже отличен от 0 и равен 1, что говорит о том, что диск, в общем-то, уже не колокольчик и надо подумывать о замене всего-то на 9000 часах. Но это ноутбук и соответствующая эксплуатация — так что такое можно увидеть и на 1 часе после падения со стола. С другой стороны, в таком виде он открутит еще тысяч 20 часов и не закашляет. Не увидь я эти данные, а многие могут их не увидеть вообще никогда, то и не забивал бы себе голову. Это и есть одна из форм той самой тихой ошибки, о которой выше. Их может быть много, но с ними можно и не столкнуться. Доверять критические данные без резервного хранения таким дискам, конечно, не стоит, но по факту это делают миллионы людей ежедневно, так что иногда мониторить SMART все же имеет смысл.

He2 (т.к. просто Неlium был выше)

Но двинемся по статистике дальше. 4 ТБ накопители в целом оказались существенно надежнее 3 ТБ предшественников даже в рамках одного производителя. Так «трешки» от Seagate в первый год показывали 9,3% годовых отказов, а четверки — всего 2,6%.

Однако объемы растут и скоро и этот парк уйдет в прошлое целиком, т.к. на марше у нас 8-ки, 10-ки и даже 12-ки! Однако здесь не все так однозначно. Дело в том, что в этом сегменте уже идет внедрение новых технологий в массовое производство. Мы помним, что воздух, состоящий в основном из азота и в потоке которого парят головки над блинами жестких дисков, сильно плотный для современных решений и физически является препятствием росту объемов и скоростей. Поэтому в новых моделях используют менее плотных гелий, т.к. газовая среда в гермоблоке необходима — в вакууме механика жесткого диска по традиционной модели работать не будет, головки в прямом смысле слова нуждаются в газовой среде. Такие себе экранопланы.

Вокруг гелия идут дискуссии. Некоторые считают, что обеспечить абсолютную герметичность внутри и исключить утечку гелия в массовых изделиях не удастся, что неминуемо приведет к отказам т.к. внутренняя механика таких накопителей заточена под менее плотную, чем воздух, среду. Теоретически это заявление, в общем-то, обосновано, но все будет зависеть от конкретных производственных возможностей по реальной герметизации массовых товарных накопителей, т.е. заявку эту можно подтвердить или опровергнуть только временем, а пока у нас есть статистика для изучения.

И эта статистика говорит, что текущие 8-терабайтники на воздухе не особо и отличаются показателем отказов от вариантов на гелии. Более того 8/10/12-терабайтники на гелии в целом показывают неплохую массовую статистику. Серия из 16800 штук на 12 ТБ от Seagate на более чем полутора миллионах диско-часов имеет годовой  показатель отказа чуть более 1%. Да и вообще большие диски получились пока статистически очень неплохими.

Средняя температура по больнице

Самое время посмотреть общую статистику от Backblaze.com. Это конечно не рынок в целом, но почти 107 000 накопителей, круглосуточно работающих под нагрузкой, дают основания делать хотя бы приблизительные и статистически вроде бы относительно натягиваемые на бытового или SOHO-пользователя выводы.

По актуальным моделям картина выглядит так:

Как видим для 45 млн. диско-дней годовой показатель отказов для 4-терабайтного Seagate составил менее 3%, т.е. при выборке из почти 35000 накопителей, которые постоянно нагружены работой, в год из строя выйдет менее 3 единиц. Примечательно, что средний пробег по этим цифрам составил примерно 3,5 года.

Промежуточные итоги

Важными выводами, которые делают из своей статистики Backblaze.com являются следующие:

• Для современных жестких дисков потребительского класса, нагруженных круглосуточно, порог роста числа отказов по износу приходится на 4 года.
• Выход из строя таких дисков — явление неплохо прогнозируемое по SMART.
• 1+2 для случая массива RAID дают хорошие гарантии того, что данные, хранящиеся таким образом на потребительских накопителях, делают это вполне надёжно при адекватном мониторинге ситуации.

Главным следствием из изложенного, вероятно, является тот факт, что в реальном SOHO с похожими нагрузками накопители встретятся нечасто, но там будут иные нюансы. Конечно, кто-то может сделать аналог домашнего дата-центра из старого сервера HP и подкинуть туда архив p2p-файлообмена, но даже в таком случае достичь нагрузок, аналогичных тем, что испытывают носители в Backblaze.com, можно будет далеко не всегда и уж точно не постоянно. В связи с этим срок полезной работы жесткого диска в домашне-офисных условиях вероятнее всего окажется больше, нежели описанные 4 года, особенно учитывая, что это только порог увеличения отказов по износу, а не момент, когда все диски выйдут из строя. Т.е. в реальности году к 5–6, если экстраполировать, где-то половина стартовавших одновременно накопителей будет жива. Но проводить эксперимент по долголетию с клиентскими данными на борту, как мы помним, никто не будет, и по показаниям SMART отклонившиеся от генеральной линии партии накопители будут заменены новыми, но к тому времени уже аппаратно иными участниками соревнований.

Some Like It Hot

К аналогичным выводам пришли ученые из Carnegie Mellon University. В частности, они отмечают, что в периоде после 5 лет эксплуатации необходимость замены носителей в крупных инсталляциях возрастает.

А вот ребята из Google установили, что влияние факторов температуры и нагрузки на выход дисков из строя несколько преувеличены и статистически заметны только для возрастных накопителей — т.е. после 5 лет, что несколько неожиданно и для них самих, т.к. ожидалось обратное.

Данные в части температурного режима выглядят так — максимальные проблемы у горячих дисков на 3 году работы. А мы пока заметим, что пик пришелся на более, чем 45 градусов.

Они же сообщают, что особой разницы в случае анализа потребительских и корпоративно-профессиональных накопителей не наблюдают. Последнее, в общем-то, ожидаемо на фоне вышеизложенного. Тем не менее, для 5-летних дисков показатель выхода из строя для выборки с большой нагрузкой и маленькой отличается вдвое — около 4 и 2 %, что в абсолютном выражении не катастрофично. Для новых дисков эти показатели соответственно находятся на уровнях 10 и 4 % с некоторым разбросом, т.е. можно предположить, что под нагрузкой лучше и раньше проявляются производственно-инженерные дефекты и проблемы комплектующих.

По вопросам отсутствия корреляции показателей температуры и отказов Backblaze.com в целом солидарны с предыдущим докладчиком, опираясь на статистику по 34 000 накопителям. Наличие такой связи проявляется лишь на отдельных конкретных моделях, например, Seagate ST31500541AS. Для него диаграмма выглядит так:

Для большинства же моделей жестких дисков такой связи не прослеживается. Детальнее цифры можно посмотреть по ссылке.

Например, по выборке Hitachi HDS722020ALA330 картина следующая и она, вероятно, обусловлена даже не столько конструктивными моментам, а конкретными условиями производства самой модели. Правда стоит отметить, что в случае с дата-центром особо нагреваться дискам никто не дает. Температурный режим и вентиляция там несравнимо получше, чем в типовом напольном мидлтауере с горой пыли внутри. Запомним этот момент, он нам еще пригодится.

И чё, и чё?

В целом три исследования практически промышленной эксплуатации жестких дисков показывают, что при постоянной нагрузке срок полезного их использования составляет примерно до 5 лет или 43800 часов. Не каждый диск в SOHO доживет до столь почтенного пробега. С другой стороны, эта статистика совершенно не значит, что не будет экземпляров, которые бы не прожили значительно дольше, например, тысяч 100. Но таковыми будут явно не все и в домашних условиях по первому чиху накопитель мало кто, в отличие от дата-центра, меняет. Поэтому отдельные «винты» даже с бэдами будут уверенно крутиться до победного, т.е. полного конца. В ряде случаев пользователи даже не будут подозревать о фактическом состоянии накопителя. Про «тихие ошибки» написано выше.

При этом важно, что производственные дефекты проявятся, скорее всего, на ранних сроках, покрываемых гарантией, после чего кондиционный диск открутит положенное.

Занимательно, но гарантия на некоторые твердотельные накопители, например, от Intel, тоже составляет 5 лет, Crucial также предлагает 5 летнюю гарантию и WD тоже. В случае с твердотельными накопителями понятие гарантии еще оперирует циклами перезаписи, но в общем случае условный пользователь имеет все шансы за 5 лет их не выработать.

В случае же обычных жестких дисков количество циклов записи-стирания условно считается неограниченным и механика деградирует заведомо раньше магнетизма (правда детально причины почему-то никто не поясняет, но пользователем достаточно этой расплывчатой формулировки — они, типа, поняли), т.е. внимание на это обращать смысла никакого нет, а вот на SMART — есть.

Что касается жестких дисков, то ожидать увеличения срока их полезного использования можно было бы, но не стоит.

Можно было бы потому, что совершенствуются технологии изготовления компонентов, разрабатываются новые материалы и технологические процессы их обработки, сборки изделий. Задавшись целью произвести надежный во времени жесткий диск реализовать такую цель технической проблемы сегодня не составляет, особенно если не гнаться за скоростями.

А не стоит, поскольку это никому среди производителей особо-то и не нужно. Ввиду взрывного роста генерации объемов данных человечеством (причем в основном бизнесом в части big data) актуальным выглядит вопрос скорее расширения объемов хранения, в т.ч. на единицу площади, а надежность можно перекрыть избыточностью и заменой накопителей в массивах — это быстрее, дешевле и проще, нежели создавать абсолютно надежный накопитель, который устареет морально быстрее, чем физически. Действительно, какой практический и массовый толк от работающего древнего накопителя на 2 ГБ сегодня? Еще и производители главного «железа» задают SOHO тон ежегодными сменами платформ, где новыми системными накопителями будут твердотельные, а бэкапы сольются в корпоративные облака, где проблемы технологий хранения клиентов на местах вообще не интересуют (по крайней мере, пока не прилетят черные лебеди в виде пары падений крупных облачных операторов)? Привет сюжету именно фильма, а не книги «Бойцовский клуб» — там есть релевантное.

Локальные же холодные данные можно хранить и на собственном жестком диске(ах) — они стоят сегодня беспрецедентно недорого и в случае RAID все вполне надежно, да и устареет по объему все скорее всего быстрее, чем износится, особенно в случае креативно-архивного использования.

В общем, производители 3–5 летнюю (WD Black для НЖМД) гарантию берут не с потолка и танцуют вокруг именно этой цифры, хотя на практике большинство накопителей в домашних и околопрофессиональных условиях ее перешагнет. Почему положение дел именно такое — пояснено выше: на подходе новые технологии и повышать выносливость старых никто не будет, а вот что покажут инновации — увидим уже совсем скоро.

В любом случае списывать со счетов даже текущие технологически диски еще рано и об этом наш следующий материал.

Но, one more thing, как говорят любители фруктов

Внимательный читатель уже задается вопросом — где же технические первопричины описанного, Билли? Не втирают ли нам какую-то дичь? Так много слов о ресурсе, износе и прочем, а по факту никакого технического матана! Что же изнашивается? Как это происходит?

Их есть (с), но придется несколько расширить рамки публикации. Данные опять же из открытых источников — у нас же OSINT! И в этот раз мы смотрим на точку зрения одного из трех оставшихся китов, на которых стоит рынок HDD — WD.

Коротко вспомним, что такое жесткий диск — это устройство хранения данных, основанное на магнетизме. В литой и фрезерованный корпус (шасси) помещается сборка рабочих твердых магнитных дисков, которые крутит электромотор. Над и между пластинами бегают пишущие и читающие головки на длинных коромыслах, чтобы охватить весь радиус блина. Рабочее пространство закрывается крышкой — там «чистое» в плане пыли пространство. Есть еще плата управления, шлейфы и разъем интерфейса снаружи. На плате будет электроника в виде контроллера, DRAM-буфера и т.п.

На картинке негерметичный пример. Для герметичного в случае, например, гелия принципиальнее отличия конструкции только в газообмене ну и тонкости элементов.

Итак — самый жир

WD нам сообщает, что около 70% всех проблем жестких дисков — это проблемы зазора головок и блинов. При его нарушении происходит контакт с неблагоприятными последствиями.

Сегодняшние зазоры — менее 2 нанометров! И секретный инсайд из WD постулирует, что, экстраполируя это на реальным мир, мы получим полет на самолете через все США на высоте 1 м с неравномерностью территории +/– 4 см. Не впилиться бы в секвойю, но их в нашем макроаналоге не предусмотрено. Именно поэтому жесткие диски боятся ударов.

Ботающие на английском увидели слово lubricant. Оказывается (и я гарантирую, что многие не знали), на блине жесткого диска есть монослой смазки для снижения адгезии и трения между головками и диском. Поднятие лубриканта слайдером — явление целиком нормальное в своих масштабах, но «глубоко» копать категорически нельзя, ибо будут в прямом смысле запилы рабочей поверхности.

Дело в том, что физические характеристики мономолекулярных пленок зависят от фактического количества материала и последствия копки могут быть отложенными.

Помните про магию и самоуспокоение — теперь по ходу материала вы начинаете знать еще немного больше.

Но мы продолжим. На головках и блинах используется покрытие из алмазоподобного углерода (химики намекают, что алмаз и есть углерод, но алмаз — форма, обуславливающая эксплуатационные характеристики). Сегодняшние толщины покрытий — чуть ли не менее нанометров. В случае утончения начинается рост рисков запилов, износа и даже миграции (!) магнитного материала. Если копать дальше, то мы уйдем в трибологию, что, в общем-то, очевидно. О трибологических аспектах в контексте головок и блинов жестких дисков почитать можно по ссылке.

В общем, тема поддержания достаточного просвета пары пластина-головки является чуть ли не главной в вопросах надежности современных жестких дисков. Множество факторов, на нее влияющих приведено на иллюстрации ниже:

HDI расшифровывается как HEAD-DISK INTERACTION.

Правда красиво? Все это иллюстрирует тезис о том, что новые поколения жестких дисков, ввиду усложнения, будут подвержены новым, возможно неизвестным сегодня, рискам. Инженерам действительно непросто — рынок требует бОльших объемов дата-центров. И объемы по вменяемым ценам сегодня могут дать только старые (старые ли уже?) добрые (точно не злые) жесткие (об этом в первой части) диски (внешне, правда, прямоугольные). Важно понимать, что вопросы надежности являются объектом процесса моделирования на стадии разработки и модели эти эволюционируют вместе с индустрией — иного выхода нет, иначе рынок покажет производителю филейную часть. Поэтому же в ванноподобной кривой из начала материала всегда будет первый сегмент, ответственный за т.н. «детские болезни».

О ванной за пределами IT

Первый сегмент формируется косяками в вопросах качества, материалов, ошибками инжиниринга (привет некоторым моторам группы VAG и BMW, например), а также проблемами самого производства как процесса.

Немного окинем взором мировые мемы по теме. Вначале 2000-х потребители продукции АвтоВАЗа столкнулись с проблемой вибрации руля на скорости 110 км/ч. Проблема не решалась — лучшие балансировочные станки выводили колеса в идеальный баланс, но в руль все равно било. В итоге население экспериментально установило, что если, внимание, отбалансировать колесо прямо на ступице, то проблема исчезала. Называлось это финишной балансировокой и стоило дорого, при смене колеса делать приходилось заново. Письма производителю ожидаемо не дали никакого результата, и народ вошел в исследовательскую фазу. А ларчик открывался просто — на конвейер закупили колесные диски, где диаметр центрального отверстия на 1,5 мм был больше посадочного места на ступице. На шиномонтажах колесо прикручивали со смещением, что и вызывало биение в руль идеально отбалансированного колеса. По этой же причине балансировка на ступице проблему решала, но прошли месяцы и чуть ли не годы, пока производитель прокрастинировал, а народ ломал головы. Проблему, кстати, решили сами пользователи, а не завод. Мучения c ранним двухдисковым сцеплением от VAG и радости владельцев 5-литровых V8 от BMW, употребляющих масло ведрами, вначале 2000-х — тема отдельная. Так что не только Аpple умеет накосячить с антенной, кнопками, экранами и держать покерфейс, а тут — какие-то копеечные диски.

По этим же причинам у кривой есть замыкающая часть (хотел написать — последняя, но вдруг нас читают парашютисты, КВСы, штурманы дальнего хождения и иже с ними) и, как мы слегка подсмотрели, там есть чему изнашиваться кроме мотора. Поэтому наступление периода критического роста вероятностей выхода носителя из строя называется так не случайно — в этом периоде важные накопители лучше таки менять на исправные.

Матан производителей, в отличие от приведенных выше данных, говорит о том, что время — самый плохой доктор для жестких дисков. Картинка чуть ли не из второго закона термодинамики — энтропия, т.е. процент отказов возрастает.

А вот следующим фактором вылета «винтов» производители считают… температуру.

BSOD WTFаками и его разрешение

Самое время читателям предъявить мне:

Да как так-то ? (с) Вверху же совсем обратное!

Амбивалентность ситуации разрешить было непросто, но я смог.

Графики надо читать и анализировать!

Смотрим внимательно слайды. Раз.

И два.

Если коротко, то вышеподписавшиеся охватывали вниманием иные температурные диапазоны, где влияние температуры особо-то и не проявляется. Дата-центры — не сауны с блекджеком и там с кондиционированием все в порядке.

Зато вывод WD сотоварищи постулирует о том, что вероятность отказов возрастает вдове на каждые 15 градусов Цельсия роста температуры. Заметим — это не исключает мнение предыдущих ораторов. Градусов с 50-ти начинается серьезный рост перспективы вылета накопителя. Именно перспективы, а не самих вылетов. Но почему?

В соединении с изложенным возникает и требует изучения уже вопрос влияния рабочих нагрузок на ресурс жестких дисков и это привело производителей к пониманию того, что количество переданных терабайт является параметром, напрямую связанным с надежностью. Сюрприз! Жесткие диски уже тоже имеют по этой части рамки — почти как твердотельные, почти. Пока почти.

Удивленная публика видит новый показатель живучести НЖМД — Mean Petabytes to Failure (MPbF) и производные.

Mean Petabytes to Failure (MPbF) и производные

WD предлагает график, который получился в результате тестового забега 1200 накопителей в течении 1000 часов при сильной рабочей нагрузке с коррекцией по температуре. В итоге статистически значимые данные подтверждают, что с ростом нагрузки процент отказов растет при прочих равных. И наоборот. Причем растет кратно. Из рисунка явно видно, что в абсолютном выражении эти показатели не пугают, но, тем не менее, они существуют в реальности и ее определяют для владельцев этих накопителей.

Возвращаясь к головкам, пластинам, смазке и трибологии производители осознали, что надо дорабатывать напильником и срочно. Нанометры уменьшаются и вот уже нагрев реально вызывает расширения, способные привести к нехорошим физическим последствиям. Родились идеи типа динамической высоты головок. Много матана по ссылке, а мы посмотрим наглядную агитацию про Dynamic Fly Height (DFH).

Показатели перспектив отказов изображены на иллюстрации: тут и миграция, и износ, и рост вероятности отказов в разы.

Критичным считается время близкого нахождения головок к блинам (дальше — копка и запилы!), что находится в прямейшей связи с переданными объемами информации, т.е. суммой запись+чтение.

И это только «дорожный» просвет, а еще мы помним про температуру, как причину, и переданные терабайты, как ориентир. В общем, парадигма надежности жестких дисков в последнее время меняется, и НТП этому прямо способствует. Соответственно разрабатываются новые модели определения надежности, измеряемые точки опоры этих моделей и инструментальные возможности это квантифицировать. WD, в частности, обращает внимание на деградацию головок по магнитным и электрическим измерениям, расстояния между рабочими (в т.ч. магнитными) элементами и уровень ошибок. Без нагрузки головки могут быть «поднятыми» над пластинами или запаркованными в специальном месте за пределами магнитной поверхности блинов.

Да, жестким дискам тоже отведут срок эксплуатации

Выливается все это в один важный момент — некоторое время назад (почти 10 лет, но мало кто заметил) производители жестких дисков как минимум начали оценивать теоретические рамки нагрузки для своих продуктов и сегодня имеют вполне сформированное видение по этому вопросу.

Так Seagate, например, ведет в своих дисках статистику показателя Workload Rate Limit (WRL). Это что-то вроде расчета годового пробега в терабайтах. Seagate условно отводит механическому диску некорпоративного класса 180 терабайт в год или примерно 340 мегабайт на минуту работы шпинделя в режиме чтения или записи (нагрузка в этих режимах суммируется для расчета). Компания при этом замечает, что на гарантийные обязательства этот показатель в общем случае не влияет, а рассчитывается для того, чтобы зафиксировать порог нагрузки, при котором вероятность поломок накопителя возрастает. Бытовому пользователю столкнуться с такими нагрузками вряд ли придется. Диску корпоративного сегмента по логике Seagate при этом полагается 550 терабайт на год нахождения включенным. WD ориентируется на 55 ТБ в год для настольно-мобильного сегмента, 180 — облачного, 550 — корпоративного и «топчику» для дата-центров отводит 800 терабайт в год. Как бы эти 800 освоить еще. Toshiba такие показатели именует Annual Workload Rating и, например, «Выживальщику» S300 на 4 ТБ отводит 110 терабайт годовых. Детальнее по ссылке, сноска №5. Там тоже прямо указано, что с гарантией это связи не имеет, но она у всех-то limited.

Вполне вероятно, что с прогрессом в сфере технологий, которые используются в жестких дисках, эти цифры трансформируются в нечто более близкое к количеству перезаписей ячеек твердотельных накопителей и вместо информационного триггера станут гарантийным лимитом, при выходе за который производитель откажется нести гарантию. Но все это потом, а пока считается, что целенаправленно уложить накопитель потребители за 3–5 лет не должны и многие продолжают думать, что жесткие диски остаются быть «вечными». На самом деле идею нужно разбавить еще и тем, что маркетинговый отдел любого производителя под крышку бы и механизм самоликвидации запихнул для роста продаж, а главное — возможности планирования их регулярности. Но можно оскандалиться.

Время смелых

Но можно и запихнуть! Здесь следует отметить достижение по протиранию до дыр Optane и странную позицию протирателей по этому поводу. Известные адепты протирания установили, что выходу из строя SSD предшествует начало использования запасных блоков контроллером твердотельного накопителя, что, в общем-то, очевидно, перед тем, как крякнуть, с солью можно и нужно даже запасные блоки доесть. Нюанс «Оптана» был в том, что его SMART по вылету сообщал, что запасные колеса никто не ставил и они лежат в багажнике чистенькие и пупырчатые. В соединении с тем, что Optane чуть ли не единственный накопитель, который в итоге не отвалился с концами, а перешел в режим Read-Only с сохранением доступа, указанное тревожно намекает противосамолетным прожектором в ночи, что вывод его из эксплуатации произошел не по факту износа либо поломок разного рода, а запланированно в прошивке производителем. Но поскольку пробежал он явно больше, чем было заявлено Intel в спецификации, то и предъявлять вроде как нечего.

Настораживают лишь два момента:

• «Офигеть конфетки «Тузик»!», т.е. сам факт такого не просто запланированного рассчетно, а конкретно, похоже, изначально отведенного пользователю ресурса! Optane быть может и больше выбегал, но кто ж новый купит? — песня известная.
• Где были очки протирателей, когда они смотрели на результат? И почему они так упорно игнорируют очевидное и избегают комментариев по существу? Кто бы им бинокль вручил, хотя, как в Карлсоне, папа, т.е. Intel, мог строго настрого запретить есть варенье, а именно публиковать эти наблюдения, т.к. дорогую реально железку не для этого вручали. Ну Вы понели… (с)

Я практически уверен, что если бы нашелся Skynet, способный дизассемблировать прошивку «Оптана», то мы бы получили фактические вещдоки обозначенного, но, видимо, не сегодня.

А пока и безсвинцовой (или как троллили в комментариях — безплюмбумной) пайки местами хватает.

Аннушка уже разлила масло

Пока же читатели не так много, как следовало бы, уделяют внимания продвигаемому показателю DRWPD — Disk Read or Write Per Day — т.е. допустимой суточной нагрузке, а ведь именно она в последнее время становится все более ключевой в пресс-релизах и прямо проистекает из изложенного. Именно этим показателем пытаются гримировать ситуацию с ресурсом QLC, например, в Micron.

И делают это, подводя статистику, что, мол, этот показатель падает и это если не нормально, то хотя бы в ожидаемом числится. Окно Овертона в действии.

А вот тут мы вообще в разделе Wow! That’s Cool! (надо больше восклицательных знаков) узнаем, что, оказывается, есть тренд того, что ПО больше читает, чем пишет! Там еще заливают, что read-centic!!! софт, о котором вчера еще никто в такой формулировке не слышал (а браузерный кэш так вообще смотрит на таковой как на оленя), это то, чему твердотельные накопители страх как подходят. Особенно на QLC, на фоне того, что жесткие диски-то имеют показатель рекомендуемой нагрузки, который исполняется как в ходе чтения, так и в ходе записи. А QLC-то ведь на чтение не изнашивается!

Я не знаю, что они там в маркетинговом департаменте Micron употребляют (а если верить Пелевину, то что-то таки должны), но это очень напоминает заявление Intel о лидирующей в отрасли плотности битов на ячейку! Может вторые как-то покусали первых? В любом случае у нас очередной маркетинговый WIN! Оказывается, нам всем очень не хватало QLC. А ведь их могут читать дети!

8-bit MLC в 2019

Страшно подумать, что они наколдуют под OLC — да, восьмиячеечные решения Micron выкатит уже летом, а к зиме и накопители подвезут. Вот где маркетингу придется выворачиваться наизнанку, но, как видим, фундамент залит уже сегодня — читающее ПО и изнашиваемые жесткие диски — герои будущей драмы. Ах ну да, я забыл — это же будет 8-bit MLС, в 2,(6) раза больше битов чем у лучших образцов TLC! Обережно, покращано!

Very limited warranty

Но вернемся к DRWPD жестких дисков. Учитывая изложенное нельзя исключать, что выход такого показателя за пределы установленной нормы можно в будущем признать основанием для отказа в гарантии без затрат дорогущих человеко-часов сервисов на выяснение нюансов. Т.е. здесь можно сэкономить на издержках по сопровождению гарантии. Именно сопровождению, т.к. прямая замена или отказ — дешевле, проще, снижает риски сговора инженера по гарантии с клиентом (да, было много случаев, когда в последний месяц гарантии можно было треснуть жестким диском по столу и легально обменять его на новый, а если крупно повезет, то и на бОльшего объема, если старые делать и поставлять перестали).

Теория и отчеты — хорошо, а как с наглядной агитацией?

Поэтому поводу очень кстати камрад dlinyj с Habr.com задался вопросом, как быть среднестатистическому ИТ-шнику в случае, когда кровавая гэбня, предварительно перегрызя ввод питательства в квартиру, интеллигентно выносит дверной косяк с целью  поковырять архивы анона. Архивы конечно же на НЖМД.

Методические рекомендации, используемые последними в первом приближении мало изменились со времен, когда любителей поквартирного платного просмотра «ничего» опера накрывали путем обесточивания малины. Как мы помним, из редчайшего видеомагнитофона кассету можно было достать без питания (а с учетом механизма подвода пленки к головкам число таковых вообще стремится к нулю, т.к. при обесточивании пленка на головках и оставалась растянутой), а UPS были в СССР даааааалеко не у всех. В итоге под звуки выламываемой двери и почти меметичного «лицом в пол, руки за голову» у организатора домашнего кинотеатра выхода было в основном два: а) принять неизбежное со всеми вытекающими по УК СССР (аббревиатура использована исключительно в исторической ретроспективе), б) попробовать соскочить и в отчаянной попытке выбросить вещдок в окно — авось потом не докажут откуда полет начался (с развитием советской криминологии с последним боролись путем протоколирования осмотра окон специально обученными лейтенантами и расставления в прямом смысле улавливающих сеток по траектории предполагаемого полета). Ирония судьбы — нередко аэродинамику проверяли у достаточно неплохих видеомагнитофонов небезызвестной и нами ранее упоминаемой Hitachi! Ниже классика 80-х для наглядности. Фото со Skylots.org, но еще тысячи их физически в строю.

Toshiba, впрочем, тоже встречалась. Вот она — связь времен в реальности (и это мы еще тематично не коснулись АрВида — до гигабайта цифры на час обычной видеокассеты VHS). Особой пикантности выбору придавал тот факт, что видеомагнитофон мог стоить примерно как квартира (хотя последние официально и не продавались) — нелегкий выбор, однако. Помните, в прошлом материале мы тоже приводили такое мерило для автомобильного медиа-центра Pioneer?

В общем, фабула посещения может быть любой, а результат — прогнозируемый. Поэтому человек и решил выяснить для себя как же лучше всего максимально продуктивно потратить доступные секунды до момента, пока посоны с протокольными лицами не испачкают ковер берцами, расчищая путь коллегам в штатском.

Мы, конечно же, твердотельно и нжмдшно стоим на позиции, что уголовный кодекс надо чтить, а законодательство соблюдать, поэтому опыт товарища изучим строго в академических целях. Так, одним из предложений, озвученных автором, было уничтожение потенциально компрометирующих данных на «винте» практически Торквемадовским методом, т.е. приглашением на огонек. Сжиганием, короче. Практическая часть лабы была запротоколирована и оказалась крайне эхотажной, т.к. сжигался НЖМД не просто на костре, а с подключенным питанием, т.е. с вращающимися дисками и со снятой крышкой. Торквемада совершил бы пару оборотов в гробу, поняв, насколько он недоработал в части жестокости, после изучения картинок ниже.

Итак, диск без крышки на оборотах начинают доводить до extra crispy (а вы знали, что уровни сложности в игре Blood совпадали с англоязычными названиями степеней приготовления еды термической обработкой?) газовой горелкой. Ни в коем случае, ни при каких обстоятельствах не повторяйте дома!

Еще раз обратим внимание — головки вне паркинга, блины крутятся, температура растет.

Через некоторое время термическое расширение делает свое дело, и головка начинает доставать до блина в строгом соответствии с теоретическими выкладками, озвученными выше.

Результат налицо – глубокий запил. Но это еще не все. Через 5 минут эксперимента встал и шпиндель.

Вероятнее всего по аналогичной причине — технологические допуски цилиндрических соединений (или как там правильно назвать ситуацию с электромотором) не подразумевали такого сближения рабочих элементов. На этом интересующий нас эффект достигнут, но для гурманов — ниже продолжение эксперимента.

А тут филармония решила продолжить концерт в три смычка.

Результат получился с ассоциациями.

Таким образом, теория нашла подтверждение ускоренными ресурсными испытаниями.

Мгновение современной криминологии для киберполицейских

В этот момент из аудитории должен прозвучать настойчивый вопрос о том, не ошибся ли докладчик, сообщая о методике подготовки к заходу в помещение с искомыми носителями — точно ли надо отключать свет? Отойдя от темы, заметим, опять же академически, что отключение питания должно, помимо факторов внезапности и психологического давления, исключить в общем случае возможность подозреваемого уничтожить данные электромеханическими методами — программно, дрелью (хоть есть и на батарейках, но не у каждого), магнитным полем, микроволновкой, в случае с оптическими носителями, наконец ! Внезапность и отключение света могут дезориентировать подозреваемого и позволят выиграть оперативникам время. Правда это несет некоторые дополнительные риски — если подозреваемый несколько продвинут и искомые данные по материалам дела могут находиться на подключённом накопителе, то не исключено использование разных форм шифрования. Отключив свет в такой диспозиции, восстановить данные с хорошо и грамотно зашифрованного накопителя будет практически нереально без сотрудничества подозреваемого со следствием. При этом у подозреваемого продолжат несколько секунд быть доступными такие оффлайн-инструменты как молоток и… выкидывание в окно в надежде, что разобьется. Так что конкретное тактическое решение будет принимать руководитель следственно-оперативной группы. И совет дать команду конкретно силовой ее части физически обездвижить подозреваемого, чтобы он даже в случае UPS не споткнулся «случайно» о шнуры питания, тем самым обесточив поднятое до прихода тонких специалистов, будет не лишним.

Важно также понимать, что все вышеописанное в этом и предыдущем материале недвусмысленно намекает, что надежность современного хранения требует регулярных бэкапов. Поэтому есть некоторая отличная от нуля вероятность, что у подозреваемого могут быть резервные копии, образы, облака и прочие дублирующие источники информации. Подготовленный следователь располагает соответствующими инструментами и может выявить их местоположение для дальнейшей передачи экспертам. И эти инструменты совсем не противогаз, не швабра, не перевёрнутая табуретка и даже не отдельная комфортабельная камера с туберкулезниками в СИЗО — все это противозаконно и в тоталитарном прошлом. Сегодня следователь оперирует общечеловеческими ценностями, совестью, процессуальным кодексом и гражданской ответственностью. Впрочем, если следователь подготовлен действительно хорошо, то он может даже убедить подозреваемого передать следствию ключи шифрования, если таковое имело место. Это быстрее, дешевле и эффективнее магнитно-силовой микроскопии в случае магнитных носителей и прочих профильных прикладных технологий для носителей иных типов. Ну и криптоаналитикам не придется потеть с паяльниками. Но мы отвлеклись.

Симпозиум постановил

Таким образом, как оказывается, жесткие диски, хоть и могут долговечнее сохранять информацию, тем не менее, имеют вполне физические нюансы эксплуатации, которые становятся все более существенными с усложнением технологий. Современный жесткий диск имеет хороший ресурс передачи данных, но и он, внезапно, как и у SSD, уже имеет ограничения технологического характера, которые можно посчитать. В результате нормальной нагрузки к 5 годам работы современный жесткий диск попадет в зону риска выхода из строя, хотя проработать дома или в офисе может гораздо дольше — и 50000 и даже 100000 часов. Последнее во многом таки зависит от нагрузки и температур в силу используемых в самих дисках решений. Не забываем про вибрации, скачки напряжения и непоказательность датацентровой статистики — там все по-другому. А пока жесткие диски являются безальтернативными по емкости и цене за гигабайт хранения. Поэтому на рынке они будут существовать очень долго, и уже практически завтра мы увидим предложения на 50–100 и даже 200 терабайт в изделии, правда все это будет потихоньку смещаться в ниши, где такое железо обеспечит решение более конкретных и узких задач. Это нормальное, нужное сегментирование рынка и все категории потребителей сосредоточатся именно на тех продуктах, которые будет лучше всего соответствовать именно их потребностям по приемлемой цене. Ведь никто же не пытается сравнивать МАЗ-537 с легковым седаном, хотя технически оба автомобили и на обоих можно сгонять за «пыгом». В случае SSD потребитель получил еще одну инновационную возможность обеспечить конкретные сегменты быстрым накопителем, т.е. гибкость в подходе к конфигурированию конкретных аппаратных решений стала еще выше.

Поэтому вот этот товарищ только издалека присматривается к ситуации, трезво осознавая, что время его роли в этой постановке наступит еще не скоро.

Не стоит так же забывать, что есть немало технологий, способных продлить жизнь жестким дискам. Некоторые из них еще не вышли за пределы лабораторий и неизвестны вне среды узких специалистов, а некоторые уже пытаются быть представленными общественности предприимчивыми стартаперами (слово-то какое к нам из маркетинга подвалило!). Так, например, ребята из L2Drive на серьезных щах заявляют о вакуумных 3D-технологиях в традиционных жестких диска. Т.е. прямым текстом предлагают откачать все газы из гермокамеры с блинами и головками.

Если у них взойдет, то и покрытия дисков с головками можно будет упразднить, и смазку защитную не добавлять, и проблемы газовой среды внутри накопителя решить, что крайне важно для термомагнитных перспектив, и… расстояния еще сильнее уменьшить. Правда мы помним, что это как раз один из главных взаимоисключающих параграфов надёжности сегодня на фоне еще и термодинамики. На это стартаперы отвечают тем, что в безгазовой среде они смогут легче активно управлять зазором блин-головка. С другой стороны, все прелести, если таки взойдет, можно будет внедрить и без award winning-уплотнения. Правда, в числе участников междусобойчика числятся аж два прямым текстом, как они себя сами позиционируют, серийных предпринимателя, что для нашего уха звучит несколько необычно и в такой формулировке даже как-то невольно вспоминается известная тема композитора Игоря Назарука (если вам больше 25, то вы ее, скорее всего, знаете). Еще двое — выходцы из WD и решительно непонятно почему там эту идею не взялись внедрять, особенно на фоне продвигаемой MAMR.

В любом случае этот пример говорит о том, что идеи еще будут и общий НТП будет этому, несомненно, способствовать.

Вторым главным следствием из прочитанного является тот факт, что слепо доверять публикациям из любых источников (и этой в первую очередь) без критического их осмысления (в комментариях) не стоит — они могут быть совершенно достоверны по сути, но нерелевантны в конкретных условиях. Ложное понимание описанной «магии» может вылиться в убытки как финансовые, так и имиджевые. Последние нередко дороже.

В этом ключе хотелось бы также напомнить, что на трилемму и достижения инженеров-физиков есть обратный компенсаторный механизм маркетологов, который как никогда тематичен.

А в случае с особо эффективным внедрением новых технологий инженерами и соответствующим падением цен на накопители традиционного типа может и какое наводнение произойти, пожар на худой конец. Это очень бодряще действует на графики цен оптовых поставок.

Глобально это выглядело вот так и сильно подправило линию тренда цены за гигабайт:

Однако при наличии всего-то трех производителей этого может и не понадобится, о чем нам крайне толсто намекают изготовители памяти закладкой учебника по конкуренции в разделе «Олигополия».

По этому поводу вот прямо на днях недвусмысленно в TrendFocus намекнули, что поставки традиционных НЖМД по итогам года несколько упали в потребительском секторе. Общую ситуацию сглаживает Enterprise, но на фоне закрытия WD аж трети своих заводов по обычным «винтам» (на самом деле одного из трех, но «трети» звучит драматичнее) цены могут и подрасти. О чем там кто и с кем мог договариваться пусть анализирует и моделируют антимонопольщики. А мы смотрим свежую статистику.

Дополнительно отметим, что 5-летняя гарантия на потребительские решения в сферах HDD и SDD намекает, что эти технологии еще неизбежно пересекутся.

Титры

Спасибо дочитавшим до конца более 76000 знаков с пробелами. Теперь вы знаете больше. И Вы, тов. полковник, тоже.

Свои отзывы и предложения прошу оставлять в комментариях. Возможно, я что-то не осветил в стремлении к лапидарности или кто-то с чем-то не согласен, и мы вместе повысим образовательный уровень наш и тех, кто эту статью найдет в поиске в будущем.

Введение

Проектирование современной ИТ-системы предприятия невозможно без расчёта показателей надёжности. При этом основное внимание уделяется показателям надёжности функционирования системы, доступности сервисов и минимизации последствий простоя. В то же время основную ценность представляют данные.

Несмотря на тенденцию всё большего использования в системах хранения данных твердотельных накопителей (Solid Stade Drive, SSD), основным массовым компонентом хранения продолжают оставаться шпиндельные накопители – жёсткие диски (Hard Disk Drive, HDD). Именно они на текущий момент обеспечивают большие объёмы хранения по минимальной стоимости. Надо отметить, что не уделяется должного внимания проектированию системы хранения данных, для которой ключевым параметром является надёжность хранения и обеспечение доступности данных.

Современные жёсткие диски являются высокотехнологичными устройствами с ёмкостью до 14 Тбайт на устройство. Это практический предел, достижимый при использовании основного на текущий момент перпендикулярного способа записи данных на магнитный диск. Новые технологии, в частности, метод записи HAMR (Heat Assisted Magnetic Recording – тепловая магнитная запись), позволят достичь в ближайшее время ёмкости дисков до 30 Тбайт и более и минимизировать стоимость хранения данных, хотя и текущая ёмкость дисков позволяет строить системы хранения до нескольких петабайт в пределах одного шасси.

Отказы жёсткого диска

Современный жёсткий диск является высокотехнологичным устройством, состоящим из большого количества электронных компонентов, механических деталей и узлов, выполненных с микронными допусками (рис. 1).

Несмотря на высокую сложность, конструктивные и технологические решения позволили обеспечить высокую надёжность жёстких дисков со средним временем наработки на отказ достигающим 2–2,5 млн часов. На первой взгляд, это гарантирует бесперебойную работу. Но с постоянно растущими требованиями по объёму хранения данных необходимо увеличивать количество дисков (шпинделей) , что влечёт за собой уменьшение надёжности системы хранения.

Рассмотрим основные причины отказов жёстких дисков. Дерево отказов представлено на рис. 2.

Для жёстких дисков, основная задача которых – хранение данных, отказ – это их потеря, а точнее, невозможность их считывания. Современный подход выделяет два типа отказов дисков: первый – функциональный (явный) отказ, или, как принято говорить, операционный сбой, и второй – скрытая ошибка. Функциональный отказ обнаруживается на аппаратном уровне обслуживающим накопитель контроллером и при правильном построении системы не ведёт к потере данных. Скрытые ошибки явно не проявляются, но их последствия могут быть катастрофическими и в итоге способны привести к полной потере данных. Для обнаружения и исправления скрытых ошибок требуется применение специальных алгоритмов и дополнительных вычислительных ресурсов.

Основными причинами функционального отказа являются нарушение серворазметки, сбои системы позиционирования, сбои и отказ в работе электроники накопителя, поломки считывающих головок и превышение лимита критичных SMART-параметров (Self-Monitoring, Analysis and Reporting Technology – технология самоконтроля, анализа и отчётности, или технология оценки состояния жёсткого диска встроенной аппаратурой самодиагностики, а также механизм предсказания времени выхода его из строя).

Функциональный отказ проявляется двумя способами: во-первых, данные не могут быть записаны на жёсткий диск, во-вторых, после того как данные записаны и всё ещё присутствуют на жёстком диске (пластине), электронные или механические неисправности не позволяют считать их. Во втором случае для некоторых отказов возможно восстановление информации с использованием специального оборудования и программного обеспечения. Восстановление данных при отказе блока электроники можно осуществить заменой платы электроники от аналогичного диска.

Среднее время наработки на отказ

Величина функциональных отказов определяет надёжность диска как устройства и выражается через среднее время наработки на отказ – Mean Time Between Failure (MTBF).

MTBF является статистическим термином и указывается в технической спецификации устройства. Необходимо понимать, что эта характеристика относится ко всей популяции дисков данной модели, а не к конкретному устройству, и является средней наработкой всех протестированных по специальной методике дисков, отнесённой к количеству отказов.

Значение MTBF вычисляется на основании большого (статистически значимого) количества приводов, непрерывно работающих на тестовом сайте, с экстраполяцией данных в соответствии с различными известными статистическими моделями для получения результатов.

Следует отметить, что параметр MTBF в целом характеризует надёжность восстанавливаемого устройства и определяется как

MTBF = MTTF + MTTR.

Здесь MTTF (Mean Time To Failure) – cредняя наработка до отказа; MTTR (Mean Time To Repair) – среднее время до восстановления работоспособности (рис. 3).

Для компонентов системы, в частности, для жёстких дисков производитель, как правило, приводит значение параметра средней наработки на отказ (MTBF), которым обычно оперируют при расчётах надёжности системы. При расчётах показателей надёжности систем с несколькими промежуточными состояниями необходимо оперировать показателем времени наработки до отказа. Обычно в системах хранения данных диск заменяется на исправный из «горячего» резерва автоматически или обслуживающим персоналом из комплекта ЗИП. Поэтому можно считать, что значение MTTR равно нулю и таким образом получаем, что MTBF = MTTF. Даже в случае, когда замена идёт из удалённых запасов и это время исчисляется неделями или месяцами, время замены (MTTR) значительно меньше MTBF и можно принять MTBF равным MTTF.

MTBF системы в целом состоит из MTBF компонентов и вычисляется по формуле:

Здесь MTBF_i – наработка на отказ i-го компонента системы.
Если MTBF компонентов системы одинаковы, что характерно для дисковой подсистемы, в которой обычно используются однотипные диски, то для данного случая получаем следующее выражение

MTBF_sys = MTBF_disk ⁄ N

Здесь MTBF_disk – MTBF диска, N – количество дисков.

Значения MTBF современных жёстких дисков, как было указано ранее, составляют до 2 500 000 часов, что может привести к выводу о том, что спецификация диска обещает более 100 лет его непрерывной работы. Но MTBF – это лишь расчётная величина, получаемая на основании параллельного сбора статистики отказов большого числа экземпляров нового исправного оборудования, у которого интенсивность отказов минимальна.

По мере старения и износа вероятность отказов возрастает, также это происходит, если в системе эксплуатируется большое количество дисков.

Q_sys = N×T ⁄ MTBF

Здесь Q_sys – вероятность отказа системы, N – количество дисков в системе, T – период времени.

Типичный пример для системы, в которой используются 114 однотипных дисков, с MTBF = 1 000 000 часов (144 года): за год её работы мы должны ожидать, что один диск выйдет из строя.

Q₁₁₄ = 114×1 ⁄ 114 = 1

Таким образом, для такой системы, как минимум, один диск нужно держать в ЗИП.

Ежегодная вероятность сбоев

Значение MTBF имеет смысл только для расчётов параметров надёжности системы, о чём будет рассказано далее.

И MTBF также не является гарантией относительной надёжности семейства продуктов. Более высокий показатель MTBF просто предлагает более надёжную серию (семейство) механизмов (в зависимости от согласованности используемых статистических моделей).

Стоит отметить, что практические значения MTBF, которые включают все возвраты дисков производителям независимо от причины, обычно составляют 50–60% от прогнозируемого MTBF. На эту величину и следует ориентироваться при эксплуатации изделий.

Вместо MTBF гораздо практичнее пользоваться параметром AFR — Annual Failure Rate, или ежегодная вероятность сбоев (ещё его называют Reliability – показатель надёжности), выводимым из MTBF.

Он вычисляется как

AFR = Failures ⁄ Year = Failures ⁄ Hours × Hours ⁄ Years = 1 ⁄ MTBF × POH = POH ⁄ MTBF

Здесь POH – время работы в год (Power-On-Hours per year).

Для режима работы системы 24/7, то есть 24 часа в день × 365 дней в году , типичное значение POH составляет 8760, и, соответственно, получаем выражение:

AFR = 8760 ⁄ MTBF

Это выражение даёт оценочную долю устройств, которые откажут в течение года. Тогда 1–AFR – это доля устройств, которые не откажут в течение года.

Итак, MTBF является вероятным средним числом часов работы между отказами, AFR является вероятным процентом отказов в год, исходя из общего количества установленных единиц системы аналогичного типа.

Скрытые ошибки данных

Под скрытыми ошибками данных (Silent Date Corruption) понимают не обнаруживаемые электроникой накопителя в процессе работы ошибки. Причиной этого может быть:

• нарушение данных на соседних дорожках при записи;
• отсутствие модификации оригинальных данных при записи;
• ошибки чтения данных при неправильной интерпретации кодов коррекции ошибок (в случае множественных ошибок);
• считывание неверных данных из-за ошибок позиционирования.

Причинами возникновения этих ошибок являются производственные дефекты магнитного слоя, коррозийные и физические повреждения магнитного слоя в процессе эксплуатации, временные сбои в позиционировании магнитных головок, например из-за вибраций, ошибки позиционирования из-за термического расширения рабочей поверхности вследствие нарушений температурного режима эксплуатации накопителя.

Фактическим параметром, характеризующим скрытые ошибки данных, является URE (Unrecoverable Read Errors – невосстанавливаемые ошибки чтения), определяемый как отношение числа ошибок к объёму (количеству) считанных данных:

URE = N_error ⁄ C_bit.

Здесь N_error – количество ошибок; С_bit –объём считанных данных в битах.

Минимальной величиной считывания данных с диска является сектор. Встроенные механизмы позволяют исправить некоторые ошибки чтения сектора, но иногда они не справляются со своей задачей и сектор прочитать не удаётся. Эту ошибку первоначально обозначили как скрытую ошибку сектора – Latent Sector Errors (LSE), и она применялась в расчёте на один сектор.

В настоящее время разные производители для различных моделей дисков приводят эти величины как в секторах, так и в битах, что, в принципе, даёт примерно одинаковые значения при расчётах.

Значение URE весьма мало́ и приводится для одной ошибки, то есть N_error = 1.

Исходя из этого, получаем выражение для объёма считываемых данных, при котором произойдёт ошибка чтения:

С_bit = 1 ⁄ URE.

Типичные значения URE и объём считываемых данных, для которых вероятность возникновения ошибки чтения равна 1, приведены в табл. 1.

Как видно, значение параметра URE, то есть вероятность ошибки считывания 1 бита, весьма мало́. Но следует понимать, что высоконагруженные системы, особенно в режиме восстановления, считывают значительные объёмы данных и возникновение ошибки чтения и, следовательно, потери данных довольно высоко.

Так, при восстановлении RAID-массива происходит считывание данных с работающих дисков и запись информации на новый диск, и общий объём данных будет составлять:

Сread = Сbit × K

или

С_read = С_bit × (N – R).

Здесь С_read – объём прочитанных данных (в битах); С_bit – объём (размер) одного диска (в битах); K – количество дисков с данными (полезный объём RAID-массива); N – количество дисков в RAID-массиве; R – количество избыточных дисков.

Для типичного дискового массива в 2U-шасси, состоящего из 12 дисков ёмкостью 12 Тбайт каждый, объединённых в RAID 5 (один диск для обеспечения избыточности), получаем объём считываемых данных 132 Тбайт:

С_read = 12 Тбайт × (12–1) = 132 Тбайт = 1015 бит.

При величине URE, соответствующей значению 1015, что является типичным значением для современных дисков большой ёмкости, используемых в системах хранения данных, восстановление такого массива может не произойти, то есть информация будет потеряна.

Таким образом, можно определить максимально допустимый объём дискового массива в зависимости от типа используемых дисков, с заданной допустимой вероятностью восстановления данных.

Среднее время восстановления диска в системе хранения данных

Следующим важным параметром при расчёте надёжности дисковой подсистемы, является время до полного восстановления (MTTR) неисправного компонента (диска).

В отличие от стандартных систем замена диска в системах хранения данных не означает, что диск становится работоспособным. Для восстановления работоспособности заменённого диска необходимо записать на него данные, то есть перестроить RAID-массив и вернуть его в работоспособное состояние. Таким образом, время восстановления диска в системе хранения данных определяется следующим выражением:
MTTR_disk = TDIAG +TREP + TRBLD.

Здесь MTTR_disk – время ремонта (замены) диска; TDIAG – время обнаружения неисправного диска; TREP – время, необходимое для ремонта (замены) неисправного диска; TRBLD – время восстановления потерянных данных (Rebuild) на новом диске.

Время замены может значительно варьироваться: часы, дни или нулевое время при «горячем» резерве (hot spare), когда резервный диск уже установлен в системе и сразу же включается в работу при обнаружении отказа какого-либо диска.

Если принять, что в дисковом массиве операции записи и чтения выполняются одновременно на все диски, а время расчёта контрольных сумм значительно меньше времени чтения/записи на диск, то время восстановления можно оценить как

T_RBLD = C_VOL  ⁄ P_disk

Здесь C_VOL – размер тома, P_DISK – скорость чтения данных с диска.

Учитывая, что при наличии диска, находящегося в «горячем» резерве, T_DIAG = 0 и T_REPL = 0, время восстановления диска будет:

MTTR_disk = C_VOL  ⁄ P_disk.

В спецификациях дисков приводится такой параметр, как максимальная постоянная скорость передачи данных по внешнему диаметру (Мбайт/с). Типичная скорость передачи данных современных дисков со скоростью вращения шпинделя 7200 об./мин составляет от 130 до 250 Мбайт/с. Надо понимать, что это максимально возможная потоковая скорость. На внутренних диаметрах она значительно ниже.

На практике восстановление конкурирует ещё и с рабочими запросами ввода-вывода, поэтому скорость передачи данных нужно оценивать как 1/3 от указанной в спецификации или получать экспериментальным путём для заданной конфигурации RAID-массива и рабочей нагрузки.

Ожидаемое время до потери данных

Для систем хранения данных основной метрикой надёжности является среднее время до потери данных – Mean Time To Data Loss (MTTDL). Это оценка ожидаемого времени до момента, когда хотя бы один блок данных не сможет быть считан (или восстановлен), то есть время до потери данных.

Для обеспечения надёжного хранения данных современные системы используют механизмы избыточного кодирования, в том числе технологии RAID-массивов (Redundant Array of Independent Disks – избыточный массив независимых дисков) различного уровня. Уровень RAID-массива выбирается из критериев обеспечения необходимого уровня надёжности хранения данных, а точнее, возможности их восстановления в случае отказа одного или нескольких входящих в дисковый массив дисков, а также требуемой производительности и ёмкости дисковой подсистемы. Следует отметить, что RAID-массивы обеспечивают возможность восстановления данных только в случае функциональных сбоев дисков, входящих в RAID-массив.

По обеспечению сохранности и доступности информации RAID-массивы можно разделить на следующие типы:

1. без обеспечения сохранности данных при выходе из строя любого накопителя – RAID 0;
2. обеспечение сохранности данных при отказе одного накопителя – RAID 1, RAID 1E, RAID 5, RAID 5EE;
3. обеспечение сохранности данных при отказе двух любых накопителей – уровни RAID 6, RAID DP (Dual Parity);
4. обеспечение сохранности при отказе более двух любых накопителей – RAID TP (Triple Parity), RAID 7.3, RAID M+N (отказ M из N);
5. групповые уровни, обеспечивающие доступность данных при выходе из строя нескольких дисков, но из разных групп – уровни RAID 10, RAID 50, RAID 60 и т.д.

RAID 0, c точки зрения обеспечения надёжности, имеет чисто теоретическое значение и применяется в групповых уровнях для повышения производительности RAID-массива.

RAID 5 и RAID 6 – самые распространённые, причём RAID 6 применяется там, где RAID 5 не обеспечивает требуемую надёжность хранения, и используется в массивах большой ёмкости.

RAID-уровни четвёртой группы – фирменные (Proprietary) разработки. Применяются в случаях, где стандартные уровни, в частности RAID 6, уже не могут гарантировать заданный уровень надёжности хранения данных.

Групповые уровни RAID, как было сказано ранее, применяются для повышения производительности массива данных.

Рассмотрим расчёт среднего времени до потери данных для основных типов RAID-массивов.

Ожидаемое время до потери данных MTTDL для дискового массива RAID 5

Для обеспечения избыточности RAID 5 необходим один диск, поэтому ёмкость для хранения данных дискового массива RAID 5 будет меньше на ёмкость одного диска, чем ёмкость всех дисков, используемых в нём. При отказе одного диска в массиве он переходит в состояние Degraded (отказавший), в котором отказ ещё одного диска приведёт к потере данных. Поэтому необходимо как можно быстрее установить исправный диск вместо отказавшего и запустить режим восстановления – Rebuild.
Режим восстановления может запускаться как автоматически после замены диска, так и по команде оператора. При наличии в массиве специального уже установленного дополнительного диска «горячей» замены (Hot spare) режим перестройки массива обычно включается автоматически для сокращения времени восстановления.

Для дискового массива RAID 5 возможны два пути потери данных (рис. 4):

• ошибка диска во время восстановления (когда массив находится в Degraded Mode¹);
• сбой вследствие скрытой ошибки данных (URE) во время восстановления.

Время до сбоя первого диска в системе будет составлять:

MTTF_{disk_1} = MTBF_disk  ⁄ N.

Здесь MTBF_disk – наработка до отказа диска; N – количество дисков в RAID-массиве.

Отказ первого диска не означает потерю данных. Как было сказано ранее, это вызывает переход дискового массива в состояние Degraded и начало восстановления целостности массива (Rebuild).

После первого сбоя в массиве останется (N–1) дисков. Если один из них откажет во время восстановления, то это приведёт к потере данных.

Время до отказа второго диска:

MTTF_{disk_2} = MTTF_disk ⁄ (N–1).

Отказ второго диска происходит во время восстановления, поэтому вероятность вторичного отказа диска будет

Q_{disk_2} = MTTR_disk  ⁄ MTTF_{disk_2}

Здесь MTTR_disk – время восстановления диска, MTTF_{disk_2} – время до отказа второго диска.

Таким образом, время до потери данных для RAID 5 при отказе второго диска (функциональный сбой) будет составлять:

MTTDL_{RAID5_MTBF} = MTTF_{disk_1}  ⁄ Q_{disk_2}.

или

MTTDL_{RAID5_MTBF} = MTBF_disk²   ⁄ MTTR_disk × N × (N–1).

После отказа первого диска в системе остаётся (N–1) дисков, которые должны быть прочитаны, чтобы восстановить чётность в RAID-массиве.

Вероятность безошибочного чтения всего диска зависит от величины невосстановимых ошибок чтения и ёмкости диска и определяется как

P_disk = (1–URE)C_bit.

Здесь URE – количество невосстановимых ошибок чтения; С_bit – размер диска в битах.

Тогда вероятность ошибки во время восстановления RAID 5 из-за невосстановимой ошибки чтения:

Q_URE=1–P_disk^(N–1)

Здесь N–1 – количество дисков, которые нужно считать.

Время до потери данных для массива RAID 5:

MTTDL_{RAID5_URE} = MTTF_{disk_1}  ⁄ Q_URE.

или

MTTDL_{RAID5_URE} = MTBF_disk  ⁄ Q_URE × N.

или

MTTDL_{RAID5_URE} = MTBF_disk  ⁄ N ×(1-P_disk^(N-1)).

Таким образом, время до потери данных в массиве RAID 5 будет

MTTDL_RAID5 = (MTTDL⁻¹_{RAID5_MTBF} + MTTDL⁻¹_{RAID5_URE})⁻¹.

Ожидаемое время до потери данных MTTDL для дискового массива RAID 6

В RAID 6 используется схема двойной чётности, поэтому для её обеспечения в дисковом массиве необходимы два дополнительных диска. Полезная ёмкость дискового массива будет меньше на два диска, чем общее число дисков в RAID-наборе.

Благодаря механизму двойной чётности данные могут быть восстановлены при двух одновременно отказавших дисках.

Таким образом, для дискового массива в RAID 6 потеря данных может произойти в следующих случаях (рис. 5):

1. отказ трёх дисков во время восстановления;
2. отказ двух дисков во время восстановления, плюс произошла ошибка из-за скрытой ошибки данных.

По аналогии с RAID 5 получаем следующие выражения.

Ожидаемое время до потери данных при отказе трёх дисков будет составлять:

MTTDL_{RAID6_MTBF} = 2 × MTBF_disk³  ⁄  MTTR_disk² × N × (N–1) × (N–2).

Ожидаемое время до потери данных при отказе двух дисков и возникновения ошибки чтения:

MTTDL_{RAID6_URE} = MTBF_disk²  ⁄  N × (N–1) × (1– (1–P_disk))^(N–2) ×MTTR_disk² 

И время до потери данных в массиве RAID 6 вычисляется как:

MTTDL_RAID6 = (MTTDL⁻¹_{RAID6_MTBF} + MTTDL⁻¹_{RAID6_URE})⁻¹.

Таким образом, в статье в упрощённом виде рассмотрены модели отказоустойчивых дисковых массивов, организованных в RAID 5 и RAID 6, с учётом показателей надёжности дисков: наработки на отказ (MTBF) и возможных невосстановимых ошибок чтения данных (скрытой ошибки данных – URE) при восстановлении массива, и предложены формулы расчёта надёжности таких систем.

Данные модели и формулы наиболее точно отражают реальную надёжность избыточных дисковых массивов и могут применяться для расчёта показателей надёжности. ●

Автор – сотрудник фирмы «Адвантикс»

Телефон: (495) 232-1693

E-mail: info@advatix-pc.ru

В блоге компании Backblaze можно обнаружить любопытные записи. Среди прочих услуг эта компания предоставляет платный сервис по удалённому хранению данных. «Парк» дисковой подсистемы ЦОД Backblaze насчитывает примерно 25 тысяч накопителей. Время эксплуатации отдельных моделей превышает четыре года. В принципе, на таком количестве жёстких дисков уже можно собрать более-менее внятную статистику. Свежая публикация в блоге Backblaze как раз позволяет понять, какие жёсткие диски можно покупать, а какие лучше обойти стороной. В то же время надо понимать, что жизнь каждого отдельного накопителя — это своя история с неизвестным концом. Месяц назад автор этих строк с удивлением увидел в одном из компьютеров работающий жёсткий диск компании IBM серии DTLA. А говорили, что не каждый «дятел» долетит до середины года. Выходит, отдельные представители «стучат» аж 12-й год подряд.

Итак, компания Backblaze в конце 2013 года располагала 27134 накопителями. Что особенно ценно, все эти диски — это модели того или иного потребительского класса. Иначе говоря, то, что нам нужно. Приоритет при покупке отдавался менее дорогим моделям. Но если можно было выбрать модель чуть дороже, но с лучшими характеристиками, то приобреталась модель подороже. Как видно из таблицы, в арсенале ЦОД Backblaze больше всего накопителей компаний Seagate и Hitachi. Заметно меньше HDD компании Western Digital и совсем мало дисков компаний Toshiba и Samsung. Поэтому по двум последним производителям статистика непрезентабельная и её нет. Перед тем как выбрать определённую модель накопителя, компания тестирует образец в экстремальных режимах работы и потом две недели изучает её под рабочей нагрузкой. На данном этапе важно отсечь жёсткие диски, которые изначально спроектированы для других условий эксплуатации либо имеют конструкторские недоработки. Последующая замена, пусть даже она будет по гарантии, это затраты времени, которое в буквальном смысле деньги.

В общем случае статистика отказов за год выглядит следующим образом (см. график выше). На первый взгляд, выбор накопителей Seagate был ошибкой, ведь ничто другое не «высыпается» с такой интенсивностью. Но это только на первый. Чуть ниже вы увидите таблицу с более подробными данными, где будет приведено время работы HDD и отказы с разбивкой по моделям. Вот тогда можно будет сделать какие-то выводы. Пока же компания уточняет, что она однозначно забраковала бы накопители Western Digital Green 3TB и Seagate 2TB LP. Данные диски в режиме простоя агрессивно сбрасывают скорость. При обращении к ним число оборотов увеличивается. Поскольку это происходит постоянно, накопление ошибок происходит очень быстро, что ведёт к отказам накопителей. Испытания в специальном боксе с демпфирующими прокладками показали, что погасив рабочие вибрации можно продлить срок эксплуатации «зелёных» накопителей. Но всё равно они не подходят для выбранных нагрузок. Оптимальный выбор для таких HDD — это хранить цифровой «мусор» на полочке у стола.

Статистика по моделям обширная и требует вдумчивого рассмотрения. В общем, компания отмечает, что она «счастлива» работать с HDD Seagate Barracuda LP 1.5TB. За почти четыре года эксплуатации из строя вышел только один из десяти дисков. Все эти накопители, как, собственно, и остальные, работают в круглосуточном режиме в RAID-конфигурациях. Для такого режима 9,9% отказа за четыре года — это терпимо. Но вот «семитысячники» — Seagate Barracuda 7200 1.5 (ST31500341AS) показали себя хуже. Чем старше, тем чаще они выходили из строя. За те же четыре года отказало 25,4 % жёстких дисков этой серии. Но настоящим провалом стали накопители Seagate Barracuda Green 1.5TB. Они проработали в среднем неполный год и вышли с немыслимым рейтингом 120%. Это объясняется тем, что часть накопителей была заменена по гарантии. Также в компании считают, что им на замену присылали восстановленные модели, а это не способствовало улучшению статистики. Остальные модели HDD Seagate показали себя хорошими рабочими лошадками и в дальнейшем будут заменяться и пополняться серией Seagate Desktop HDD.15 (ST4000DM000).

Накопители компании Hitachi без нареканий. Впрочем, одно есть — были бы дешевле, покупали бы только эти. С накопителями Western Digital тоже можно жить, если не смотреть в сторону «зелёной» серии (которая предназначена совсем для другого). Зато серия Western Digital Red 3TB (WD30EFRX) отлично себя зарекомендовала и в дальнейшем данный ЦОД планирует пополнять парк накопителей также за счёт этих моделей. Если суммировать всю статистику по брендам и оценить степень снижения со временем надёжности, то можно увидеть следующее. Накопители компаний Western Digital и Hitachi даже после трёх лет эксплуатации — после окончания фирменного срока гарантии — работали «как новенькие». Накопители Seagate начали чаще выходить из строя после двух лет эксплуатации. Однако к трём годам, если учесть режимы эксплуатации, отказы всё ещё оставались терпимыми.