Вопрос от любителя профессионалам.

[reytsman]

Хотелось бы иметь возможность хранить _МНОГО_ данных на одном из компов. Так как я жадина, то хотелось бы сейчас взять подешевле, но иметь ввиду, что в какой то момент пока жаба будет спать, докупить ещё один или два харда и сделать или RAID 1 или RAID 5 или что-то такого типа.

Идея чтобы сложить на один хард всё то что в данный момент валяется на нескольких внешних. Таким образом на каждый день можно читать с большого, а бэкапы держать на внешних.

WD Purple WD102PURZ 10TB мне нравится тем, что он проще и дешевле чем покупка двух по 6TB (да я хочу иметь именно столько места).

Я уже выяснил, что WD Red меньше 6TB я не хочу, так как если эта дрянь в RAID_е накроется не хочу ждать неделю пока RAID восстанавливается.

Собственно вопрос. Есть ли какие нибудь аргументы чтобы не брать этот WD Purple за $212 кроме того, что похоже он шумный и похоже жрёт много электричества? Или не надо это трогать, а нужно купить WD Red 6TB без SMR переписать туда всё посмотреть сколько место ещё нужно чтобы дописать всё остальное и потом просто докупить ещё несколько таких драйвов по пере отступления жабы?

https://www.newegg.com/wd102purz-10tb/p/1Z4-0002-016T8

Comments

[brmail]

Не, ну реально потерять все что нажито непосильным трудом путем падения единственного диска - оно тебе надо?
Ну и если уж брать то явно не WD и не Сигейт, а HGST или тошибу, у который риск остаться на бобах сильно ниже.
Что касается времени регенерации - ну плюнь ты на цену и ставь просто зеркало, и будет тебе быстро и достаточно надежно. Вот когда места нужно столько, что двух дисков в raid 1 не получается купить, то начинается рейд-5 или 6, и несколько суток на формирование.

[brmail]

Да, про надежность разных дисков читать отчеты от Backblaze Hard Drive Stats
Они публикуют свою статистику по разным моделям ежеквартально

[reytsman]

Ну бэкапы этого дела всё равно будут... и в принципе второй диск тоже добавиться просто не сразу.
Не слышал я особо хороших вещей ни про hgst ни про Тошибу... WD у меня вроде бы ни разу не накрывались... но это было давно...
С WD Red и всеми SMR как раз проблема, в том что если в зеркале один диск дохнет, то копирование на новый в raid_е занимает неделю.

Backblaze Hard Drive Stats вроде бы вообще про WD ничего не пишет?

Ну ты же понимаешь, я жадина, я хочу МНОГО места, и в то же время хочу более или менее надёжно, но главное я ЖАДИНА.

[reytsman]

А нет... оказывается как раз там WD один из дилеров.

WD просто HGST
https://www.amazon.com/HGST-Ultrastar-HUH721212ALE600-3-5-Inch-Internal/dp/B07PF1TVND

[brmail]

у меня 4 штуки 6-ти террабайтника в рейд-5. Тошиба, NAS edition. Получается 16.23 TB диск.
формирование занимает кучу времени, несколько дней, не помню сколько.
Если собирал бы сейчас, то взял бы три десяти террабайтника в рейд5. Не так они часто летят чтобы беспокоится о нескольких сутках простоя при восстановлении рейда.

[cybernatic_cat]

1. Дядь, не путай райд с бэкапами :). Райды нужно либо для отказоустойчивости (то есть, для возможности продолжать работу при выходе из строя одного или нескольких элементов), либо для скорости, либо для комбинации того и другого. Но гарантий хранения они не дают от слова совсем. Тоись, тебе нужно, прежде всего, определить, какие у тебя требования к системе, что критично: режим 24х7, скорость обмена или вообще ничего из этого.

2. Ты абсолютно прав насчёт времени восстановления райд-пакетов при современных объёмах винтов. Более того, у массива с толерантостью 1 (RAID1, RAID5) - неслаба вероятность того, что в процессе восстановления откажет ещё один элемент. И это капец.

3. Далее см. опять п.1 :). Если есть регулярные бэкапы на сторонние носители (в количестве не менее 2-х копий), и если downtime не особо критичен - то я бы выбрал вообще RAID0 (страйп), состоящий из двух или больше винтов относительно мелкого калибра. Во-первых, наработка на отказ у таких винтов, как правило, выше. Во-вторых, RAID0 (в идеале, правда) повысит скорость доступа прямо пропорционально (ну почти пропорционально) количеству винтов в массиве. Понятно, что если вылетит один винт - то пипец всему массиву, но... см., опять же, насчёт базисных требований к стореджу.

4. Если ты таки выберешь этот путь, то я советовал бы смотреть не в сторону шумных и многожрущих 3.5" 10TB, 6TB etc - а в сторону 2.5", гигабайта на 4, максимум 5. И при желании - плюс hot-swap корзинка для 2.5", которая ставится в 5.25 отсек. Лично у меня так организовано фильмохранилище на 60TB: два RAID5 массива из винтов 2.5 на 4 и 5 TB, от Seagate. Кстати, вот тебе наглядный пример выбора типа стореджа, в зависимости от потребностей: RAID5 на 8 винтов обеспечивает работу в случае отказа одного, имеет ёмкость (N-1)*(drive_size), обеспечивает коэффициент производительности по чтению в N-1, по записи немного меньше, примерно N-2 (а мне производительность крайне важна, это вообще основной критерий выбора архитектуры в данном случае - ибо когда начинаешь тасовать по разделам 50-ти или даже 100-гиговые кины, времени это жрёт море). При этом, вся байда имеет бэкапы на внешних винтах 2.5 и 3.5, и если массив таки вылетит целиком - то без кина я некоторое время переживу, пока буду бэкап раскатывать :).

[cybernatic_cat]

А какой простой у RAID5 в процессе восстановления, если полетело не больше одного элемента? Он продолжает работать, только несколько медленнее.

[brmail]

реально доступ к данным есть. простоя нет. Но если до восстановления рейда навернется второй диск, то все, пропадет вообще все. Поэтому рекомендуют перед началом восстановления сделать бекап. А вот если делать некуда, то реальное правильное решение не лазить на диск пока он не восстановлен.

[cybernatic_cat]

Ну тока если с этих позиций.

[rampitec]

Я бы вообще не стал бы покупать никакой WD. Если данные хранить, то HGST NAS Edition. Ну да тебе уже сказали.

[rampitec]

Ну не совсем. Владеет, но пока не производит. HGST пока не дошли до уровня WD. Про "Икрецы" надо напоминать?

Я вообще очень долго ставил только Фуджи, Тошибы, и в какой-то момент Самсунги. Но Самсунги вычеркнул.

[rampitec]

И это, кстати, очень ценное размышление: рейд никак не повышает надежность хранения данных. На самом деле ухудшает за счет 1) ложного ощущения надежности 2) совершенно конкретных предпосылок к вылетанию дисков в рейде одновременно 3) того, что для работы рейда нужна одновременная работоспособность большинства его дисков, ну в зависимости от конфигурации.

Я тебе свой конфиг приводил: каждый диск сам за себя. Единое пространство создается линками и фэйковыми маунтами (ими в основном, по-моему линков там и нет).

Неудобно? Только в первый раз, когда думаешь, что куда положить и как разделить доступ и по дискам. А потом очень удобно. И бэкап каждую ночь только с тех дисков, откуда реально жалко потерять информацию. И еще бэкап бэкапа раз в неделю (у меня на всякий случай на другой континент).

Это из серии "подальше положишь, поближе возьмешь". Просто информацию свою надо классифицировать. Вот под некоторые вещи у меня даже WD используются... Ну просто потому, что они у меня были, а потерять не жалко.

[reytsman]

Странные вещи вы рассказывайте. Не знаю, почему но вот именно WD у меня вроде бы ни один не умер за все годы, а остальные когда как....
Может потому что я не люблю их забивать под завязку и люблю дефрагментировать, а может просто везло.

[reytsman]

А вот это важный момент. Я тоже стремительно скатываюсь к этому моменту. Я их видел несколько за смешные деньги, но не был уверен, что это. Теперь знаю.

[reytsman]

Нельзя так.... нельзя... ещё бы чуть чуть и жаба бы меня удушила насмерть.

Я понимаю, что бэкпов хорошо бы иметь два. RAID в данном случае рассматривается, как недобэкап с возмоностью иметь один внешний бэкап, а не два.

//так организовано фильмохранилище на 60TB: два RAID5 массива из винтов 2.5 на 4 и 5 TB, от Seagate
Месье правильно понял, что бы я хотел иметь и за что я категорически не хочу платить.

2.5 пока ещё не просто дороже за ТБ, а в два раза дороже и мне СТРАШНО представить, на что в наше время можно забэкапить 60ТБ.

Вывод в общем то такой же как я и ожидал. Все рекомендуют RAID 5 и несколько хороших бэкапов. Я и сам понимаю, что это оптимальный вариант и хорошо бы из хороших enterprize уровня дисков которые по 300+ за штуку.

Я пока честно говоря упорно продолжаю склоняться взять пока 10-12ТБ, а потом добавить ещё парочку дисков и контроллер. Очень дёшево и сердито и по любому лучше чем нынешний вариант, когда внешний диск подключен постоянно и используется вместо внутренних дисков.

[reytsman]

Вот я сейчас стремительно скатываюсь к мысле, что какой RAID 5 собирать и когда зависит от того на что распродажа на этой неделе.... Если дешёвые большие диски, то брать один сейчас и два когда нибудь потом, а если дешевле маленькие диски то брать три сейчас.

[brmail]

Если так к вопросу подходить, то надо дождаться сейла на диски. процентов 10 запросто можно уменьшить.

[reytsman]

Угу... но я то хочу 30% :(

[brmail]

WD делал неплохие диски, особенно не из зеленой серии. Потом он начал выебываться, типа внесения флага препятствующего нормальной регенерации рейда, смешивания синией и красной серии, то за что в советской торговле сажали сразу на пять лет. Я молчу про ценовые игры и пожар в туалете. Так что сейчас ложечки нашлись, а осадок остался. Из остальных стоит выбирать опираясь не на персональный опыт из трех-пяти дисков , а на опыт использования сотен и тысяч от Backblaze, и искать именно те модели что они указывают в статистике.

[rampitec]

Свою славу WD заслужил в конце 90-х еще. С тех пор и боязно.

[reytsman]

Причём суда по тому, что я налистал на Backblaze очень схожи модели от одного и того же производителя могут иметь совершенно разные уровни надёжности....

Но даже это кстати не абсолют. То что какие то диски хорошо или плохо живут именно в серверных стойках повышает вероятность, но не гарантирует, что и в домашней системе они будут жить также.

[reytsman]

<роется в памяти> вроде примерно тогда и начал их брать... "доктор, что я делаю не так" :)

[brmail]

Рейд при инициализации сильно грузит диски, и реально позволяет на момент инициализации отсечь гавно, которое все равно навернется через месяц или полгода, и сразу его заменить, потратив только чуток денег, а не потеряв данные. Второе - скажем для raid-1, сразу вдвое возрастает надежность. Надо естественно понимать, что надежность эта от отказа железа , а не от того что долбоеб юзер удалил данные. Причем под понятие долбоеб попадает и юзер который себе скачал трояна-шифровальщика, и данные оказались попорчены и на компе и в сети на рейде.
Я размышлял себе устроить каскадный доступ, который обеспечит сохранность данных и в этом случае, но так и не доделал в реальности.

[rampitec]

Много же было историй, как диски в рейде умирали одновременно. Потому что одинаковые, из одной партии чаще всего, и с совершенно одинаковой эксплуатацией.

[rampitec]

Возможно у тебя их просто слишком мало для статистики. Не каждый же второй умирает.

[brmail]

Да ладно! ну навернется фильмотека, и что? накачаешь заново с торрентов. Обидно если навернется семейный архив за 20 лет. Но тут уж проще взять небольшой диск, внешний проводок и пару раз в год синхронизировать этот диск с домашним фолдером. Устраивать пляски с бубном не имеет смысла. Ну или договорись с кем то из близких знакомых - он тебе выставляет терабайт места у себя с доступом через веб, а ты ему такое же. Если не гнать весь терабайт еженочно, то не так уж напряженно.
Что касается 2.5 vs 3.5 то нужно сравнивать энергопотребление. 30 центов за киловатчас кусается, и реально надо сравнивать за сколько оно окупится по цене

[brmail]

Смотри только чтобы они не были помеченны как Renewed - потому как лотерея. Повезет или все навернется через год

[brmail]

Не, после использования подолгу у меня диски сыпались по одному. А вот при инициализации, было дело, отправлял обратно ньюэггу сразу два из четырех

[brmail]

жди черной пятници, может повезет.
А так - иди вон бери три десяти террабайтника по 250

https://smile.amazon.com/dp/B07CSDP4HY/?coliid=I3PVJ9M25VEN9T&colid=12ZI3AY6NFCAP&ref_=lv_ov_lig_dp_it&th=1

хотя там кажется уже с гелием внутри, что моя паранойа не одобряет
Впрочем он сейчас везде у больших дисков
Вот этот вроде как с 0% failure rate из обзора

https://smile.amazon.com/dp/B07PF1TVND/?coliid=I27SH7VEI1W7AI&colid=12ZI3AY6NFCAP&psc=1&ref_=lv_ov_lig_dp_it

Дороговата конечно, но сразу получишь кучу места лет на 5 вперед

[rampitec]

Вообще диск, который новье, и при этом не может выдержать даже инициализации, да еще и массово, это какой-то ахтунг. Это что за производитель?

[reytsman]

Безусловно. Но я листал статистику отзвывов... у всех похоже 3-5% партии полу брак.

[reytsman]

Последний момент это ещё один стимул собирать из трёх большой ёмкости, чем из десяти маленьких

[reytsman]

Не... в эти игры с теми вещами где хранятся данный я играть не собираюсь.

[reytsman]

//Дороговата конечно, но сразу получишь кучу места лет на 5 вперед
Весь мог большой опыт по компьютерам показывает, что это примерно как покупка модема на вырост "когда улучшаться телефонные линии"

[reytsman]

+1

[reytsman]

Дополнительный стимул купить сейчас один диск, а потом добавлять, чтобы из разных партий и т.д.

[brmail]

это был самсунг 2-террабайтники, в защиту которых надо сказать, что 4 штуки после этого отработали порядка 5 лет, пока не были заменены на более толстые. Те же лежат офлайн в разных местах с домашним архивом фоток-видео на случай пожара и наводнения

[brmail]

если ты можешь приблизительно оценить как у тебя будут расти потребности в месте - то конечно надо прикинуть сколько надо лет на 5 и брать точно по размеру. Лишнее место копить не надо

[rampitec]

Хм... У меня пара таких лет 6 отработала, пока не была заменена.

[reytsman]

Я больше к тому, что брать нужно сколько нужно сейчас... цены идут вниз, потом докупить всегда будет дешевле.

[brmail]

ну если тот тип рейда который у тебя будет, умеет расширяться добавлением еще одного драйва, то да. Опять же стоит учитывать что если тебе надо сегодня 8 террабайт, то 3 устройства по 4 террабайта в рейд-5 дадут тебе размер, на сегодня. А через год легко добавить еще один на 4, потом через полгода еще один... чем дальше, тем быстрее исчерпывается место. А питалово, и слоты под диски не бесконечны, опять же sata контроллер, да и электричество. Все стоит обдумать заранее. Хотя хомяк может быть против, потому как ему будет неясно что делать с этой кучей дисков когда снова надо будет расширяться, а сделать это получится только обновив все диски, и выкинув старые

[reytsman]

В этом плане конечно приятнее всего software raid куда можно диски разного размера совать.... есть ещё одно но. Скорость дисков растёт и очень может быть что через три года проще будет собрать raid на SSD что точно потребляет меньше.

[cybernatic_cat]

Кажись, либо я фигово объяснил, либо ты не совсем правильно понял :). А ещё вероятнее - и то, и другое вместе :).

- Когда я говорил о своих RAID5, я уточнил: основным критерием выбора была скорость обмена. Если экспортануть все 60TB плейеру одним куском - то листать список при выборе фильма, мягко говоря, замаешься. Поэтому общее пространство побито у меня на куски в 2TB (это ещё и бэкап делает более удобным), и уже вот эти куски экспортятся по отдельности. Но это вносит другие ограничения: не всегда можно подобрать набор данных так, чтобы он влез ровно в 2TB, не оставляя объёмных "хвостов". Кроме того, периодически выходят более другие версии имеющегося, с другим объёмом и т.д. Всё это приводит к тому, что содержимое каталогов приходится время от времени "тасовать". И в этом процессе скорость копирования более чем важна. Поэтому был выбран RAID5.

- Просто оцени, важен ли тебе этот критерий. Если нет - то твой путь вовсе не RAID5. А просто набор одиночных винтов (JBOD). Как вариант, если есть кэширующий контроллер - то не JBOD, а набор RAID0 массивов, в каждом из которых единственный винт. Дело в том, что контроллеры не кэшируют JBOD, от слова совсем. А вот single drive RAID0 кэшируется. Впрочем, производительности обычного современного HDD вполне хватает даже для UHD-потоков, и даже без кэширования. Это если на чтение.

- Почему я говорю об одиночных винтах: если есть бэкапы, то даже в случае вылета двух винтов сразу ты потратишь время только на копирование этих двух винтов из бэкапа. Если же два винта полетят в RAID5 - тебе придётся доставать из бэкапов весь массив.

- Если мы говорим про хранение кин, то одного внешнего бэкапа вполне достаточно. Ибо второй "бэкап" - это то место, откуда ты взял эти кины :). Да, это дольше, но он всё-таки существует.

- Не надо ориентироваться на enterprise drives (если только мы говорим не про SSD). Во-первых, 3.5 enterprise - редкость, они 2.5, как правило. Во-вторых, они весьма редко имеют интерфейс SATA, куда чаще SAS (который требует спецконтроллера либо же переходника - но в случае переходника все преимущества двухпортового SAS теряются). В-третьих, даже 2.5 enterprise винт жрёт липистричество как не в себя.

- А куда бэкапить 60TB... Ну я, вообще говоря, начинал так же, как ты :). В смысле, у меня была когда-то корзина с 10-ю 3.5 винтами по 2TB каждый. Потом я осознал, что липистричество, опять же - добавил вторую полку и постепенно набивал её 2.5 винтами. А старые 3.5 уходили под бэкапы. Вот и весь фокус :).

- Есть и более простой, изящный и не сильно дорогой вариант организации объёмных бэкапов: ленточка. В наши дни уже почти забытая - но, тем не менее, вполне существующая, вполне надёжная и достаточно быстрая. Но это для настоящих энтузазистов :).

- Да, кстате, ещё одно преимущество JBOD, о котором я забыл: винты можно программно уводить в спячку, сильно экономя то самое липистричество в режиме idle. Более того: пробуждаться будет только тот винт, к которому обратились (да, будет пауза на просыпание, но не особо критичная). А вот RAID5 увести в спячку можно только вместе со всей операционкой.

[cybernatic_cat]

Ты удивишься, но в железный райд тоже можно совать винты разного размера :).
Допустим, у тебя есть винт на 1TB и винт на 4TB, и ты решил их объединить в RAID1. Получишь RAID1 на 1TB. Остальные 3TB на втором винте просто останутся неиспользуемыми.

[reytsman]

Я не удивлюсь, просто я не считаю, что засунуть 3ТБ и получить из него только 1ТБ в пользование это "можно" ;)

[reytsman]

Ага... теперь я начинаю понимать, почему все так агитируют за скорость и т.д. и т.п.
Я плейеру ничего одним куском отправлять не собираюсь... старая привычка листать каталог и запускать файлики в ручную.

RAID 5 я рассматриваю, исключительно как первый бекап, внешние харды как второй, то откуда это взялось как потенциальный третий который совсем не факт что существует для всех файлов. В противном случае наверное придётся держать два внешних бекапа, что утомляет.

На самом деле вопрос лепестричества и цены это в некоторой степени один и тот же вопрос... если вынести вопрос скорости за рамки, и добавить постепенность расходов, то один винт на 10-14ТБ сейчас и ещё два по столько же, когда будет понятно нужно их ещё два или ещё три. Если бы не вопрос цены, то понятное дело что корзинка из 2.5" SSD была бы наиболее оптимальным вариантом.

И идеале, три 14ТБ в RAID5 решили бы проблему "хранить так, чтобы потеря одного харда не вынуждала три дня танцев с бубными на восстановления бэкпов", но 1К когда "сейчас и так всё работает" это мучительно.