Вопрос от любителя профессионалам.
Jul. 16th, 2020 01:16 pm![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
reytsmanХотелось бы иметь возможность хранить _МНОГО_ данных на одном из компов. Так как я жадина, то хотелось бы сейчас взять подешевле, но иметь ввиду, что в какой то момент пока жаба будет спать, докупить ещё один или два харда и сделать или RAID 1 или RAID 5 или что-то такого типа.
Идея чтобы сложить на один хард всё то что в данный момент валяется на нескольких внешних. Таким образом на каждый день можно читать с большого, а бэкапы держать на внешних.
WD Purple WD102PURZ 10TB мне нравится тем, что он проще и дешевле чем покупка двух по 6TB (да я хочу иметь именно столько места).
Я уже выяснил, что WD Red меньше 6TB я не хочу, так как если эта дрянь в RAID_е накроется не хочу ждать неделю пока RAID восстанавливается.
Собственно вопрос. Есть ли какие нибудь аргументы чтобы не брать этот WD Purple за $212 кроме того, что похоже он шумный и похоже жрёт много электричества? Или не надо это трогать, а нужно купить WD Red 6TB без SMR переписать туда всё посмотреть сколько место ещё нужно чтобы дописать всё остальное и потом просто докупить ещё несколько таких драйвов по пере отступления жабы?
https://www.newegg.com/wd102purz-10tb/p/1Z4-0002-016T8
Идея чтобы сложить на один хард всё то что в данный момент валяется на нескольких внешних. Таким образом на каждый день можно читать с большого, а бэкапы держать на внешних.
WD Purple WD102PURZ 10TB мне нравится тем, что он проще и дешевле чем покупка двух по 6TB (да я хочу иметь именно столько места).
Я уже выяснил, что WD Red меньше 6TB я не хочу, так как если эта дрянь в RAID_е накроется не хочу ждать неделю пока RAID восстанавливается.
Собственно вопрос. Есть ли какие нибудь аргументы чтобы не брать этот WD Purple за $212 кроме того, что похоже он шумный и похоже жрёт много электричества? Или не надо это трогать, а нужно купить WD Red 6TB без SMR переписать туда всё посмотреть сколько место ещё нужно чтобы дописать всё остальное и потом просто докупить ещё несколько таких драйвов по пере отступления жабы?
https://www.newegg.com/wd102purz-10tb/p/1Z4-0002-016T8
no subject
Date: 2020-07-16 07:22 pm (UTC)Ну и если уж брать то явно не WD и не Сигейт, а HGST или тошибу, у который риск остаться на бобах сильно ниже.
Что касается времени регенерации - ну плюнь ты на цену и ставь просто зеркало, и будет тебе быстро и достаточно надежно. Вот когда места нужно столько, что двух дисков в raid 1 не получается купить, то начинается рейд-5 или 6, и несколько суток на формирование.
no subject
Date: 2020-07-16 07:26 pm (UTC)Они публикуют свою статистику по разным моделям ежеквартально
no subject
Date: 2020-07-16 07:53 pm (UTC)Не слышал я особо хороших вещей ни про hgst ни про Тошибу... WD у меня вроде бы ни разу не накрывались... но это было давно...
С WD Red и всеми SMR как раз проблема, в том что если в зеркале один диск дохнет, то копирование на новый в raid_е занимает неделю.
Backblaze Hard Drive Stats вроде бы вообще про WD ничего не пишет?
Ну ты же понимаешь, я жадина, я хочу МНОГО места, и в то же время хочу более или менее надёжно, но главное я ЖАДИНА.
no subject
Date: 2020-07-16 09:06 pm (UTC)формирование занимает кучу времени, несколько дней, не помню сколько.
Если собирал бы сейчас, то взял бы три десяти террабайтника в рейд5. Не так они часто летят чтобы беспокоится о нескольких сутках простоя при восстановлении рейда.
no subject
Date: 2020-07-16 10:49 pm (UTC)no subject
Date: 2020-07-16 11:06 pm (UTC)no subject
Date: 2020-07-16 11:14 pm (UTC)no subject
Date: 2020-07-17 01:34 pm (UTC)no subject
Date: 2020-07-17 03:23 pm (UTC)no subject
Date: 2020-07-17 03:24 pm (UTC)no subject
Date: 2020-07-17 03:51 pm (UTC)А так - иди вон бери три десяти террабайтника по 250
https://smile.amazon.com/dp/B07CSDP4HY/?coliid=I3PVJ9M25VEN9T&colid=12ZI3AY6NFCAP&ref_=lv_ov_lig_dp_it&th=1
хотя там кажется уже с гелием внутри, что моя паранойа не одобряет
Впрочем он сейчас везде у больших дисков
Вот этот вроде как с 0% failure rate из обзора
https://smile.amazon.com/dp/B07PF1TVND/?coliid=I27SH7VEI1W7AI&colid=12ZI3AY6NFCAP&psc=1&ref_=lv_ov_lig_dp_it
Дороговата конечно, но сразу получишь кучу места лет на 5 вперед
no subject
Date: 2020-07-17 04:02 pm (UTC)Весь мог большой опыт по компьютерам показывает, что это примерно как покупка модема на вырост "когда улучшаться телефонные линии"
no subject
Date: 2020-07-17 04:45 pm (UTC)no subject
Date: 2020-07-17 04:58 pm (UTC)no subject
Date: 2020-07-17 05:17 pm (UTC)no subject
Date: 2020-07-17 05:26 pm (UTC)no subject
Date: 2020-07-17 10:26 pm (UTC)Допустим, у тебя есть винт на 1TB и винт на 4TB, и ты решил их объединить в RAID1. Получишь RAID1 на 1TB. Остальные 3TB на втором винте просто останутся неиспользуемыми.
no subject
Date: 2020-07-20 01:08 pm (UTC)no subject
Date: 2020-07-16 07:58 pm (UTC)WD просто HGST
https://www.amazon.com/HGST-Ultrastar-HUH721212ALE600-3-5-Inch-Internal/dp/B07PF1TVND
no subject
Date: 2020-07-17 12:56 am (UTC)Я вообще очень долго ставил только Фуджи, Тошибы, и в какой-то момент Самсунги. Но Самсунги вычеркнул.
no subject
Date: 2020-07-17 12:49 pm (UTC)Может потому что я не люблю их забивать под завязку и люблю дефрагментировать, а может просто везло.
no subject
Date: 2020-07-17 03:28 pm (UTC)no subject
Date: 2020-07-17 03:32 pm (UTC)Но даже это кстати не абсолют. То что какие то диски хорошо или плохо живут именно в серверных стойках повышает вероятность, но не гарантирует, что и в домашней системе они будут жить также.
no subject
Date: 2020-07-17 03:32 pm (UTC)no subject
Date: 2020-07-17 03:33 pm (UTC)no subject
Date: 2020-07-17 03:38 pm (UTC)no subject
Date: 2020-07-17 03:56 pm (UTC)no subject
Date: 2020-07-16 10:48 pm (UTC)2. Ты абсолютно прав насчёт времени восстановления райд-пакетов при современных объёмах винтов. Более того, у массива с толерантостью 1 (RAID1, RAID5) - неслаба вероятность того, что в процессе восстановления откажет ещё один элемент. И это капец.
3. Далее см. опять п.1 :). Если есть регулярные бэкапы на сторонние носители (в количестве не менее 2-х копий), и если downtime не особо критичен - то я бы выбрал вообще RAID0 (страйп), состоящий из двух или больше винтов относительно мелкого калибра. Во-первых, наработка на отказ у таких винтов, как правило, выше. Во-вторых, RAID0 (в идеале, правда) повысит скорость доступа прямо пропорционально (ну почти пропорционально) количеству винтов в массиве. Понятно, что если вылетит один винт - то пипец всему массиву, но... см., опять же, насчёт базисных требований к стореджу.
4. Если ты таки выберешь этот путь, то я советовал бы смотреть не в сторону шумных и многожрущих 3.5" 10TB, 6TB etc - а в сторону 2.5", гигабайта на 4, максимум 5. И при желании - плюс hot-swap корзинка для 2.5", которая ставится в 5.25 отсек. Лично у меня так организовано фильмохранилище на 60TB: два RAID5 массива из винтов 2.5 на 4 и 5 TB, от Seagate. Кстати, вот тебе наглядный пример выбора типа стореджа, в зависимости от потребностей: RAID5 на 8 винтов обеспечивает работу в случае отказа одного, имеет ёмкость (N-1)*(drive_size), обеспечивает коэффициент производительности по чтению в N-1, по записи немного меньше, примерно N-2 (а мне производительность крайне важна, это вообще основной критерий выбора архитектуры в данном случае - ибо когда начинаешь тасовать по разделам 50-ти или даже 100-гиговые кины, времени это жрёт море). При этом, вся байда имеет бэкапы на внешних винтах 2.5 и 3.5, и если массив таки вылетит целиком - то без кина я некоторое время переживу, пока буду бэкап раскатывать :).
no subject
Date: 2020-07-17 01:37 am (UTC)Я тебе свой конфиг приводил: каждый диск сам за себя. Единое пространство создается линками и фэйковыми маунтами (ими в основном, по-моему линков там и нет).
Неудобно? Только в первый раз, когда думаешь, что куда положить и как разделить доступ и по дискам. А потом очень удобно. И бэкап каждую ночь только с тех дисков, откуда реально жалко потерять информацию. И еще бэкап бэкапа раз в неделю (у меня на всякий случай на другой континент).
Это из серии "подальше положишь, поближе возьмешь". Просто информацию свою надо классифицировать. Вот под некоторые вещи у меня даже WD используются... Ну просто потому, что они у меня были, а потерять не жалко.
no subject
Date: 2020-07-17 03:34 pm (UTC)Я размышлял себе устроить каскадный доступ, который обеспечит сохранность данных и в этом случае, но так и не доделал в реальности.
no subject
Date: 2020-07-17 03:37 pm (UTC)no subject
Date: 2020-07-17 03:45 pm (UTC)no subject
Date: 2020-07-17 03:52 pm (UTC)no subject
Date: 2020-07-17 04:03 pm (UTC)no subject
Date: 2020-07-17 04:42 pm (UTC)no subject
Date: 2020-07-17 04:55 pm (UTC)no subject
Date: 2020-07-17 04:04 pm (UTC)no subject
Date: 2020-07-17 01:06 pm (UTC)Я понимаю, что бэкпов хорошо бы иметь два. RAID в данном случае рассматривается, как недобэкап с возмоностью иметь один внешний бэкап, а не два.
//так организовано фильмохранилище на 60TB: два RAID5 массива из винтов 2.5 на 4 и 5 TB, от Seagate
Месье правильно понял, что бы я хотел иметь и за что я категорически не хочу платить.
2.5 пока ещё не просто дороже за ТБ, а в два раза дороже и мне СТРАШНО представить, на что в наше время можно забэкапить 60ТБ.
Вывод в общем то такой же как я и ожидал. Все рекомендуют RAID 5 и несколько хороших бэкапов. Я и сам понимаю, что это оптимальный вариант и хорошо бы из хороших enterprize уровня дисков которые по 300+ за штуку.
Я пока честно говоря упорно продолжаю склоняться взять пока 10-12ТБ, а потом добавить ещё парочку дисков и контроллер. Очень дёшево и сердито и по любому лучше чем нынешний вариант, когда внешний диск подключен постоянно и используется вместо внутренних дисков.
no subject
Date: 2020-07-17 03:40 pm (UTC)Что касается 2.5 vs 3.5 то нужно сравнивать энергопотребление. 30 центов за киловатчас кусается, и реально надо сравнивать за сколько оно окупится по цене
no subject
Date: 2020-07-17 03:59 pm (UTC)no subject
Date: 2020-07-17 10:15 pm (UTC)- Когда я говорил о своих RAID5, я уточнил: основным критерием выбора была скорость обмена. Если экспортануть все 60TB плейеру одним куском - то листать список при выборе фильма, мягко говоря, замаешься. Поэтому общее пространство побито у меня на куски в 2TB (это ещё и бэкап делает более удобным), и уже вот эти куски экспортятся по отдельности. Но это вносит другие ограничения: не всегда можно подобрать набор данных так, чтобы он влез ровно в 2TB, не оставляя объёмных "хвостов". Кроме того, периодически выходят более другие версии имеющегося, с другим объёмом и т.д. Всё это приводит к тому, что содержимое каталогов приходится время от времени "тасовать". И в этом процессе скорость копирования более чем важна. Поэтому был выбран RAID5.
- Просто оцени, важен ли тебе этот критерий. Если нет - то твой путь вовсе не RAID5. А просто набор одиночных винтов (JBOD). Как вариант, если есть кэширующий контроллер - то не JBOD, а набор RAID0 массивов, в каждом из которых единственный винт. Дело в том, что контроллеры не кэшируют JBOD, от слова совсем. А вот single drive RAID0 кэшируется. Впрочем, производительности обычного современного HDD вполне хватает даже для UHD-потоков, и даже без кэширования. Это если на чтение.
- Почему я говорю об одиночных винтах: если есть бэкапы, то даже в случае вылета двух винтов сразу ты потратишь время только на копирование этих двух винтов из бэкапа. Если же два винта полетят в RAID5 - тебе придётся доставать из бэкапов весь массив.
- Если мы говорим про хранение кин, то одного внешнего бэкапа вполне достаточно. Ибо второй "бэкап" - это то место, откуда ты взял эти кины :). Да, это дольше, но он всё-таки существует.
- Не надо ориентироваться на enterprise drives (если только мы говорим не про SSD). Во-первых, 3.5 enterprise - редкость, они 2.5, как правило. Во-вторых, они весьма редко имеют интерфейс SATA, куда чаще SAS (который требует спецконтроллера либо же переходника - но в случае переходника все преимущества двухпортового SAS теряются). В-третьих, даже 2.5 enterprise винт жрёт липистричество как не в себя.
- А куда бэкапить 60TB... Ну я, вообще говоря, начинал так же, как ты :). В смысле, у меня была когда-то корзина с 10-ю 3.5 винтами по 2TB каждый. Потом я осознал, что липистричество, опять же - добавил вторую полку и постепенно набивал её 2.5 винтами. А старые 3.5 уходили под бэкапы. Вот и весь фокус :).
- Есть и более простой, изящный и не сильно дорогой вариант организации объёмных бэкапов: ленточка. В наши дни уже почти забытая - но, тем не менее, вполне существующая, вполне надёжная и достаточно быстрая. Но это для настоящих энтузазистов :).
- Да, кстате, ещё одно преимущество JBOD, о котором я забыл: винты можно программно уводить в спячку, сильно экономя то самое липистричество в режиме idle. Более того: пробуждаться будет только тот винт, к которому обратились (да, будет пауза на просыпание, но не особо критичная). А вот RAID5 увести в спячку можно только вместе со всей операционкой.
no subject
Date: 2020-07-20 01:54 pm (UTC)Я плейеру ничего одним куском отправлять не собираюсь... старая привычка листать каталог и запускать файлики в ручную.
RAID 5 я рассматриваю, исключительно как первый бекап, внешние харды как второй, то откуда это взялось как потенциальный третий который совсем не факт что существует для всех файлов. В противном случае наверное придётся держать два внешних бекапа, что утомляет.
На самом деле вопрос лепестричества и цены это в некоторой степени один и тот же вопрос... если вынести вопрос скорости за рамки, и добавить постепенность расходов, то один винт на 10-14ТБ сейчас и ещё два по столько же, когда будет понятно нужно их ещё два или ещё три. Если бы не вопрос цены, то понятное дело что корзинка из 2.5" SSD была бы наиболее оптимальным вариантом.
И идеале, три 14ТБ в RAID5 решили бы проблему "хранить так, чтобы потеря одного харда не вынуждала три дня танцев с бубными на восстановления бэкпов", но 1К когда "сейчас и так всё работает" это мучительно.
no subject
Date: 2020-07-17 12:52 am (UTC)no subject
Date: 2020-07-17 12:53 pm (UTC)no subject
Date: 2020-07-17 03:44 pm (UTC)no subject
Date: 2020-07-17 04:00 pm (UTC)