З повсякденним ускладненням мережевих комп'ютерних систем та глобальних корпоративних рішень світ почав вимагати технологій, які дали б поштовх до відродження корпоративних систем зберігання інформації (сторедж-систем). І ось одна єдина технологія приносить у світову скарбницю досягнень в області сторедж небачену раніше швидкодію, колосальні можливості масштабування та виняткові переваги загальної вартості володіння. Обставини, що сформувалися з появою стандарту FC-AL (Fibre Channel - Arbitrated Loop) та SAN (Storage Area Network), що розвивається на його основі, обіцяють революцію у дата-орієнтованих технологіях комп'ютера.
«The most significant development in storage we"ve seen in 15 years»
Data Communications International, March 21, 1998
Формальне визначення SAN у трактуванні Storage Network Industry Association (SNIA):
«Мережа, головним завданням якої є передача даних між комп'ютерними системами та пристроями зберігання даних, а також між самими сторедж-системами. SAN складається з комунікаційної інфраструктури, яка забезпечує фізичний зв'язок, а також відповідає за рівень управління (management layer), який поєднує зв'язки, сторедж та комп'ютерні системи, здійснюючи передачу даних безпечно та надійно».
SNIA Technical Dictionary, copyright Storage Network Industry Association, 2000
Варіанти організації доступу до сторедж-систем
Розрізняють три основні варіанти організації доступу до систем зберігання:
- SAS (Server Attached Storage), сторедж, приєднаний до сервера;
- NAS (Network Attached Storage), сторедж, підключений до мережі;
- SAN (Storage Area Network), мережа зберігання даних.
Розглянемо топології відповідних сторедж-систем та їх особливості.
SAS
Сторедж-система, яка приєднана до сервера. Знайомий всім традиційний спосіб підключення системи зберігання даних до високошвидкісного інтерфейсу в сервері, як правило, до паралельного SCSI інтерфейсу.
Рисунок 1. Server Attached Storage
Використання окремого корпусу для сторедж-системи у рамках топології SAS не є обов'язковим.
Основна перевага сторедж, приєднаного до сервера, у порівнянні з іншими варіантами - низька ціна та висока швидкодія з розрахунку один сторедж для одного сервера. Така топологія є оптимальною у разі використання одного сервера, через який організується доступ до масиву даних. Але в неї залишається низка проблем, які спонукали проектувальників шукати інші варіанти організації доступу до систем зберігання даних.
До особливостей SAS можна віднести:
- Доступ до даних залежить від ОС та файлової системи (загалом);
- Складність організації систем із високим готовністю;
- Низька вартість;
- Висока швидкодія у межах однієї ноди;
- Зменшення швидкості відгуку під час завантаження сервера, який обслуговує сторедж.
NAS
Сторедж-система, приєднана до мережі. Цей варіант організації доступу виник порівняно недавно. Основною його перевагою є зручність інтеграції додаткової системи зберігання даних у існуючі мережі, але сам по собі він не привносить скільки радикальних поліпшень в архітектуру сторедж. Фактично NAS є чистий файл-сервер, і сьогодні можна зустріти чимало нових реалізацій стереджів типу NAS на основі технології тонкого сервера (Thin Server).
Малюнок 2. Network Attached Storage.
Особливості NAS:
- виділений файл-сервер;
- Доступ до даних не залежить від ОС та платформи;
- Зручність адміністрування;
- Максимальна простота встановлення;
- Низька масштабованість;
- Конфлікт із трафіком LAN/WAN.
Сторедж, побудований за технологією NAS, є ідеальним варіантом для дешевих серверів із мінімальним набором функцій.
SAN
Мережі зберігання даних почали інтенсивно розвиватися та впроваджуватися лише з 1999 року. Основою SAN є окрема від LAN/WAN мережа, яка служить для організації доступу до даних серверів та робочих станцій, що займаються їхньою прямою обробкою. Така мережа створюється на основі стандарту Fibre Channel, що дає сторедж-системам переваги технологій LAN/WAN та можливості щодо організації стандартних платформ для систем з високою готовністю та високою інтенсивністю запитів. Майже єдиним недоліком SAN сьогодні залишається відносно висока ціна компонент, але при цьому загальна вартість володіння для корпоративних систем, побудованих з використанням технології мереж зберігання даних, є досить низькою.
3. Storage Area Network.
До основних переваг SAN можна віднести практично всі її особливості:
- Незалежність топології SAN від сторедж-систем та серверів;
- Зручне централізоване керування;
- Відсутність конфлікту з трафіком LAN/WAN;
- Зручне резервування даних без завантаження локальної мережі та серверів;
- Висока швидкодія;
- Висока масштабованість;
- Висока гнучкість;
- Висока готовність та відмовостійкість.
Слід також зауважити, що ця технологія ще досить молода і найближчим часом вона повинна пережити чимало удосконалень у галузі стандартизації управління та способів взаємодії SAN підмереж. Але можна сподіватися, що це загрожує піонерам лише додатковими перспективами першості.
FC як основа побудови SAN
Подібно до LAN, SAN може створюватися з використанням різних топологій та носіїв. При побудові SAN може використовуватися як паралельний SCSI інтерфейс, так і Fibre Channel або, скажімо, SCI (Scalable Coherent Interface), але своєю популярністю SAN, що все зростає, зобов'язана саме Fibre Channel. У проектуванні цього інтерфейсу брали участь фахівці зі значним досвідом у розробці як канальних, так і мережевих інтерфейсів, і їм вдалося поєднати всі важливі позитивні риси обох технологій для того, щоб отримати щось революційно нове. Що саме?
Основні ключові особливості канальних:
- Низькі затримки
- Високі швидкості
- Висока надійність
- Топологія точка-точка
- Невеликі відстані між нодами
- Залежність від платформи
- Багатоточкові топології
- Великі відстані
- Висока масштабованість
- Низькі швидкості
- Великі затримки
- Високі швидкості
- Незалежність від протоколу (0-3 рівні)
- Великі відстані
- Низькі затримки
- Висока надійність
- Висока масштабованість
- Багатоточкові топології
Традиційно сторедж інтерфейси (те, що знаходиться між хостом та пристроями зберігання інформації) були перепоною на шляху до зростання швидкодії та збільшення обсягу систем зберігання даних. У той самий час прикладні завдання вимагають значного приросту апаратних потужностей, які, своєю чергою, тягнуть у себе потреба у збільшенні пропускну здатність інтерфейсів зв'язку з сторедж-системами. Саме проблеми побудови гнучкого високошвидкісного доступу до даних допомагають вирішити Fibre Channel.
Стандарт Fibre Channel був остаточно визначений за останні кілька років (з 1997-го по 1999-й), протягом яких була проведена колосальна робота з узгодження взаємодії виробників різних компонентів, і було зроблено все необхідне, щоб Fibre Channel перетворився з суто концептуальної технології на реальну, яка отримала підтримку у вигляді інсталяцій у лабораторіях та обчислювальних центрах. У 1997 були спроектовані перші комерційні зразки наріжних компонент для побудови SAN на базі FC, таких як адаптери, хаби, свічі та мости. Таким чином, вже починаючи з 1998 року FC використовується в комерційних цілях у діловій сфері, на виробництві та в масштабних проектах реалізації систем, критичних до відмов.
Fibre Channel – це відкритий промисловий стандарт високошвидкісного послідовного інтерфейсу. Він забезпечує підключення серверів та сторедж-систем на відстані до 10 км (при використанні стандартного обладнання) на швидкості 100 MB/s (на виставці Cebit"2000 були представлені зразки продукції, які використовують новий стандарт Fibre Channel зі швидкостями 200 MB/s на одне кільце, а в лабораторних умовах вже експлуатуються реалізації нового стандарту зі швидкостями 400 MB/s, що становить 800 MB/s при використанні подвійного кільця.(На момент публікації статті ряд виробників вже почав відвантажувати мережеві картки та свічки на FC 200 MB/s .) Fibre Channel одночасно підтримує цілу низку стандартних протоколів (серед яких TCP/IP та SCSI-3) при використанні одного фізичного носія, який потенційно спрощує побудову мережної інфраструктури, до того ж це надає можливості для зменшення вартості монтажу та обслуговування. використання окремих підмереж для LAN/WAN та SAN має ряд переваг і є рекомендованим за замовчуванням.
Однією з найважливіших переваг Fibre Channel поряд зі швидкісними параметрами (які, до речі, не завжди є головними для користувачів SAN та можуть бути реалізовані за допомогою інших технологій) є можливість роботи на великих відстанях та гнучкість топології, що прийшла у новий стандарт із мережевих технологій. Таким чином, концепція побудови топології мережі зберігання даних базується на тих же принципах, що і традиційні мережі, як правило, на основі концентраторів та комутаторів, які допомагають запобігти падінню швидкості при зростанні кількості нід та створюють можливості зручної організації систем без жодної точки відмов.
Для кращого розуміння переваг та особливостей цього інтерфейсу наведемо порівняльну характеристику FC та Parallel SCSI у вигляді таблиці.
Таблиця 1. Порівняння технологій Fibre Channel та паралельного SCSI
У стандарті Fibre Channel передбачається використання різноманітних топологій, таких як точка-точка (Point-to-Point), кільце або концентратор FC-AL (Loop або Hub FC-AL), магістральний комутатор (Fabric/Switch).
Топологія point-to-point використовується для приєднання одиночної системи до сервера.
Loop або Hub FC-AL - для приєднання множинних сторедж пристроїв до кількох хостів. При організації подвійного кільця збільшується швидкодія та відмовостійкість системи.
Комутатори використовуються для забезпечення максимальної швидкодії та відмовостійкості для складних, великих та розгалужених систем.
Завдяки мережній гнучкості в SAN закладена надзвичайно важлива особливість – зручна можливість побудови відмовостійких систем.
Пропонуючи альтернативні рішення для систем зберігання даних та можливості щодо об'єднання кількох стореджів для резервування апаратних засобів, SAN допомагає забезпечувати захист апаратно-програмних комплексів від апаратних збоїв. Для демонстрації наведемо приклад створення двонодової системи без точок відмов.
Рисунок 4. No Single Point of Failure.
Побудова трьох- і більше нодових систем здійснюється простим додаванням до мережі мережі додаткових серверів і підключенням їх до обох концентраторів/комутаторів).
При використанні FC побудова стійких до збоїв (disaster tolerant) систем стає прозорою. Мережеві канали і для сторедж, і для локальної мережі можна прокласти на основі оптоволокна (до 10 км і більше з використанням підсилювачів сигналу) як фізичного носія для FC, при цьому використовується стандартна апаратура, яка дозволяє значно зменшити вартість таких систем.
Завдяки можливості доступу до всіх компонентів SAN з будь-якої її точки, ми отримуємо надзвичайно гнучко керовану мережу даних. При цьому слід зазначити, що SAN забезпечується прозорість (можливість бачити) всіх компонентів аж до дисків в сторедж-системах. Ця особливість підштовхнула виробників компонентів до використання свого значного досвіду у побудові систем управління для LAN/WAN для того, щоб закласти широкі можливості моніторингу та управління у всі компоненти SAN. Ці можливості включають моніторинг і управління окремих нод, сторедж компонентів, корпусів, мережевих пристроїв і мережевих підструктур.
У системі управління та моніторингу SAN використовуються такі відкриті стандарти, як:
- SCSI command set
- SCSI Enclosure Services (SES)
- SCSI Self Monitoring Analysis and Reporting Technology (S.M.A.R.T.)
- SAF-TE (SCSI Accessed Fault-Tolerant Enclosures)
- Simple Network Management Protocol (SNMP)
- Web-Based Enterprise Management (WBEM)
Системи, побудовані з використанням технологій SAN, не тільки забезпечують адміністратору можливість стежити за розвитком та станом сторедж ресурсів, але й відкривають можливості моніторингу та контролю трафіку. Завдяки таким ресурсам програмні засоби управління SAN реалізують найбільш ефективні схеми планування обсягу сторедж та балансування навантаження на компоненти системи.
Мережі зберігання даних чудово інтегруються у існуючі інформаційні інфраструктури. Їх впровадження не вимагає будь-яких змін у вже існуючих мережах LAN і WAN, а лише розширює можливості існуючих систем, позбавляючи їх завдань, орієнтованих на передачу великих обсягів даних. Причому при інтеграції та адмініструванні SAN дуже важливим є те, що ключові елементи мережі підтримують гарячу заміну та встановлення з можливостями динамічного конфігурування. Отже додати той чи інший компонент або здійснити його заміну адміністратор може, не вимикаючи систему. І весь цей процес інтеграції може бути візуально відображено у графічній системі управління SAN.
Розглянувши перераховані вище переваги, можна виділити ряд ключових моментів, які безпосередньо впливають на одну з основних переваг Storage Area Network - загальну вартість володіння (Total Cost Ownership).
Неймовірні можливості масштабування дозволяють підприємству, яке використовує SAN, вкладати гроші в сервери та сторедж у міру потреби. А також зберегти свої вкладення у вже інстальовану техніку за зміни технологічних поколінь. Кожен новий сервер матиме можливість високошвидкісного доступу до стореджу і кожен додатковий гігабайт сторедж буде доступний усім серверам підмережі за командою адміністратора.
Прекрасні можливості щодо побудови відмовостійких систем можуть приносити пряму комерційну вигоду від мінімізації простоїв та рятувати систему у разі виникнення стихійного лиха або будь-яких інших катаклізмів.
Керованість компонентів і прозорість системи надають можливість здійснювати централізоване адміністрування всіх ресурсів, а це, у свою чергу, значно зменшує витрати на їх підтримку, вартість якої, як правило, становить понад 50% від вартості обладнання.
Вплив SAN на прикладні задачі
Для того щоб нашим читачам стало зрозуміліше, наскільки практично корисні технології, що розглядаються в цій статті, наведемо кілька прикладів прикладних завдань, які без використання мереж зберігання даних вирішувалися б неефективно, вимагали б колосальних фінансових вкладень або взагалі не вирішувалися б стандартними методами.
Резервування та відновлення даних (Data Backup and Recovery)
Використовуючи традиційний SCSI інтерфейс, користувач при побудові систем резервування та відновлення даних стикається з низкою складних проблем, які можна дуже легко вирішити, використовуючи технології SAN та FC.
Таким чином, використання мереж зберігання даних виводить рішення задачі резервування та відновлення на новий рівень і надає можливість здійснювати бекап у кілька разів швидше, ніж раніше, без завантаження локальної мережі та серверів роботою з резервування даних.
Кластеризація серверів (Server Clustering)
Однією з типових завдань, котрим ефективно використовується SAN, є кластеризація серверів. Оскільки один з ключових моментів в організації високошвидкісних кластерних систем, які працюють з даними - це доступ до стореджів, то з появою SAN побудова багатонодових кластерів на апаратному рівні вирішується простим додаванням сервера з підключенням до SAN (це можна зробити, навіть не виключаючи системи, оскільки свічі FC підтримують hot-plug). При використанні паралельного SCSI інтерфейсу, можливості по приєднанню та масштабованість якого значно гірше, ніж у FC, кластери, орієнтовані на обробку даних, було б важко зробити з кількістю нід більше двох. Комутатори паралельного SCSI – дуже складні та дорогі пристрої, а для FC це стандартний компонент. Для створення кластера, який не матиме жодної точки відмов, достатньо інтегрувати в дзеркальну систему SAN (технологія DUAL Path).
В рамках кластеризації одна з технологій RAIS (Redundant Array of Inexpensive Servers) здається особливо привабливою для побудови потужних систем інтернет-комерції, що масштабуються, та інших видів завдань з підвищеними вимогами до потужності. За словами Alistair A. Croll, співзасновника Networkshop Inc, використання RAIS виявляється досить ефективним: «Наприклад, за $12000-15000 ви можете купити близько шести недорогих одно-двопроцессорних (Pentium III) Linux/Apache серверів. Потужність, масштабованість та відмовостійкість такої системи буде значно вищою, ніж, наприклад, у одного чотирипроцесорного сервера на базі процесорів Xeon, а вартість однакова».
Одночасний доступ до відео та розподіл даних (Concurrent video streaming, data sharing)
Уявіть собі завдання, коли вам потрібно на кількох станціях редагувати відео або просто працювати над даними величезного обсягу. Передача файлу розміром 100GB по локальній мережі займе кілька хвилин, а загальна робота над ним буде дуже складним завданням. При використанні SAN кожна робоча станція та сервер мережі отримують доступ до файлу на швидкості, еквівалентній локальному високошвидкісному диску. Якщо вам потрібна ще одна станція/сервер для обробки даних, ви зможете її додати до SAN, не виключаючи мережі, простим під'єднанням станції до SAN комутатора і надання їй прав доступу до сторедж. Якщо ж вас перестане задовольняти швидкодію підсистеми даних, ви зможете просто додати ще один сторедж і з використанням технології розподілу даних (наприклад, RAID 0) отримати вдвічі більшу швидкодію.
Основні компоненти SAN
Середа
Для з'єднання компонентів у рамках стандарту Fibre Channel використовують мідні та оптичні кабелі. Обидва типи кабелів можуть використовуватись одночасно при побудові SAN. Конверсія інтерфейсів здійснюється за допомогою GBIC (Gigabit Interface Converter) та MIA (Media Interface Adapter). Обидва типи кабелю сьогодні забезпечують однакову швидкість передачі. Мідний кабель використовується для коротких відстаней (до 30 метрів), оптичний як для коротких, так і для відстаней до 10 км і більше. Використовують багатомодовий та одномодовий оптичні кабелі. Багатомодовий (Multimode) кабель використовується для коротких відстаней (до 2 км). Внутрішній діаметр оптоволокна мультимодового кабелю становить 62,5 або 50 мікронів. Для забезпечення швидкості передачі 100 МБ/с (200 МБ/с у дуплексі) при використанні багатомодового оптоволокна довжина кабелю має перевищувати 200 метрів. Одномодовий кабель використовується для великих відстаней. Довжина такого кабелю обмежена потужністю лазера, що використовується у передавачі сигналу. Внутрішній діаметр оптоволокна одномодового кабелю становить 7 або 9 мікронів, він забезпечує проходження одиночного променя.
Конектори, адаптери
Для підключення мідних кабелів використовуються конектори типу DB-9 або HSSD. HSSD вважається більш надійним, але DB-9 використовується так само часто, тому що він більш простий та дешевий. Стандартним (найпоширенішим) конектором для оптичних кабелів є SC конектор, він забезпечує якісне, чітке з'єднання. Для звичайного підключення використовуються багатомодові конектори SC, а для віддаленого - одномодові. У багатопортових адаптерах використовуються мікроконектори.
Найбільш поширені адаптери FC під шину PCI 64 bit. Також багато адаптеров FC виробляється під шину S-BUS, для спеціалізованого використання випускаються адаптери під MCA, EISA, GIO, HIO, PMC, Compact PCI. Найпопулярніші - однопортові, зустрічаються дво- та чотирипортові картки. На PCI адаптерах, як правило, використовують DB-9, HSSD, SC конектори. Також часто зустрічаються GBIC-based адаптери, які постачаються як із модулями GBIC, так і без них. Fibre Channel адаптери відрізняються класами, які вони підтримують, та різноманітними особливостями. Для розуміння відмінностей наведемо порівняльну таблицю адаптерів виробництва компанії QLogic.
| Fibre Channel Host Bus Adapter Family Chart | ||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| SANblade | 64 Bit | FCAL Publ. Pvt Loop | FL Port | Class 3 | F Port | Class 2 | Point to Point | IP/SCSI | Full Duplex | FC Tape | PCI 1.0 Hot Plug Spec | Solaris Dynamic Reconfig | VIВ | 2Gb |
| 2100 Series | 33 & 66MHz PCI | X | X | X | ||||||||||
| 2200 Series | 33 & 66MHz PCI | X | X | X | X | X | X | X | X | X | ||||
| 33MHz PCI | X | X | X | X | X | X | X | X | X | X | ||||
| 25 MHZ Sbus | X | X | X | X | X | X | X | X | X | X | ||||
| 2300 Series | 66 MHZ PCI/ 133MHZ PCI-X | X | X | X | X | X | X | X | X | X | X | X | ||
Концентратори
Fibre Channel HUBs (концентратори) використовуються для підключення нод до FC кільця (FC Loop) і мають структуру, схожу на концентратори Token Ring. Оскільки розрив кільця може призвести до припинення функціонування мережі, в сучасних концентраторах FC використовуються порти обходу кільця (PBC-port bypass circuit), які дозволяють автоматично відкривати/закривати кільце (підключати/відключати системи, приєднані до концентратора). Зазвичай FC HUBs підтримують до 10 підключень і можуть стекуватися до 127 портів на кільце. Усі пристрої, підключені до HUB, отримують загальну смугу пропускання, яку можуть розділяти між собою.
Комутатори
Fibre Channel Switches (комутатори) мають ті ж функції, що і звичні читачеві LAN комутатори. Вони забезпечують повношвидкісне неблоковане підключення між нодами. Будь-яка нода, підключена до комутатора FC, отримує повну (з можливостями масштабування) смугу пропускання. У разі збільшення кількості портів комутованої мережі її пропускна здатність збільшується. Комутатори можуть використовуватися разом з концентраторами (які використовують для ділянок, що не вимагають виділення смуги пропуску для кожної ноди) для досягнення оптимального співвідношення ціна/продуктивність. Завдяки каскадування свічки потенційно можуть використовуватися для створення FC мереж з кількістю адрес 2 24 (понад 16 мільйонів).
Мости
FC Bridges (мости або мультиплексори) використовуються для підключення пристроїв із паралельним SCSI до мережі на базі FC. Вони забезпечують трансляцію пакетів SCSI між Fibre Channel і Parallel SCSI пристроями, прикладами яких можуть служити Solid State Disk (SSD) або бібліотеки на магнітних стрічках. Слід зазначити, що останнім часом практично всі пристрої, які можуть бути утилізовані в рамках SAN, виробники починають випускати з вмонтованим інтерфейсом FC для прямого їх підключення до мереж зберігання даних.
Сервери та Сторедж
Незважаючи на те, що сервери та сторедж - далеко не останні за важливістю компоненти SAN, ми на їх описі зупинятися не будемо, оскільки впевнені, що з ними добре знайомі всі наші читачі.
Насамкінець хочеться додати, що ця стаття - лише перший крок до мереж зберігання даних. Для повного розуміння теми читачеві слід приділити чимало уваги особливостям реалізації компонентів виробниками SAN та програмним засобам управління, оскільки без них Storage Area Network - це лише набір елементів для комутації сторедж-систем, які не принесуть вам повноти переваг від реалізації мережі зберігання даних.
Висновок
Сьогодні Storage Area Network є досить новою технологією, яка незабаром може стати масовою серед корпоративних замовників. У Європі та США підприємства, які мають досить великий парк інстальованих сторедж-систем, вже починають переходити на мережі зберігання даних для організації сторедж із найкращим показником загальної вартості володіння.
За прогнозами аналітиків, у 2005 році значна кількість серверів середнього та верхнього рівня будуть поставлятися з попередньо встановленим інтерфейсом Fibre Channel (таку тенденцію можна помітити вже сьогодні), і лише для внутрішнього підключення дисків у серверах використовуватиметься паралельний SCSI інтерфейс. Вже сьогодні при побудові сторедж-систем та придбанні серверів середнього та верхнього рівня слід звернути увагу на цю перспективну технологію, тим більше, що вже сьогодні вона дає можливість реалізувати ряд завдань набагато дешевше, ніж за допомогою спеціалізованих рішень. Крім того, вкладаючи в технологію SAN сьогодні, ви не втратите своїх вкладень завтра, оскільки особливості Fibre Channel створюють чудові можливості для використання в майбутньому вкладених сьогодні інвестицій.
P.S.
Попередня версія статті була написана в червні 2000 року, але через відсутність масового інтересу до технології мереж зберігання даних публікацію було відкладено на майбутнє. Це майбутнє настало сьогодні, і я сподіваюся, що ця стаття спонукає читача усвідомити необхідність переходу на технологію мереж зберігання даних як передову технологію побудови сторедж-систем та організації доступу до даних.
Яким є призначення систем зберігання даних (СГД)?
Системи зберігання даних призначені для безпечного та відмовостійкого зберігання даних з можливостями швидкого відновлення доступу до даних у разі збою в роботі системи.
Які основні різновиди СГД?
За типом реалізації СГД діляться на апаратні та програмні. По області застосування СГД діляться на індивідуальні, для малих робочих груп, для робочих груп, підприємств, корпоративні. За типом підключення СГД поділяються на:
1. DAS (Direct Attached Storage – системи з прямим підключенням)
Особливістю даного типу систем є те, що контроль за доступом до даних пристроїв, підключених до мережі, здійснюється сервером або робочою станцією, до якої підключено сховище.
2. NAS (Network Attached Storage - системи, що підключаються до ЛОМ)
У цьому типі систем доступом до інформації, розміщеної у сховищі, контролюється програмним забезпеченням, що у самому сховищі.
3. SAN (Storage Attached Network) — системи, що є мережею між серверами, які обробляють дані і, власне, СГД);
При такому способі побудови системи зберігання даних контроль доступу до інформації здійснюється програмним забезпеченням, що працює на серверах СХД. Через комутатори SAN проводиться підключення сховища до серверів за високопродуктивними протоколами доступу (Fibre channel, iSCSI, ATA over ethernet, тощо)
Які особливості програмної та апаратної реалізації СГД?
Апаратна реалізація СХД є єдиним апаратним комплексом, що складається з пристрою зберігання (що представляє собою диск або масив дисків, на яких дані фізично зберігаються), і пристрої управління (контролер, що займається розподілом даних між елементами сховища).
Програмна реалізація СГД є розподіленою системою, в якій дані зберігаються без прив'язки до якого-небудь конкретного сховища або сервера, і доступ до даних здійснюється за допомогою спеціалізованого ПЗ, яке відповідає за збереження та безпеку даних, що зберігаються).
Еволюціонували від найпростіших карт та стрічок з дірочками, що використовувалися для зберігання програм та даних, до накопичувачів на твердому тілі. На цьому шляху було створено безліч несхожих один на одного пристроїв – це магнітні стрічки, барабани, диски, оптичні диски. Частина з них залишилася в минулому: це перфоровані носії, магнітні барабани, гнучкі (флоппі) диски та оптичні диски, інші живуть і житимуть довго. Те, що сьогодні пішло, можна подивитися та поностальгувати у музеї застарілих медійних технологій Museum Of Obsolete Media. І водночас, наче приречене, залишається. Свого часу передбачали кінець магнітним стрічкам, проте сьогодні їх існуванню ніщо не заважає, точно те ж саме відноситься і до жорстких дисків, що обертаються (HDD), пророцтва про їх кінець позбавлені будь-якої підстави, вони досягли такого рівня досконалості, що за ними збережеться їхня власна ніша, незважаючи на жодні новації.
На нинішньому багаторівневому пейзажі СГД присутні стрічкові бібліотеки для резервного копіювання та архівації, швидкі та повільні диски HDD, твердотільні диски SSD на флеш-пам'яті, мімікріруючі (інтерфейси, форм-фактор) під HDD насамперед для узгодження з існуючим програмним забезпеченням та конструктивами, також нові флеш-накопичувачі у форматі карт, що підключаються за інтерфейсом NVMe. Ця картина склалася під впливом кількох факторів, серед яких схема Джона фон Неймана, яка ділить пам'ять на оперативну, безпосередньо доступну процесору та вторинну, призначену для зберігання даних. Цей поділ зміцнився після того, як на зміну феритової пам'яті, що зберігає свій поточний стан, прийшла напівпровідникова, що вимагає завантаження програм для початку роботи. І звичайно ж впливає питома вартість зберігання, чим швидше пристрій, тим ця вартість вища, тому в найближчому майбутньому залишиться місце і для стрічок, і для дисків. Докладніше про еволюцію СГД.
Як зберігали дані раніше
Носії даних, які використовують перфорацію
Перфокарти
До появи комп'ютерів протягом століть у найпростіших пристроях з програмним управлінням (ткацькі верстати, шарманки, годинники-карильйони) використовували перфоровані носії різних форматів і розмірів і барабани зі штифтами. Зберігаючи цей принцип запису, Герман Холлеріт, засновник компанії TMC, що пізніше увійшла до IBM, зробив відкриття. Саме в 1890 році він усвідомив, як можна використовувати перфокарти для запису та обробки даних. Він реалізував цю ідею при обробці статистичних даних, отриманих в ході перепису населення, а пізніше переніс її і в інші додатки, ніж забезпечив благополуччя IBM десятиліття вперед.
Чому карти? Їх можна сортувати і до них може бути забезпечений, умовно кажучи, «прямий доступ» для того, щоб на спеціальному пристрої-табуляторі, слідуючи нескладній програмі, частково автоматизувати обробку даних.
Формат карток змінювався, і з 20-х років міжнародним стандартом стали 80-колонні карти. Монополія ними до початку 60-х належала IBM.
Ці прості картонки з прямокутними отворами залишалися домінуючим носієм даних протягом кількох десятиліть, вони виготовлялися мільярдами. Про обсяги споживання карток можна судити хоча б за одним прикладом Центру розшифровки німецьких радіограм у Блечлі Парку: тиждень роботи – 2 мільйони карток, це середнього розміру вантажівка! Післявоєнний бізнес також будувався на зберіганні на картах. Говорячи про перфокарти, слід пам'ятати, що вони використовувалися в Німеччині для збору даних про людей, які підлягають знищенню.
Перфострічки
Здавалося б, перфострічки – практичніші носії, але в бізнесі вони практично не використовувалися, хоча пристрої для введення та виведення були значно простіше та легше. Їхньому поширенню заважав послідовний доступ, менша ємність і низькі швидкості введення та виведення, складність архівації. Вузькі 5-колонні перфострічки з 1857 року використовували для підготовки та подальшої передачі даних по телеграфу, щоб не обмежити швидкість введення фізичними можливостями оператора і тим краще використовувати пропускну здатність каналу. Широкі 24-колонні перфострічки були створені для запису програм у електромеханічному калькуляторі Harvard Mark I у 1937 році. Як носій, не схильний до впливу різного електромагнітного та гамма-вивчення, перфострічки широко використовувалися як бортові пристрої, вони досі використовуються в деяких оборонних системах.
Магнітні стрічки
Спосіб запису звуку на котушковий магнітний носій спочатку на дріт був запропонований в 1928 році. Магнітофон такого типу використовувався UNIVAC-1. Початком історії комп'ютерних магнітних стрічок вважається IBM Model 726, що входила до складу комп'ютера IBM Model 701. Ширина стрічки для IBM Model 726 та інших пристроїв того часу дорівнювала одному дюйму, але такі стрічки виявилися незручними в експлуатації. Через їх велику масу були потрібні потужні приводи, тому незабаром їм на зміну прийшли напівдюймові «відкриті стрічки» (open reel), в яких перемотування здійснювалося з однієї бобіни на іншу (reel-to-reel). Вони мали три щільності запису 800, 1600 та 6250. Такі стрічки зі знімними кільцями для захисту від запису стали стандартом для архівування даних до кінця 80-х років.
У Model 726 використовували котушки від кіноплівки, відповідно ширина стрічки дорівнювала одному дюйму, а діаметр бобіни – 12 дюймам. Model 726 була здатна зберігати 1,4 Мбайт даних, щільність 9-доріжкового запису становила 800 біт на дюйм; під час руху стрічки зі швидкістю 75 дюймів на секунду в комп'ютер передавалося 7500 байт на секунду. Сама магнітна стрічка для Model 726 була розроблена компанією 3M (тепер Imation).
Незабаром від дюймових стрічок відмовилися, через їхню вагу при роботі в старт-стопному режимі були потрібні занадто потужні приводи і вакуумні кишені, і на тривалий період встановилося майже монопольне панування напівдюймових «відкритих стрічок» (open reel), в яких перемотування здійснювалося з однієї бобіни на іншу (reel-to-reel). Щільність запису зросла з 800 до 1600 і навіть 6250 біт на дюйм. Ці стрічки з кільцями для захисту від запису були популярні на комп'ютерах типу ЄС і СМ ЕОМ. напівдюймових «відкритих стрічок» (open reel), у яких перемотування здійснювалося з однієї бобіни на іншу (reel-to-reel). Щільність запису зросла з 800 до 1600 і навіть 6250 біт на дюйм. Ці стрічки з кільцями для захисту від запису були популярні на комп'ютерах типу ЄС і СМ ЕОМ.
Стимулом до подальшого розвитку стало те, що в середині 80-х ємності жорстких дисків стали вимірюватися сотнями мегабайт або навіть гігабайт тому для них знадобилися накопичувачі резервування, відповідної ємності. Незручності відкритих стрічок були зрозумілі, навіть у побуті касетні магнітофони швидко витіснили котушкові. Природний перехід до картриджів відбувався двома шляхами: один – створювати спеціалізовані пристрої, орієнтовані на комп'ютери (за лінійною технологією): другий – звернутися до технологій, винайдених для відеозапису та аудіозапису з головками, що обертаються (за гвинтовою технологією). З того часу склався поділ на два табори, що надає ринку накопичувачів неповторної специфіки.
За тридцять років було розроблено кілька десятків стандартів картриджів, найпоширеніший сьогодні стандарт LTO (Linear Tape-Open), у процесі яких картриджі вдосконалювалися, підвищувалася їхня надійність, ємність, швидкість передачі та інші експлуатаційні характеристики. Сучасний картридж – це складний пристрій, забезпечений процесором та флеш-пам'яттю.
Переходу на картриджі сприяло те, що нині стрічки працюють виключно у потоковому режимі. Картриджі застосовуються або в автономних пристроях, або у складі стрічкових бібліотек. Першою роботизовану бібліотеку на 6 тис. картриджів випустила компанія StorageTek у 1987 році.
Аналітики та виробники дисків не раз пророкували стрічкам кончину. Відоме гасло «Tapes must die», але вони живі і житимуть довго, бо розраховані на багаторічне зберігання великих архівів. Розмір бізнесу, пов'язаного з виробництвом стрічкопротяжок, стрічок та стрічкових бібліотек у 2017 році оцінювався приблизно в $5 млрд. І чим більше стають обсяги інформації, які можна зберегти на жорстких дисках, тим більша потреба в архівуванні та створенні резервних копій. На чому? Зрозуміло, на стрічках: економічно виправданої за вартістю зберігання альтернативи магнітним стрічкам поки що не знайдено. Нинішнє 8-е покоління стандарту LTO дозволяє штатно зберегти до 12 Тб, а в компресованому режимі 30 Тб, перспективи ці цифри зростуть на порядок і більше, при зміні поколінь підвищуються як кількісні показники, а й інші експлуатаційні характеристики.
Магнітний барабан
Тимчасовим способом для вирішення протиріч між технологією послідовного запису на стрічку та необхідністю прямого доступу до даних на зовнішньому пристрої став магнітний барабан, точніше циліндр з нерухомими головками. Його винайшов австрієць Густав Тучек у 1932 році
Магнітним є не барабан, у якого, як відомо, робочою поверхнею служить днище, а циліндр з нанесеним на його бічну поверхню феримагнітним покриттям, розділеним на доріжки, а вони, у свою чергу, діляться на сектори. Над кожною з доріжок розміщено власну головку читання/запису, причому всі головки можуть працювати одночасно, тобто операції читання/запису здійснюються в паралельному режимі.
Барабани використовувалися не тільки як периферійний пристрій. До переходу на феритовие сердечники оперативна пам'ять була надзвичайно дорогою і ненадійною, тому в ряді випадків барабани грали роль оперативної пам'яті, були навіть комп'ютери, що називалися барабанними. Зазвичай магнітні барабани використовувалися для оперативної (часто змінюваної) або важливої інформації, до якої був потрібний швидкий доступ. В умовах обмежень на розмір оперативної пам'яті через її дорожнечу на них зберігалася копія операційної системи, записувалися проміжні результати виконання програм. На барабанах вперше була реалізована процедура свопінгу, що представляє віртуалізацію пам'яті за рахунок простору на барабані, а пізніше на диску.
Накопичувачі на магнітних барабанах мали ємність менше, ніж диски, але працювали швидше, тому що на відміну від дисків у них головки нерухомі, що виключає час, потрібний для підведення до потрібної доріжки.
Барабани активно використовувалися аж до початку 80-х років, якийсь час вони жили паралельно з дисками. Барабанами комплектувалася ЕОМ БЭСМ 6 та її сучасники. З відкритих джерел відомо, що останні барабани простояли у системах управління ракетами Мінітмен до середини 90-х.
Гнучкі диски
Активне життя гнучких (floppy) дисків розтяглося на 30 років з кінця сімдесятих до кінця дев'яностих. Вони виявилися надзвичайно затребуваними у зв'язку з тим, що ПК з'явилися раніше, ніж у користувачів з'явилася можливість передачі даних через мережу. У цих умовах флоппіки служили не тільки за прямим призначенням для зберігання резервних копій, але, мабуть, більшою мірою для обміну даними між користувачами, ось чому їх ще називають sneaker, як кросівки, типове взуття програмістів. Обмінюючись флопіками, вони створювали свого роду мережу – sneakernet.
Існували 3 основних типи дисків і безліч різних модифікацій. Флопії-диски діаметром 8 дюймів були створені в 1967 році в IBM, вони замислювалися як пристрій початкового завантаження (bootstrap) для мейнфреймів IBM/370 на заміну дорожчої постійної пам'яті (non-volatile read-only memory), нею комплектувалося попереднє покоління IBM 360. Однак, усвідомивши комерційну цінність новинки, в 1971 IBM перетворила флоппі в самостійний продукт, а в 1973 керівник розробки Алан Шугарт створив компанію Shugart Associates, що стала провідним виробників 8-ми дюймових дисків з максимальною ємністю 1,2 Мбайта. Ці великі диски використовували на ПК, що випускалися до появи IBM XT. Особливої популярності цей тип дискет отримав завдяки операційній системі CP/M Гаррі Кілдала.
Що ж до дискет з діаметром 5,25 дюйма, то їх поява нагадує анекдот про Миколу II, який своєрідно пояснює збільшену ширину російської залізничної колії в порівнянні з європейською. У нашому випадку Ен Ванг, господар компанії Wang Laboratories, зустрівся в барі з вихідцями з Shugart Associates, які запропонували зробити для його комп'ютерів дешевший дисковод, але вони не могли наважитися на конкретний діаметр. Тоді Ванг взяв коктейльну серветку і сказав, що йому здається, що розмір має бути таким. П'ятидюймові диски ємністю 360 і 720 Кб випускали до кінця дев'яностих років, вони були сучасниками комп'ютерів IBM XT і IBM AT, операційних систем MS-DOS і DR-DOS, правильно служачи становленню нової галузі.
Запропонований в 1983 Sony альтернативний картридж мав розмір 90,0 мм × 94,0 мм, але його за традицією стали називати 3,5 дюймовим. В американському професійному середовищі він називається стіффі (stiffy disk, переклад варто подивитися у словнику). Після низки удосконалень у 1987 році було прийнято галузевий стандарт 3,5-inch HD (High Density) з ємністю 1,44 Мб. Спочатку такими дисками комплектували IBM PS/2 та Macintosh IIx, а пізніше він став універсальним стандартом для PC та Macintosh. Спроби зробити в другій половині дев'яностих диски більшої ємності Extended Density (ED) 2,88 Мб, а також магнітооптичні Floptical disk 25 Мб, SuperDisk 120-240 Мб і HiFD 150-240 Мб ринкового успіху не мали.
Чому виникла потреба у СГД
З проведеного дослідження IDC Perspectives випливає, що зберігання даних посідає друге місце серед витрат на ІТ і становить приблизно 23% всіх витрат. За інформацією The InfoPro, Wave 11 "приріст витрат на СГД у середній компанії Fortune 1000 перевищує 50% на рік".
На загальну думку аналітиків, в організаціях по всьому світу щохвилини виростають обсяги інформації, що зберігається і обробляється. Унікальна інформація стає все дорожчою, її обсяг щороку збільшується багаторазово, а її зберігання потребує витрат. З огляду на це організації прагнуть не тільки формувати розвиток інфраструктури зберігання даних, але й шукати можливості поліпшення та підвищення економічної ефективності СГД: зниження енергоспоживання, витрат на сервіс, загальної вартості володіння та закупівлі систем резервного копіювання та зберігання.
Зростання обсягів даних, збільшені вимоги до надійності зберігання та швидкодії доступу до даних роблять необхідним виділення засобів зберігання в окрему підсистему обчислювального комплексу (ВК). Можливість доступу до даних та управління ними є необхідною умовою для виконання бізнес-процесів. Безповоротна втрата даних наражає бізнес на серйозну небезпеку. Втрачені обчислювальні ресурси можна відновити, а втрачені дані, за відсутності грамотно спроектованої та впровадженої системи резервування, вже не підлягають відновленню.
Відбувається помітний розвиток потреби не лише у придбанні СГД корпоративними клієнтами, але й у суворому обліку, аудиті та моніторингу використання дорогих ресурсів. Немає нічого гіршого за зупинку бізнес-процесів через неможливість своєчасно отримати необхідні дані (або повної їх втрати), адже це може спричинити незворотні наслідки.
Чинники, що сприяють розвитку СГД
Основним чинником було зростання конкуренції та ускладнення її характеру у всіх сегментах ринку. У Європі ці явища можна було спостерігати і раніше, а Східній Європі - останні п'ять років. П'ять років тому у мобільного оператора було 25-25 млн зареєстрованих SIM-карток, а сьогодні - 50-70 млн. Таким чином, мобільним зв'язком від цих компаній забезпечений практично кожен житель країни, адже є ще регіональні оператори. Ось реальний рівень конкуренції: на ринку не залишилося нікого, хто б не мав мобільного телефону. І тепер оператори не можуть екстенсивно зростати за рахунок продажу своїх продуктів тим, хто не має аналогічних продуктів. Їм потрібні клієнти, які працюють із конкурентами, та необхідно зрозуміти, як їх отримати. Потрібно розібратися в їхній поведінці, у тому, чого вони хочуть. Щоб отримати корисну інформацію з доступних даних, необхідно помістити їх у сховище.
Ще один фактор - поява на ринку безлічі компаній, які пропонують свої рішення для підтримки бізнесу підприємств: ERP, білінгові системи, системи підтримки прийняття рішень і т. д. Всі вони дозволяють збирати детальні дані різного характеру у величезних обсягах. За наявності організації розвиненої ІТ-інфраструктури ці дані можна зібрати разом і проаналізувати їх.
Наступний фактор – технологічний характер. До певного часу виробники програм самостійно розробляли різні версії своїх рішень для різних серверних платформ або пропонували відкриті рішення. Важливою для галузі технологічною тенденцією стало створення платформ, що адаптуються, для вирішення різних аналітичних завдань, які включають апаратну складову і СУБД. Користувачів не хвилює, хто зробив їхнього комп'ютера процесор чи оперативну пам'ять, - вони розглядають сховище даних як послугу. І це найважливіше зрушення у свідомості.
Технології, які дозволяють використовувати сховища даних для оптимізації операційних бізнес-процесів практично в реальному часі не лише для висококваліфікованих аналітиків та топ-менеджерів, а й для співробітників фронт-офісу, зокрема для співробітників офісів продажу та контактних центрів. Прийняття рішень делегується співробітникам, які стоять на нижчих щаблях корпоративних сходів. Необхідні їм звіти, як правило, прості і стислі, але їх потрібно дуже багато, а час формування має бути невеликим.
Сфери застосування СГД
Традиційні сховища даних можна зустріти повсюдно. Вони призначені для формування звітності, що допомагає розібратися з тим, що сталося у компанії. Однак це перший крок, базис.
Людям недостатньо знати, що сталося, їм хочеться зрозуміти, чому це сталося. Для цього використовуються інструменти бізнес-аналітики, які допомагають зрозуміти те, що кажуть дані.
Після цього приходить використання минулого для передбачення майбутнього, побудова прогностичних моделей: які клієнти залишаться, а які підуть; які продукти чекає успіх, а які виявляться невдалими тощо.
Деякі організації вже знаходяться на стадії, коли сховища даних починають використовувати для розуміння того, що відбувається в бізнесі зараз. Тому наступний крок – це «активація» фронтальних систем за допомогою рішень, заснованих на аналізі даних, найчастіше в автоматичному режимі.
Обсяги цифрової інформації зростають лавиноподібно. У корпоративному секторі це зростання викликане, з одного боку, посиленням регулювання та вимогою зберігати все більше інформації, що стосується ведення бізнесу. З іншого боку, посилення конкуренції вимагає все більш точної і докладної інформації про ринок, клієнтів, їх переваги, замовлення, дії конкурентів і т.д.
У державному секторі зростання обсягів даних, що зберігаються, підтримує повсюдний перехід до міжвідомчого електронного документообігу та створення відомчих аналітичних ресурсів, основою яких є різноманітні первинні дані.
Не менш потужну хвилю створюють і звичайні користувачі, які викладають в інтернет свої фотографії, відеоролики та активно обмінюються мультимедійним контентом у соціальних мережах.
Вимоги до СГД
Група компаній ТІМ у 2008 році провела опитування серед клієнтів з метою з'ясувати, які характеристики найбільш важливі для них при виборі СГД. На перших позиціях виявилися якість та функціональність запропонованого рішення. У той самий час розрахунок сукупної вартості володіння російського споживача явище нетипове. Замовники найчастіше не до кінця усвідомлюють які їх очікують витрати, наприклад, витрати на оренду та оснащення приміщення, електроенергію, кондиціювання, навчання та зарплату кваліфікованого персоналу та ін.
Коли виникає необхідність придбати СГД, максимум, що оцінює собі покупець, це прямі витрати, які проходять через бухгалтерію для придбання цього оборудования. Втім, ціна за ступенем ваги виявилася на дев'ятому місці з десяти. Безумовно, замовники враховують можливі проблеми, пов'язані з обслуговуванням техніки. Зазвичай їх уникнути допомагають пакети розширеної гарантійної підтримки, які пропонують у проектах.
Надійність та відмовостійкість.У СГД передбачено повне або часткове резервування всіх компонентів – блоків живлення, шляхів доступу, процесорних модулів, дисків, кешу тощо. Обов'язково наявність системи моніторингу та оповіщення про можливі та існуючі проблеми.
Доступність даних.Забезпечується продуманими функціями збереження цілісності даних (використання технології RAID, створення повних та миттєвих копій даних усередині дискової стійки, реплікування даних на віддалену СГД тощо) та можливістю додавання (оновлення) апаратури та програмного забезпечення у гарячому режимі без зупинки комплексу;
Засоби управління та контролю.Управління СГД здійснюється через web-інтерфейс або командний рядок, є функції моніторингу та кілька варіантів оповіщення адміністратора про неполадки. Доступні апаратні технології діагностики продуктивності.
Продуктивність.Визначається числом та типом накопичувачів, обсягом кеш-пам'яті, обчислювальною потужністю процесорної підсистеми, числом та типом внутрішніх та зовнішніх інтерфейсів, а також можливостями гнучкого налаштування та конфігурування.
Масштабованість.У СГД зазвичай є можливість нарощування числа жорстких дисків, обсягу кеш-пам'яті, апаратної модернізації та розширення функціоналу за допомогою спеціального ПЗ. Всі ці операції проводять без значного переконфігурування і втрат функціональності, що дозволяє економити і гнучко підходити до проектування ІТ-інфраструктури.
Типи СГД
Дискові СГД
Використовують для оперативної роботи з даними, а також створення проміжних резервних копій.
Існують такі види дискових СГД:
- СГД для робочих даних (високопродуктивне обладнання);
- СГД для резервних копій (дискові бібліотеки);
- СГД для довготривалого зберігання архівів (системи CAS).
Стрічкові СГД
Призначені для створення резервних копій та архівів.
Існують такі види стрічкових СГД:
- окремі накопичувачі;
- автозавантажувачі (один накопичувач та кілька слотів для стрічок);
- стрічкові бібліотеки (більше одного накопичувача, безліч слотів для стрічок).
Варіанти підключень СГД
Для підключення пристроїв та жорстких дисків усередині одного сховища використовуються різні внутрішні інтерфейси:
Найбільш поширені зовнішні інтерфейси підключення СГД:
Популярний інтерфейс міжвузлової кластерної взаємодії Infiniband тепер також використовується для доступу до СГД.
Варіанти топологій СГД
Традиційний підхід до сховищ даних полягає у безпосередньому підключенні серверів до системи зберігання Direct Attached Storage, DAS (Direct Attached Storage). Крім Direct Attached Storage, DAS , є пристрої зберігання даних, що підключаються до мережі, - NAS (Network Attached Storage), а також компоненти мереж зберігання даних - SAN (Storage Area Networks). І NAS-, і SAN-системи з'явилися як альтернатива архітектурі Direct Attached Storage, DAS. Причому кожне рішення розроблялося як відповідь на зростаючі вимоги до систем зберігання даних і ґрунтувалося на використанні доступних на той час технологіях.
Архітектури мережевих систем зберігання були розроблені в 1990-х рр.., і їх завданням було усунення основних недоліків систем Direct Attached Storage, DAS. У загальному випадку мережеві рішення в галузі систем зберігання повинні були реалізувати три завдання: знизити витрати та складність управління даними, зменшити трафік локальних мереж, підвищити ступінь готовності даних та загальну продуктивність. При цьому архітектури NAS та SAN вирішують різні аспекти загальної проблеми. Результатом стало одночасне співіснування двох мережевих архітектур, кожна з яких має свої переваги та функціональні можливості.
Системи прямого підключення (DAS)
Програмний та апаратний RAID
Російський ринок СГД
В останні кілька років російський ринок СГД успішно розвивається та зростає. Так, наприкінці 2010 року виторг виробників систем зберігання, проданих на російському ринку, перевищив $65 млн, що порівняно з другим кварталом того ж року більше на 25% і на 59% 2009-го. Загальна ємність проданих СГД склала приблизно 18 тис. терабайт, що є показником зростання більше ніж на 150% на рік.
Основні етапи проектів створення сховищ даних
Сховище даних – дуже складний об'єкт. Однією з основних умов його створення є наявність грамотних фахівців, які розуміють, що вони роблять, - лише за постачальника, а й за клієнта. Споживання СГД стає невід'ємною частиною застосування комплексних інфраструктурних рішень. Як правило, йдеться про значні інвестиції на 3-5 років, і замовники розраховують, що протягом усього терміну експлуатації система повною мірою буде відповідати вимогам, що пред'являються з боку бізнесу.
Далі, необхідно мати технології створення сховищ даних. Якщо ви почали створювати сховища та розробляєте для нього логічну модель, то у вас має бути словник, який визначає всі основні поняття. Навіть такі поняття, як «клієнт» і «продукт», мають сотні визначень. Тільки отримавши уявлення у тому, що означають ті чи інші терміни у цій організації, можна визначити джерела необхідних даних, які слід завантажити у сховище.
Тепер можна розпочати створення логічної моделі даних. Це є критично важливим етапом проекту. Потрібно від усіх учасників проекту створення сховища даних домогтися згоди щодо актуальності цієї моделі. По завершенні цієї роботи стає зрозуміло, що насправді потрібне клієнту. І лише потім має сенс говорити про технологічні аспекти, наприклад про розміри сховища. Клієнт виявляється віч-на-віч з гігантською моделлю даних, яка містить тисячі атрибутів і зв'язків.
Потрібно постійно пам'ятати, що сховище даних не повинно бути іграшкою для ІТ-департаменту та об'єктом витрат для бізнесу. І насамперед сховище даних має допомагати клієнтам вирішувати їх найкритичніші проблеми. Наприклад, допомогти телекомунікаційним компаніям запобігти витоку клієнтів. Для вирішення проблеми необхідно заповнити певні фрагменти великої моделі даних, а потім допомагаємо вибрати програми, які допоможуть вирішити цю проблему. Це можуть бути дуже нескладні програми, скажімо Excel. Насамперед варто спробувати вирішити основну проблему за допомогою цих інструментів. Намагатись заповнити всю модель відразу, використовувати всі джерела даних буде великою помилкою. Дані в джерелах необхідно ретельно проаналізувати, щоб забезпечити їхню якість. Після успішного вирішення однієї-двох проблем першорядної важливості, в ході якого забезпечено якість необхідних для цього джерел даних, можна приступати до вирішення наступних проблем, поступово заповнюючи інші фрагменти моделі даних, а також використовуючи заповнені фрагменти раніше.
Ще одна серйозна проблема – модернізація СГД. Найчастіше СХД, придбана три-п'ять років тому, вже не справляється зі зростаючими обсягами даних та вимогами до швидкості доступу до них, тому купується нова система, на яку переносяться дані з колишньої. По суті, замовники повторно платять за обсяги зберігання, необхідні для розміщення даних і, крім того, несуть витрати на встановлення нової СГД та перенесення даних на неї. При цьому колишні СГД, як правило, ще не настільки застарілі, щоб відмовлятися від них, тому замовники намагаються пристосувати їх під інші завдання.
2009
Стрімка еволюція щорічно вносить серйозні зміни до основних трендів розвитку СГД. Так, в 2009 році на чільне місце ставилася здатність економічно розподіляти ресурси (Thin Provisioning), останні кілька років проходять під знаком роботи СГД в "хмарах". Спектр пропонованих систем відрізняється різноманітністю: величезна кількість представлених моделей, різні варіанти та комбінації рішень від початкового рівня до Hi-End класу, рішення під ключ та покомпонентне складання із застосуванням найсучаснішої начинки, програмно-апаратні рішення від російських виробників.
Прагнення скорочення витрат на ІТ-інфраструктуру вимагає постійного балансу між вартістю ресурсів СГД та цінністю даних, які на них зберігаються в даний момент часу. Для прийняття рішення про те, як найефективніше розміщувати ресурси на програмних та апаратних засобах, фахівці ЦОД керуються не лише підходами ILM та DLM, а й практикою багаторівневого зберігання даних. Кожній одиниці інформації, що підлягає обробці та зберіганню, надаються певні метрики. Серед них ступінь доступності (швидкість надання інформації), важливість (вартість втрати даних у разі апаратного та програмного збою), період, через який інформація переходить на наступну стадію.
Приклад поділу систем зберігання відповідно до вимог зберігання та обробки інформації за методикою багаторівневого зберігання даних.
Разом з тим, зросли вимоги до продуктивності транзакційних систем, що передбачає збільшення кількості дисків у системі та відповідно вибір СГД вищого класу. У відповідь на цей виклик виробники забезпечили системи зберігання новими твердотілими дисками, що перевершують попередні за продуктивністю більш ніж у 500 разів на коротких операціях читання-запису (характерних для трансакційних систем).
Популяризація хмарної парадигми сприяла підвищенню вимог до продуктивності та надійності СГД, оскільки у разі відмови або втрати даних постраждають не один-два підключені безпосередньо сервери - відбудеться відмова в обслуговуванні для всіх користувачів хмари. З тієї ж парадигми виявилася тенденція до об'єднання механізмів різних виробників у федерацію. Вона створює об'єднаний пул ресурсів, що надаються на вимогу з можливістю динамічного переміщення програм та даних між географічно рознесеними майданчиками та постачальниками послуг.
Певний зсув відзначений у 2011 році в галузі управління 'Великими даними'. Раніше такі проекти перебували на стадії обговорення, а тепер вони перейшли в стадію реалізації, пройшовши весь шлях від продажу до впровадження.
На ринку намічається прорив, який вже стався на ринку серверів, і, можливо, вже в 2012 році ми побачимо в масовому сегменті СГД, які підтримують дедуплікацію та технологію Over Subscribing. Через війну, як й у разі серверної віртуалізації, це забезпечить масштабну утилізацію ємності СГД.
Подальший розвиток оптимізації зберігання полягатиме у вдосконаленні методів стиснення даних. Для неструктурованих даних, куди припадає 80% всього обсягу, коефіцієнт стиснення може досягати кількох порядків. Це дозволить суттєво знизити питому вартість зберігання даних для сучасних SSD.
Система зберігання даних (СХД) є комплексом програмних і апаратних засобів, створених для управління та зберігання великих обсягів інформації. Основними носіями інформації зараз є жорсткі диски, обсяги яких зовсім недавно досягли 1 терабайта. Основним сховищем інформації у малих компаніях є файлові сервери та сервери СУБД, дані яких зберігаються на локальних жорстких дисках. У великих компаніях обсяги інформації можуть досягати сотень терабайт, причому до них висуваються ще більші вимоги щодо швидкості та надійності. Жодні локально підключені до серверів диски не можуть задовольнити ці потреби. Ось тому великі компанії впроваджують системи зберігання даних (СГД).
Основними компонентами СГД є: носії інформації, системи управління даними та мережі передачі даних.
- Носії інформації.Як уже було сказано вище, зараз основними носіями інформації є жорсткі диски (можливо в найближчому майбутньому буде замінено твердотілими електронними накопичувачами SSD). Жорсткі диски, поділяються на 2 основних типи: надійні та продуктивні SAS (Serial Attached SCSI) та економічніші SATA. У системах резервного копіювання також застосовуються стрічкові накопичувачі (стріммери).
- Системи керування даними.СГД надає потужні функції управління даними. СГД забезпечує функції дзеркалювання та реплікації даних між системами, підтримує відмовостійкі, самовідновлювальні масиви, надає функції моніторингу, а також функції резервного копіювання на апаратному рівні.
- Мережі передачі даних.Мережі передачі даних надають середовище, по якому здійснюється зв'язок між серверами та СХД або зв'язок однієї СХД з іншого. Жорсткі диски поділяють за типом підключення: DAS (Direct Attached Storage) - безпосередньо підключені до сервера диски, NAS (Network Attached Storage) - диски, підключені по мережі (доступ до даних здійснюється на рівні файлів, зазвичай FTP, NFS або SMB) і SAN (Storage Area Network) – мережі зберігання даних (надають блоковий доступ). У великих системах зберігання даних основним типом підключення є SAN. Існує 2 методи побудови SAN на основі Fibre Channel та iSCSI. Fibre Channel (FC) переважно застосовується для з'єднання всередині одного центру обробки даних. А iSCSI є протоколом передачі SCSI команд поверх IP, які можуть маршрутизуватися звичайними IP маршрутизаторами. iSCSI дозволяє будувати георозподілені кластери.
|
Рішення СХД на основі масивів HP і комутаторів CISCO, обсяг даних понад 1 ПБ (1 петабайт). |
Основними виробниками пристроїв, які застосовуються для побудови СГД, є HP, IBM, EMC, Dell, Sun Microsystems та NetApp. Cisco Systems пропонує широкий вибір комутаторів Fibre Channel, що забезпечують зв'язок між пристроями СХД.
Компанія ЛанКей має великий досвід побудови систем зберігання даних на базі обладнання перелічених вище виробників. При побудові СГД ми співпрацюємо з виробниками та будуємо високопродуктивні та високонадійні системи зберігання інформації. Наші інженери спроектують та впровадять СГД, що відповідає специфіці вашого бізнесу, а також розроблять систему управління вашими даними.
Якщо Сервери - це універсальні пристрої, що виконують здебільшого
- або функцію сервера програми (коли сервері виконуються спеціальні програми, і йдуть інтенсивні обчислення),
- або функцію файл-сервера (тобто якогось місця для централізованого зберігання файлів даних)
СХД (Системи Зберігання Даних) - пристрої, спеціально спроектовані для виконання таких серверних функцій, як зберігання даних.
Необхідність придбання СГД
виникає зазвичай, у досить зрілих підприємств, тобто. тих, хто замислюється над тим, як
- зберігати та керувати інформацією, найціннішим активом компанії
- забезпечити безперервність бізнесу та захист від втрати даних
- Збільшити адаптованість ІТ-інфраструктури
СГД та віртуалізація
Конкуренція змушує компанії МСБ працювати ефективніше, без простоїв та з високим ККД. Зміна виробничих моделей, тарифних планів, видів послуг відбувається дедалі частіше. Весь бізнес сучасних компаній "зав'язаний" на інформаційних технологіях. Потреби бізнесу змінюються швидко, і миттєво відбиваються на ІТ - зростають вимоги до надійності та адаптованості ІТ-інфраструктури. Віртуалізація надає такі можливості, але для цього потрібні недорогі та прості в обслуговуванні системи зберігання даних.
Класифікація СГД за типом підключення
DAS. Перші дискові масиви з'єднувалися із серверами за інтерфейсом SCSI. При цьому один сервер міг працювати лише з одним дисковим масивом. Це – пряме з'єднання СХД (DAS – Direct Attached Storage).
NAS. Для більш гнучкої організації структури обчислювального центру – щоб кожен користувач міг використовувати будь-яку систему зберігання – необхідно підключити СГД у локальну мережу. Це - NAS - Network Attached Storage). Але обмін даними між сервером і СХД набагато інтенсивніший ніж між клієнтом і сервером, тому в такому варіанті варіанті з'явилися об'єктивні труднощі, пов'язані з пропускною здатністю мережі Ethernet. Та й з погляду безпеки не зовсім правильно показувати СГД у спільну мережу.
SAN. Але можна створити між серверами та СГД свою, окрему, високошвидкісну мережу. Таку мережу назвали SAN (Storage Area Network). Швидкодія забезпечується тим, що фізичним середовищем передачі є оптика. Спеціальні адаптери (HBA) та оптичні FC-комутатори забезпечують передачу даних на швидкості 4 та 8Gbit/s. Надійність такої мережі підвищувалась резервуванням (дуплікацією) каналів (адаптерів, комутаторів). Основним недоліком є висока ціна.
iSCSI. З появою недорогих Ethernet-технологій 1Gbit/s та 10Gbit/s, оптика зі швидкістю передачі 4Gbit/s вже виглядає не так привабливо, особливо з урахуванням ціни. Тому все частіше як середовище SAN використовується протокол iSCSI (Internet Small Computer System Interface). Мережа iSCSI SAN може бути побудована на будь-якій досить швидкій фізичній основі, яка підтримує протокол IP.
Класифікація Систем Зберігання Даних з області застосування:
| клас | опис |
| personal |
Найчастіше являють собою звичайний 3.5" або 2.5" або 1.8" жорсткий диск, поміщений у спеціальний корпус та оснащений інтерфейсами USB та/або FireWire 1394 та/або Ethernet, та/або eSATA. |
male workgroup  |
Зазвичай це стаціонарний або переносний пристрій, в який можна встановлювати кілька (найчастіше від 2 до 5) жорстких дисків SATA, з можливістю гарячої або без заміни, що має інтерфейс Ethernet. Диски можна організовувати в масиви – RAID різного рівня для досягнення високої надійності зберігання та швидкості доступу. СХД має спеціалізовану ОС, зазвичай на основі Linux, і дозволяє розмежовувати рівень доступу по імені та паролю користувачів, організовувати квотування дискового простору тощо. |
|
workgroup |
Пристрій, що зазвичай монтується в 19" стійку (rack-mount) в яке можна встановлювати 12-24 жорстких дисків SATA або SAS з можливістю гарячої заміни HotSwap. Має зовнішній інтерфейс Ethernet, та/або iSCSI. Диски організовані в масиви - RAID для досягнення високої надійності зберігання та швидкості доступу СХД поставляється зі спеціалізованим програмним забезпеченням, яке дозволяє розмежовувати рівень доступу, організовувати квотування дискового простору, організовувати BackUp (резервне копіювання інформації) тощо. Такі СГД підходять для середніх та великих підприємств, і використовуються спільно з одним чи кількома серверами. |
enterprise   |
Стаціонарний пристрій або пристрій, що монтується в 19" стійку (rack-mount), в який можна встановлювати до сотень жорстких дисків. На додаток до попереднього класу СГД можуть мати можливість нарощування, модернізації та заміни компонентів без зупинки системи, системи моніторингу. Програмне забезпечення може підтримувати створення "моментальних знімків" та інші "просунуті" функції. Такі СГД підходять для великих підприємств та забезпечують підвищену надійність, швидкість та захист критично важливих даних. |
|
high-end enterprise |
На додаток до попереднього класу СГД може підтримувати тисячі жорстких дисків. |
Історія питання.
Перші сервери поєднували в одному корпусі всі функції (як комп'ютери) - обчислювальні (сервер додатків) і зберігання даних (файл-сервер). Але в міру зростання потреби додатків в обчислювальних потужностях з одного боку і в міру зростання кількості даних з іншого боку - стало просто незручно розміщувати все в одному корпусі. Ефективніше виносити дискові масиви в окремі корпуси. Але тут постало питання з'єднання дискового масиву із сервером. Перші дискові масиви з'єднувалися із серверами за інтерфейсом SCSI. Але в такому разі один сервер міг працювати лише з одним дисковим масивом. Народу захотілося гнучкішої організації структури обчислювального центру - щоб будь-який сервер міг використати будь-яку систему зберігання. Підключити всі пристрої безпосередньо в локальну мережу та організувати обмін даними по Ethernet – звичайно, просте та універсальне рішення. Але обмін даними між серверами і СХД набагато інтенсивніший ніж між клієнтами і серверами, тому в такому варіанті варіанті (NAS - див. нижче) з'явилися об'єктивні труднощі, пов'язані з пропускною здатністю мережі Ethernet. Виникла ідея створити між серверами та СГД свою, окрему високошвидкісну мережу. Таку мережу назвали SAN (див. нижче). Вона схожа на Ethernet, тільки фізичним середовищем передачі є оптика. Там теж є адаптери (HBA), які встановлюються в сервери та комутатори (оптичні). Стандарти на швидкість передачі даних по оптиці – 4Gbit/s. З появою технологій Ethernet 1Gbit/s і 10Gbit/s, а також протоколу iSCSI все частіше як середовище SAN використовується Ethernet.
