Pornind de la unul dintre experții arhitecturii din stocare de pe piața Statelor Unite ale Americii, descoperim care sunt principalele tendințe în stocarea datelor și cu ce provocări se întânesc cei care crează arhitectura lor. Interviu cu Arkadiusz Chojnacki, Senior Data Storage Architect la The New York Times, despre cele mai importante schimbări care au avut loc recent pe piața sistemelor de stocare a datelor.
Ești un Data Storage Architect. Cu ce provocări trebuie să te confrunți din această poziție?
Stocarea datelor a devenit o parte critică a fiecărui centru de date. Arhitectul de stocare trebuie să fie la curent în mod constant cu noile soluții și modele de stocare și trebuie să fie familiarizat cu proiectarea fiecărui element fizic al unui centru de calcul, care este un sistem complex. Ne referim la infrastructură energetică; elemente de rețea – protocoale, comutatoare; servere și elemente de server, sisteme de operare, virtualizare, aplicații – inclusiv baze de date – și interoperabilitatea tuturor acestor elemente. Trebuie să înțelegem cerințele și procesele, astfel încât să putem proiecta și implementa soluții bulletproof.
Misiunea noastră este de a crea soluții fiabile și rapide, nu numai din punct de vedere tehnic, ci și din punct de vedere economic – fiecare soluție trebuie să fie rentabilă nu numai ca investiție, ci și în ceea ce privește costurile de întreținere – inclusiv costurile de exploatare. Trebuie să găsim cele mai puternice și mai slabe puncte ale oricărei soluții pentru a cunoaște nu numai avantajele sale, ci și riscurile. Ideea noastră nu este să compromitem procesele de producție, ci să proiectăm o soluție care să oferă protecție datelor, procese de continuitate a activității, monitorizare, testare, procese de „auto-reparare” și ușurința diagnosticării problemelor.
O provocare suplimentară pentru arhitecții de stocare este identificarea cerințelor din punct de vedere al capacității și performanței. În calitate de arhitecți de stocare, trebuie să luăm în considerare toate aspectele și să definim toate cerințele unei soluții flexibile. Soluțiile trebuie să asigure stabilitatea pe termen lung, nu doar îmbunătățirea imediată. Iar ca responsabilități, pe lângă provocări, pot afirma că dintre principalele noastre responsabilități, în calitate de arhitecți de stocare, este de a studia tendințele pieței pentru noi soluții și proiecte din punct de vedere tehnic și economic.
Deci, care sunt cele mai importante tendințe și tehnologii pentru stocarea datelor în Statele Unite ale Americii astăzi?
Industria de stocare a datelor este influențată de mai mulți factori. Primul care poate fi văzut foarte ușor este așteptarea unor capacități din ce în ce mai mari. Avem din ce în ce mai multe informații pe care trebuie să le păstrăm. Nevoia de capacitate din ce în ce mai mare și mai rentabilă și menținerea aceleiași performanțe este foarte dificil de întâlnit cu un hard disk tradițional.
„Trebuie să găsim cele mai puternice și mai slabe puncte ale oricărei soluții pentru a cunoaște nu numai avantajele sale, ci și riscurile.”
În timp ce capacitatea de disc a crescut semnificativ în ultimii ani, de la 500 GB la 4 TB, numărul de IOPS nu sa schimbat. De exemplu, o unitate cu o viteză de rotație de 15.000 și o capacitate de 140 GB sau 600 GB permite în continuare doar aproximativ 180 de operațiuni I/O pe secundă. În acest moment, pentru a ajunge la 1800 IOPS, avem nevoie de mai multă capacitate brută, care nu poate fi folosită neapărat.
Atât creșterea capacității de stocare, precum și accesul rapid la date reprezintă cerințe de bază pentru aplicații critice. Este important să vă securizați datele într-o perioadă scurtă de timp. Când vine vorba de backup și matrice de masă, duplicarea datelor este foarte importantă. Aceasta permite o utilizare mai optimă a operatorilor de date.
Printre tendințe importante includem virtualizarea și integrarea în matrice cu platforme de virtualizare, ar fi KVM, Xen, Microsoft Hyper-V și soluții VMware. Acest lucru vă oferă posibilitatea de a integra platforme eterogene, care sunt o parte importantă a infrastructurii de astăzi. Alte tendințe includ Big Data, de stocare a obiectelor și, desigur, cloud computing. Aceste tendințe pot fi împărțite în cele legate de hardware și dezvoltare software.
Capacitatea este mai ieftină – costul pe terabyte scade, dar odată cu aceasta scade și eficiența. Așadar, ne întrebăm: se rezolvă această problemă? Toate datele sunt unice și „active” în orice moment? Putem îmbunătăți capacitatea la cerere cu performanțe mai mari?
Desigur, una dintre cele mai mari îmbunătățiri în industria de stocare a datelor a fost de a crește virtualizarea în interiorul matricei de stocare, prin crearea unui bazin în loc de grupuri RAID standard. Acesta a fost primul pas către soluții multi-stratificate.
O altă provocare a apărut: putem combina diferite tipuri de unități pentru a distribui sarcina în funcție de caracteristicile datelor? Acest lucru a fost realizat prin crearea unui rezervor de discuri de diferite tipuri, care a permis să introducă o diviziune în straturi. Acest lucru este foarte important, dar nu se poate face manual, deoarece ar necesita o mulțime de administratori pentru a monitoriza performanța și pentru a muta datele la nivelul corespunzător. Acest proces trebuie să fie automatizat și să se execute la cerere ca stratificat automat. În acest moment, avem o îmbunătățire cu software-ul, dar ne uităm, de asemenea, la posibilitățile de îmbunătățiri semnificative pe platforma hardware.
Introducerea SCSI cu o viteză mai mare de 6 Gbps și SSD-uri a avut, de asemenea, un impact major asupra evoluției matricelor de stocare. Iar introducerea SSD-urilor în matricele de stocare pe niveluri automate a avut un impact enorm asupra evoluției acestor matrice. Nu numai în ceea ce privește îmbunătățirea IOPS, dar cel mai important, reducerea timpilor de acces.
Originile de utilizare SSD nu au fost cele mai simple
În primul rând, au existat matrice cu SSD-uri ca o completare a matricei în cadrul Tier 0, care a introdus performanța la cerere. A fost grozav, dar ce s-a întâmplat când au existat date care nu au putut fi mutate pe unități rotative mai lente? În multe matrice, au existat limite la numărul de SSD-uri care ar putea fi conectate, iar algoritmul back-end a fost proiectat pentru a accepta unități rotative, mai degrabă decât SSD-uri. Este acest algoritm eficient cu SSD-uri? În acest moment, industria s-a confruntat cu provocarea de a crea sau de a îmbunătăți algoritmul actual pentru a sprijini toate SSD-urile într-o singură matrice – noua matrice flash.
Pe măsură ce capacitatea crește și prețurile SSD scad, noile matrice flash au devenit mai rentabile și au început să schimbe dinamica industriei de stocare – fără unități de disc, doar SSD-uri – mai rapide, consumând mai puțină energie. Cred că, în viitor, matricea SSD va înlocui cele mai multe matrice cu unități tradiționale, care va merge la lamus. Când se va întâmpla asta? Cred că atunci când capacitatea de SSD-uri ajunge la capacitatea de unități de disc. Acum există SSD-uri cu o capacitate de aproximativ 2 TB, iar cele mai recente unități tradiționale oferă până la 6 TB. Atunci când durata de viață va fi similară sau mai mare decât unitățile rotative, iar prețul SSD-urilor va fi egal sau va scadea sub prețul unităților rotative, atunci era lor se va termina cu siguranță.
În prezent, fiecare scenariu necesită o analiză detaliată pentru a alege soluția optimă din punct de vedere tehnic și economic. Acum ar trebui să luăm în considerare găsirea indicatorilor potriviți – indicatori de stocare care sunt importanți pentru noi. Sunt ei performanța, capacitatea, disponibilitatea și rentabilitatea? Răspunsul va fi diferit, în funcție de cerințele dumneavoastră, iar industria de stocare trebuie să ofere soluții pentru diferite nevoi, în funcție de aplicație și domeniu. Alte cerințe includ baze de date, altele fișiere regulate, copii de rezervă; domeniile sunt și ele diverse, precum industria farmaceutică, sectorul financiar, multimedia și divertisment și alte telecomunicații. De aceea, industria modernă de stocare trebuie să fie flexibilă și să îndeplinească cerințele clienților.
Cum ai ajuns să faci ceea ce faci la New York Times?
Am absolvit Academia de Economie din Poznań, unde am obținut un master în economie în combinație cu cibernetica economică și informatică. Cred că această educație m-a ajutat foarte mult în a ajunge unde sunt acum. Ca student, am scris multe articole despre sistemele IT și contabilitate. Cunoștințele mele de contabilitate, calculatoare, programare și teoria limbajului de programare mi-au permis să înțeleg importanța datelor și toate aspectele legate de date, care includ, de asemenea, prelucrarea și stocarea. Am fost un programator COBOL pe ICL1900 pe bază de mainframes ODRA. În calitate de cercetător și membru al facultății la Academia de Economie, am efectuat mai multe studii științifice privind noile metode contabile și noi sisteme IT care au ca scop optimizarea fluxului de date din punct de vedere contabil al costurilor. După puteți vedea, interesul meu în stocarea datelor are o istorie lungă.
La scurt timp după mutarea în SUA din Polonia, am început să lucrez la Merck & Co. Ca analist de sistem senior – administrator de sistem. Am lucrat la Merck timp de 7 ani, ceea ce a fost o experiență valoroasă pentru mine. La acel moment, am fost contactat de un recrutor cu privire la poziția de arhitect / administrator de stocare la o editură mare din New York. La momentul respectiv, nu știam ce companie a fost, dar am fost foarte intrigat și fericit pentru acest interviu. Am descoperit că era vorba despre o poziție la New York Times. După câteva discuții lungi, mi-am dat seama că o astfel de poziție ar fi extrem de valoroasă pentru a-mi îmbunătăți experiența și mi-ar aduce noi provocări. Îmi place foarte mult să identific probleme reale și să le rezolv, reprezintă un indiciu pentru capacitatea de a gândi logic.
