Situacija
Marijampolės maisto pramonės įmonė, apie 250 darbuotojų, dirba dviem pamainomis ir tiekia produkciją prekybos tinklams pagal griežtus pristatymo langus. IT infrastruktūra tipinė gamybai: keli virtualizuoti serveriai su ERP ir sandėlio sistema, atskiri gamybos linijų valdymo serveriai gamybos tinkle, kelios dešimtys darbo vietų, tinklo įranga su VLAN segmentais tarp biuro ir gamybos, Microsoft 365 el. paštui ir dokumentams.
Rezervinės kopijos buvo. Bet tik serverių: Veeam darė virtualių mašinų kopijas į vietinę saugyklą tame pačiame serverių kambaryje. Linijų valdymo serveriai į kopijas nepateko, nes juos prižiūrėjo įrangos tiekėjas ir niekas nebuvo įsitikinęs, ar galima. Tinklo įrangos konfigūracijos niekur nesaugomos, išskyrus pačius įrenginius. Microsoft 365 laikytas „Microsoft rūpesčiu“. Atkūrimas niekada nebuvo išbandytas.
Paskata kreiptis buvo dvejopa. Pirma, prekybos tinklo auditas paprašė įrodymų, kad įmonė gali atkurti veiklą po incidento, ir atsakymo „turime kopijas“ nepakako. Antra, sugedus vienam komutatoriui, gamybos tinklas stovėjo pusę pamainos, kol konfigūracija buvo atkurta iš atminties. Gamybos direktorius paklausė paprastai: jei rytoj neliktų serverių kambario, per kiek laiko gamintume?
Ko reikėjo
- Kopijos visai infrastruktūrai: serveriai, linijų valdymo serveriai, darbo vietos, tinklo įrangos konfigūracijos, Microsoft 365.
- Bent viena kopija už gamyklos ribų ir nepasiekiama iš įmonės tinklo.
- Sutartas ir išbandytas atstatymo laikas kritinėms sistemoms, su kuriuo galima planuoti gamybą.
- Atstatymo vieta, jei savos įrangos neliktų.
- Dokumentuotos pratybos, kurių ataskaitą galima pateikti auditui.
Ką padarėme
1–2 savaitė: inventorius ir kritiškumo sąrašas
Surašėme viską, kas turi IP adresą, ir su gamybos, logistikos ir finansų vadovais kiekvienai sistemai nustatėme, kiek laiko be jos galima dirbti. Išsiskyrė trys kritinės: ERP, sandėlio sistema ir linijų valdymo serveriai. Joms sutarėme 4 valandų atkūrimo tikslą, likusioms – iki kitos darbo dienos. Šis sąrašas vėliau tapo pratybų scenarijumi.
3–6 savaitė: kopijos visai infrastruktūrai
Serverių kopijas pertvarkėme pagal 3-2-1 principą: Veeam kopijos vietoje, antra kopija MDP CLOUD duomenų centre Lietuvoje, trečia – nekeičiama, iš tinklo nematoma kopija, kurios šifruotojas nepasiektų net turėdamas administratoriaus teises. Su linijų valdymo įrangos tiekėju suderinome, kad jų serverių kopijos daromos sustabdžius rašymą į duomenų bazę naktinės pertraukos metu – tai užtruko ilgiausiai, nes reikėjo tiekėjo raštiško patvirtinimo.
Tinklo įrangos konfigūracijas pradėjome rinkti automatiškai kiekvieną naktį į tą pačią kopijų saugyklą, su pakeitimų istorija. Darbo vietoms, kurių programinė įranga buvo specifinė (svarstyklių, etikečių spausdinimo), sukūrėme atvaizdų kopijas. Microsoft 365 paštą, OneDrive ir SharePoint įtraukėme į atskiras Microsoft 365 rezervines kopijas, nes Microsoft ištrintus duomenis saugo ribotą laiką ir ne nuo visų scenarijų.
7–8 savaitė: PlanB
Kritinėms sistemoms paruošėme PlanB: iš anksto sukonfigūruotą aplinką MDP CLOUD debesijoje, į kurią ERP ir sandėlio sistema gali būti pakeltos iš kopijų be įrangos pirkimo. Aplinka laukia išjungta, kol jos nereikia; įjungus, darbuotojai jungiasi per VPN iš bet kurios vietos.
9–10 savaitė: pratybos
Pirmos pratybos vyko savaitgalį: imitavome serverių kambario praradimą ir atkūrėme tris kritines sistemas PlanB aplinkoje. Pirmas bandymas užtruko kiek ilgiau nei 4 valandos – paaiškėjo, kad ERP licencijos failas buvo pririštas prie seno serverio vardo. Pataisėme procedūrą ir pakartojome po dviejų savaičių: tilpome į laiką. Atskirai atkūrėme vieno komutatoriaus konfigūraciją į atsarginį įrenginį – tai užtruko apie 20 minučių, ne pusę pamainos.
Rezultatas
Kritinių sistemų atstatymas išbandytas per 4 valandas: tai jau ne tikslas, o pratybų protokole užfiksuotas faktas. Prekybos tinklo auditoriams pateikėme pratybų ataskaitą, kopijų politiką ir atkūrimo procedūras – klausimų neliko.
Tinklo įrenginių konfigūracijos saugomos visos, 100 %, su kasdiene istorija. Pakeitimas, kurį kas nors padarė komutatoriuje antradienį, matomas trečiadienį ir, jei reikia, atšaukiamas.
Atkūrimo pratybos vyksta du kartus per metus pagal sutartą grafiką, kaskart su kitu scenarijumi: serverių praradimas, šifravimo ataka, Microsoft 365 paskyros ištrynimas. Kiekvienos ataskaita atiduodama vadovybei ir saugoma auditui.
Pirmą kartą turime atsakymą į klausimą „per kiek laiko gamintume“, ir jis ne iš galvos, o iš protokolo.
Ką patartume panašioje situacijoje
- Kopijos be išbandyto atstatymo yra prielaida, ne apsauga. Pirmas bandymas beveik visada atskleidžia ką nors, ko nežinojote.
- Į inventorių įtraukite viską, kas turi konfigūraciją, ne tik serverius: komutatoriai, ugniasienės, svarstyklės, spausdintuvai.
- Dėl gamybos įrangos kopijų susitarkite su įrangos tiekėju raštu, kol dar nėra incidento.
- Atkūrimo tikslą nustatykite su gamybos ir finansų vadovais, ne IT skyriuje: jie žino, kiek kainuoja valanda prastovos.
