Dubitare dei backup. Se qualcosa può andar male, andrà male.

Quando si scrive su un blog aziendale si tende sempre ad avere quella freddura in stile corporate / istituzionale, raccontando il tutto e il niente con parole fredde e davvero poco avvincenti. A differenza delle big corporate americane e delle piccole aziende che scimmiottano le big corporate, vogliamo condividere in maniera empatica delle esperienze professionali di vita vissuta che vi permetterà di vivere in terza persona delle situazioni reali al fine di imparare dalle esperienze altrui. Perché in un mondo fatto di aziende, di clienti e fornitori e di mere partite IVA, esistono storie di persone che meritano di essere raccontate.

Oggi voglio parlarvi di backup e di sicurezza dei dati narrandovi quello che ho e abbiamo da dire in merito ad un problema fin troppo sottovalutato.

Se qualcosa può andar male, andrà male.

Questo assioma pseudo scientifico meglio conosciuto come Legge di Murphy è stato il punto cardine alla base dei processi organizzativi in merito alla gestione della sicurezza e dei backup.

Con questa consapevolezza negli ultimi 6 anni abbiamo valutato e implementato soluzioni di backup robuste e collaudate al fine di garantire integrità ai dati del cliente.

Operativi col vecchio marchio Dreamsnet.it sin dal 2005 e con esperienze pregresse sistemistiche sin dal 2000, fino ad oggi avevamo sempre utilizzato una soluzione di backup incrementale a snapshot che permettesse un restore selettivo sia dei singoli file sia di intere immagini. A livello di database ad esempio utilizzavamo (e utilizziamo tutt’ora) tool che permette di fare snapshot in maniera rapida e rispettando la logica dei backup a caldo sia quella dell’integrità, ovvero fare il backup del DB senza doverlo spegnere e rendendo sempre disponibile il servizio anche se avviene alle 4 di notte (magari gli utenti dormono, ma i motori di ricerca indicizzano).

Insomma, non proprio gli ultimi della classe, se pensiamo che ad oggi abbiamo famosi hosting italiani che ancora utilizzano il vetusto e ancestrale mysqldump. Davvero da non crederci.

In tredici lunghi anni, insomma, e dopo diverse centinaia di backup ripristinati, nessun cliente ha mai perso un solo file dei suoi progetti.

Nell’estate del 2018 avvenne qualcosa di nuovo, inaspettato e sconvolgente che avrebbe per sempre messo in dubbio noi stessi e chiunque altro dopo quella bruttissima disavventura.

Era una giornata soleggiata, calda ma non afosa, maglietta a manica corte e calzoncini con il notebook a tracolla, avevo appena finito di pranzare al parco fluviale che costeggia casa ad Arad in Romania. Ricordo che stavo rientrando a piedi in ufficio all’Arad Business Center, percorrendo la bellissima pista ciclabile della città molto frequentata a quell’ora da tutti quelli che come me erano in pausa pranzo.

La vista verso il fiume in piena quiete inspirava pace e tranquillità, la vista di gente rilassata sulle panchine trasmetteva calma e positività, ero letteralmente immerso in quel momento di beatitudine quando inizia a suonare il telefono cellulare che stava agganciando una deviazione di chiamata direttamente dalla sede principale.

Ritorno sul pianeta terra, quello fatto di problemi degli altri da risolvere (in fondo il lavoro in genere ha questo scopo no ?) e rispondo con un caloroso

Buongiorno, sono Marco di Managed Server come posso aiutarla?

Risponde una voce maschile, era un maschio, un ragazzo pressappoco della mia età, tra i 30 e i 35 avrei stimato ad orecchio. Superiamo subito i formalismi della lingua italiana e ci mettiamo a nostro reciproco agio dandoci subito del TU (a proposito, in rete e sui Social ci si dà del TU dice la Netiquette lo sapevi?)

Inizia con un po’ di agitazione a parlarmi di Backup, di recovery di restore, di restore fallito, di dati persi e di recupero dati. Troppi concetti astratti e confusionari, troppi input frammentari, e molta confusione nella mia testa. Non capisco.

Chi è colui che mi sta telefonando? È un nostro cliente?

Cosa è successo?

Parla di backup, ma deve fare un restore di un backup? Ha perso un backup? Non ha un backup?

Sarà per caso uno di quei ragazzini che non sanno distinguere la differenza tra una lavatrice e un videoregistratore?

Interrompo subito questa inondazione di termini e frasi random e chiedo di spiegare con calma dall’inizio tutto quello che è successo, e di chiedermi quali fosse le sue necessità.

Ricominciamo con molta più calma e finalmente instauriamo una discussione fatta di frasi di senso compiuto e soprattutto logicamente connesse.

In parole povere

Questo ragazzo, in hosting presso nota azienda di Hosting Francese, raccontava che la sera prima aveva commesso un errore con la messa in produzione di alcuni file FTP e preso da frustrazione nel risolvere il problema aveva deciso di fare “tabula rasa”, ovvero eliminare tutto e ripristinare un backup al giorno prima.

Pertanto, si accinge a collegarsi col suo client FTP, cancellare tutte le cartelle del suo sito e una volta terminato, dall’area cliente eseguire dalla comoda interfaccia Web la procedura di restore del backup.

Quattro click e via insomma!

Dopo qualche minuto di avanzamento del task, una scritta annunciava il completamento dell’operazione di restore.

Oh, gioia, gaudio e tripudio! Quale miglior notizia?

Quello che era successo è facile da capire e come avrai già intuito, il backup era danneggiato o meglio VUOTO. La procedura di restore guidata aveva ripristinato esattamente ZERO FILES lasciando la directory di destinazione completamente vuota, invece dei files al giorno precedente.

Lui non si scoraggia, non si da per vinto, e riprova nuovamente. Magari forse qualcosa è andato storto.

Stessa procedura, stesso archivio, stesso messaggio di avvenuto restore. Poi si controlla col client FTP e … VUOTO. Anche questa volta nessun file. Nulla, Nada, zero, nisba.

Rientra nell’interfaccia e seleziona il backup del giorno prima ancora, stessa procedura di restore. Stesso messaggio di completamento con successo, stesso risultato. VUOTO.

Seleziona il backup del giorno prima del giorno prima ancora. Restore. VUOTO

E via dicendo con il backup del giorno prima del giorno prima del giorno prima ancora. 3 giorni prima, 4 giorni prima, 5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30 giorni prima.

Stesso risultato: VUOTO.

Gli archivi da ripristinare erano terminati, e la conclusione era solo una: nessuno dei 30 backup fino a 30 giorni prima era stato possibile ripristina. Questa persona non aveva modo di ripristinare i suoi backup, il suo sito che gli dava da mangiare.

Il problema era diventato qualcosa di veramente grosso in quanto apparentemente senza soluzione.

In quel momento ho provato un mix di emozioni tra loro. Tristezza mischiata a gioia.

Avete presente quando vivete qualche brutto evento in maniera diretta o indiretta in cui per empatia avete tristezza per quel che è successo ma in fondo in fondo anche un pizzico di gioia nel sapere che quella brutta cosa non è successa a voi? Ecco, proprio quella sensazione, quel mix di emozioni agli antipodi, che si scontrano tra loro.

Ero felice che non fosse un nostro cliente, non avrei saputo affrontare una situazione del genere in cui esiste il servizio backup ma non è ripristinabile nessuno degli archivi. Cosa avrei potuto dire a una PERSONA che col sito ci vive e ci dà da mangiare alla propria famiglia che era al telefono lì con me in quel momento?

Ho pensato subito che questo problema etico morale, quel senso di responsabilità non avrebbe toccato minimamente la grandissima azienda di hosting di cui era cliente questa persona.

In fin dei conti era chiaro come sarebbe andata la vicenda: questa persona avrebbe parlato col supporto telefonico, qualche tizio messo li pochi spiccioli al mese, avrebbe girato la problematica al reparto tecnico italiano che lo avrebbe girato a quello francese e ad uno dei suoi tecnici. Il tecnico avrebbe constato probabilmente che qualcosa non andava e avrebbe rimandato indietro il messaggio al supporto tecnico italiano che avrebbero probabilmente affermato la mancanza dei dati e eventualmente a chiedere un rimborso o aprire un contenzioso legale.

Contenzioso legale. In Italia. Già qui verrebbe da ridere, se non fosse la situazione tragica. Viene da piangere invece ripensando alla stipula di un contratto ed una SLA (scritta con font talmente minuscoli che dovrebbero essere illegali), in cui l’azienda fornitrice si manleva da ogni danno del genere e ogni richiesta di risarcimento.

Sarebbe stato più facile scalare l’Everest a mani nude. (Si va bene, quello in foto non è l’Everest, ma rende l’idea).

L’amministratore delegato dell’azienda non avrebbe nemmeno mai saputo della vicenda di questo padre di famiglia disperato per aver perso 5 anni di lavoro. Uno dei tanti tra milioni di clienti, una goccia dell’oceano. Cosa vuoi che sia per un’azienda che fa centinaia e centinaia di milioni di fatturato all’anno con milioni e milioni di clienti un problema come questo ? Assolutamente insignificante. Purtroppo.

Cosa potevamo fare noi?

Niente. A fronte di quella situazione complessa e assolutamente al di fuori del mio e del nostro margine di manovra (il fornitore era un altro, non sapevamo che sistema di backup utilizzasse, quale potesse essere il sistema di storage, avere accesso ai supporti, e come mai fosse successa questa brutta disavventura), cosa potevamo fare?

La cosa più corretta da fare è stata quella di chiedere ovviamente un confronto col loro supporto tecnico per capire se ci fossero possibilità di recupero, e nel frattempo cercare se CASOMAI avesse un backup in locale sul proprio PC magari di qualche giorno o mese prima.

Il primo consiglio non ha dato alcun esito positivo, infatti il supporto si è limitato a dire che non c’era alcun file all’interno del backup che era stato fatto comunque correttamente. Affermazione ribadita poi anche dal loro supporto tecnico francese di massimo livello a distanza di circa due settimane che semplicemente liquidava con un “non c’è nulla“, una situazione assolutamente grottesca e spiacevole.

Un po’ meglio invece per ciò che concerne il consiglio di cercare un backup in locale, dato che effettivamente con molta dedizione e rovistamenti vari tra i file del suo PC è riuscito a trovare e ripristinare un backup di qualche mese prima, che sebbene non fosse stata la situazione ottimale di come riparare un danno del genere, ha permesso comunque questa persona di rimettersi in carreggiata ed evitare il fallimento inevitabile se così non fosse stato.

Tutto è bene ciò che finisce bene!

La lezione che abbiamo imparato

In tutta questa brutta storia, il nostro ruolo è stato assolutamente da spettatori. Assolutamente irrilevante, insomma, per l’esito della vicenda fortunatamente risoltasi se non nel migliore dei, comunque, sicuramente non nel peggiore.

Tutto ciò però ci ha dato modo di imparare alcune considerazioni importanti fino ad allora sottovalutate. Essenzialmente ci siamo posti le seguenti domande :

1. Perchè quello che è successo a loro non può succedere a noi?

Per quale motivo un sistema di backup che va in malora deve succedere solo agli altri hosting provider e non a noi?

Sarebbe ipocrita no ? E’ come dire che potremmo tranquillamente evitare di non metterci le cinture di sicurezza quando guidiamo perchè tanto gli incidenti succedono solo agli altri no ? Invece la risposta più corretta e adatta al caso è che fino ad allora, quel memorabile giorno d’estate, l’unico motivo per cui non ci è successo anche a noi è stato il caso, pura e semplice fortuna. Il fatto, insomma, che un sistema di backup a snapshot e comunque molto evoluto non abbia mai generato backup corrotti. Eventualità remota certa, improbabile, ma non impossibile come abbiamo visto proprio quel giorno.

2. Quanto pesa sulla vita delle persone una perdita dati?

Perdere un sito Internet o dati può significare la fine di un’impresa. Questo significa creare un danno economico sulla vita delle persone, verosimilmente metterli in condizione di non potersi permettere beni di primaria necessità. Questo non può e non deve accadere, quanto meno non deve succedere per colpa nostra, ne come causa ne come concausa.

3. Quanto pesa sulla nostra azienda una perdita dati?

La perdita dei dati di un cliente può significare molto probabilmente un contenzioso di tipo legale. E’ irrilevante avere torto o ragione o andare a vedere i contratti per le varie manleve di responsabilità e SLA sottoscritti, esistono chiari obblighi di legge come quelli imposti dalla nuova legge europea GDPR che ci vedrebbero imputati di diverse omissioni e dunque condannabili a multe e risarcimenti. Meglio investire sulla sicurezza dei dati destinando un 10% del fatturato su sistemi di monitoraggio, sistemi RAID, Storage ridondato, Backup multipli, piuttosto che rischiare tribunali, contenziosi, risarcimenti e multe.

Cosa abbiamo fatto allora?

Capito forte e chiaro i tre punti sopra, abbiamo “semplicemente” aggiunto all’attuale già funzionante sistema di backup un secondario, a sua volta ridondato su un sistema di stoccaggio dati C14 con certificazione di grado militare in Francia.

Insomma, se prima sui nostri sistemi in RAID1 avevamo un solo backup che confluiva in un’area storage in RAID5, oggi abbiamo tre backup con due differenti tecnologie che confluiscono su tre storage in RAID5 differenti e a loro volta uno di questi viene mirrorato su un servizio di storage antiatomico sicuro di grado militare C14 ridondato in Francia.

In questo modus operandi, insomma, un sfortunato cliente che ha necessità di ripristinare un backup può far affidamento su un backup remoto che qualora non funzionasse (ipotesi molto remota) potrebbe far affidamento sul secondo sistema di backup, che a sua volta qualora non funzionasse (ipotesi a sua volta molto remota) potrebbe far affidamento al mirroring con Rsync su un altro storage.

Qualora avvenisse un attacco importante (prendiamo per ipotesi un’esplosione nucleare) al datacenter, avremmo comunque un mirroring settimanale sullo storage antiatomico C14 in Francia.

Insomma, la possibilità di perdere dati dei clienti è veramente stata ridotta ad un limite tendente all’impossibile. Più di queste precauzioni attualmente non esistono a nostra conoscenza in Italia ma anche a livello internazionale, visto e constatato che comunque anche grandissime aziende con fatturati di centinaia di milioni di euro, continuano a utilizzare un solo ed unico backup come soluzione definitiva a tutela di se stessa e dei propri clienti.

A livello di politiche interne (come abbiamo sempre fatto) continuato ad offrire il servizio di Backup incluso nell’offerta. Non esiste che esso possa essere un servizio aggiuntivo a valore aggiunto e con un prezzo a parte. Il backup noi lo offriamo incluso, sarà nostra cura tutelare i clienti nel migliore dei modi, a prescindere dal loro ottimismo che non succederà mai nulla ai loro dati, o che non possa servire.

A prova di bomba atomica insomma !