Ξεκίνησε το βράδυ του Σαββάτου με τη γυναίκα μου να ρωτάει γιατί το DVR μας σταμάτησε ξαφνικά να παίζει μια εκπομπή που παρακολουθούσε. Της είπα ότι πιθανότατα ήταν λίγο πρόβλημα, αλλά θα ρίξω μια ματιά. Περπατώ στο οικογενειακό δωμάτιο για να κοιτάξω, και το σφάλμα έδειξε βασικά ότι ο υποκείμενος δίσκος δεν ήταν πλέον διαθέσιμος. ΟΧΙ καλα! Αυτή ήταν η αρχή της τριήμερης ιστορίας φρίκης …
Ένα μικρό υπόβαθρο
DVR μου είναι πραγματικά μόνο εξειδικευμένο λογισμικό (SageTV για όσους είναι περίεργοι) τρέχει σε έναν υπολογιστή. Το λογισμικό είναι πολύ ευέλικτο και σας επιτρέπει να διαχωρίσετε όλες τις διάφορες πτυχές του. Έχω ξεχωριστή μηχανή για κεντρικό έλεγχο, προγραμματισμό και εγγραφή, ξεχωριστές μηχανές για αναπαραγωγή και το αστέρι αυτής της ιστορίας, ένα ξεχωριστό μηχάνημα αποθήκευσης. Για αποθήκευση χρησιμοποιώ ένα διακομιστή αρχείων Linux, χρησιμοποιώντας LVM (Logical Volume Manager) για τη συγκέντρωση πολλών ξεχωριστών, μη πανομοιότυπων μονάδων σε μια μεγάλη λογική μονάδα (~ 6TB σήμερα) που βλέπει το λειτουργικό σύστημα. Δεδομένου ότι η δημιουργία αντιγράφων ασφαλείας πολλαπλών TB δεδομένων είναι ανέφικτη και δεδομένου ότι τα εν λόγω δεδομένα είναι "απλά" τηλεοπτικές εκπομπές, η εφεδρική μου φιλοσοφία γι 'αυτό ήταν πάντα απλά να μη νοιάζεται. Μέχρι πρόσφατα γεγονότα, αυτή η φιλοσοφία δεν είχε δοκιμαστεί από ένα πραγματικό γεγονός.
Προσπάθεια ανάκτησης των δεδομένων
Μόλις δείτε το σφάλμα στο DVR, αμέσως αρχίσω να κοιτάζω τον server αποθήκευσης. Το σύστημα αρχείων είναι απίστευτα αργό και αργό, οπότε ερωτώ την LVM σχετικά με την κατάσταση των φυσικών μονάδων που βρίσκονται κάτω από τον λογικό όγκο του. Μετά από μια μεγάλη καθυστέρηση, έρχεται και λέει ότι μια μονάδα δίσκου 750 GB λείπει. Ωχ! Επανεκκίνηση του διακομιστή και εκπληκτικά, η μονάδα επανέρχεται. Εκδίδω μια εντολή pvmove για να μεταφέρω αυτόματα όλα τα δεδομένα εκτός αυτής της μονάδας δίσκου, αλλά αποτυγχάνει σε λιγότερο από 2% να ολοκληρωθεί.
Αντιμετωπίζοντας μια μονάδα δίσκου που δεν συνεργάζεται για την ανάγνωση των δεδομένων της, αλλά τουλάχιστον εμφανίζεται στο BIOS, γυρίζω στο αγαπημένο εργαλείο ανάκτησης δίσκου Spinrite. Παρόλο που η Spinrite κανονικά εκκινεί από αφαιρούμενα μέσα, πριν από χρόνια έκανα εκκίνηση μέσω δικτύου στο σπίτι μου για διάφορες επιχειρήσεις κοινής ωφέλειας, οπότε δεν έπρεπε να ανησυχώ για την παρακολούθηση των μέσων ενημέρωσης. Συνήθως απλά συνδέω στο δίκτυό μου, επιλέξτε εκκίνηση από το δίκτυο και έχω διάφορα εργαλεία στη διάθεσή μου για να διορθώσω πολλά προβλήματα. Το πρόβλημα είναι ότι το μηχάνημα που κάνει όλη αυτή τη μαγική εργασία είναι το ίδιο μηχάνημα που βρίσκεται προς τα κάτω. Δεν λέω πολλά, θα ξεκινήσω από ένα CD Spinrite. Εκτός από ένα ζευγάρι χρόνια πριν, η μονάδα οπτικού δίσκου στον διακομιστή αρχείων μου εγκατέλειψε το φάντασμα. Την εποχή που συνέβη, αποφάσισα, αφού ποτέ δεν χρησιμοποιούσα οπτικά μέσα σε αυτό το μηχάνημα, δεν έπρεπε να το αντικαταστήσω. Μην ανησυχείτε, είπα εγώ, θα βγάλω το οπτικό δίσκο από τον κεντρικό μου υπολογιστή. Απενεργοποιώ τον κεντρικό υπολογιστή μου και βγάζω τη μονάδα οπτικού δίσκου. Τότε ψάχνω για το CD boot του Spinrite μου. Δεν μπορεί να το βρει! Μετακομίσαμε σε ένα νέο σπίτι πριν από μερικούς μήνες, οπότε όλα είναι σε κάποια αναστάτωση. Νομίζω ότι θα κάψω μόνο ένα νέο αντίγραφο, αλλά δεν μπορώ να βρω κανένα κενό οπτικό μέσο! Στο επόμενο σχέδιο, ένα bootable flash drive! Μετά από λίγα λεπτά στο Google για να ανανεώσω τη μνήμη μου, έχω ένα bootable flash drive Spinrite. Εκκινώ το κουτί του Linux από αυτό και ξεκινώ Spinrite. Ο υπολογιστής παγώνει και φαίνεται να συντρίβει. Προσπαθώντας να εξαλείψω τις μεταβλητές, μεταφέρω την κακή μονάδα δίσκου από το να συνδεθεί σε μια κάρτα επέκτασης PCI-e για να συνδεθεί απευθείας στη μητρική πλακέτα. Τώρα ο Spinrite ξεκινάει καλά, αλλά παίρνει ηλικίες και ηλικίες για να απαριθμήσει τους δίσκους που συνδέονται με αυτό. Απενεργοποιώ συστηματικά όλες τις άλλες μονάδες εκτός από το κακό, αλλά ποτέ δεν τελειώνει την απαρίθμηση δίσκων ανεξάρτητα από το πόσο καιρό περιμένω. Στο επόμενο σχέδιο! Παίρνω τη μονάδα δίσκου από το κιβώτιο μου Linux, συνδέω τον στον κεντρικό μου υπολογιστή και εκκίνηση από τη λαμπερή νέα λάμψη Spinrite. Ο Spinrite λανσάρει και βλέπει αμέσως το δίσκο και του λέω να ξεκινήσει την ανάκτηση δεδομένων, ικανοποιημένος που τελικά προχωράω. Επιστρέφω για να το ελέγξω μετά από ίσως 10 λεπτά, και υπάρχει ένα σφάλμα στην οθόνη, και φαίνεται ότι ο δίσκος εξαφανίστηκε και πάλι. Απογοητευμένος, προσπαθώ μερικές φορές και πείτε στο Spinrite να ξεκινήσει σε διάφορα τμήματα του δίσκου, αλλά να πάρετε το ίδιο αποτέλεσμα κάθε φορά. Φαίνεται ότι αυτό δεν θα με βοηθήσει τελικά.
Σε μια τακτοποίηση παράλογη ελπίδα, έβαλα τη μονάδα δίσκου πίσω στο κιβώτιο μου Linux και την εξουσία. Προς έκπληξή μου, ο δίσκος εμφανίζεται και η LVM φέρνει τα πάντα ενεργά. Περαιτέρω δοκιμάζω την τύχη μου, εκδίδω μια άλλη εντολή pvmove για να προσπαθήσω να μεταφέρω τα δεδομένα από τη μονάδα ξανά. Από νωρίς, βλέπω μηνύματα σφάλματος για να μην μπορώ να διαβάσω από τη μονάδα, αλλά εκπληκτικά, το pvmove συνεχίζει να σημειώνει πρόοδο, πλησιάζοντας και πλησιάζοντας στο 100% που ολοκληρώθηκε. Ένα μείγμα σύγχυσης, ανακούφισης και ενθουσιασμού πλένει πάνω μου. Πάω να απομακρυνθώ από αυτό το αβλαβές; Δυστυχώς, το τελευταίο πράγμα που κάνει η LVM κάτω από τα καλύμματα για να τελειώσει καθαρά ένα pvmove είναι να γράψει ένα ενημερωμένο αρχείο καταγραφής σε όλους τους δίσκους υπό τον έλεγχό του. Αυτό βέβαια αποτυγχάνει όταν προσπαθεί να γράψει στην κακή κίνηση, και έτσι ακυρώνει όλη τη διαδικασία. Η νίκη άρπαξε ξανά από τα σαγόνια της νίκης! Πεθαίνω πίσω στο Google και ανακαλύπτω ότι είναι δυνατόν να ελέγξω πόσα δεδομένα μετακινεί η εντολή pvmove αντί να μετακινεί ΟΛΑ τα δεδομένα σε μία λήψη. Πειραματίζω με αυτό και έχω καλή επιτυχία μετακινώντας ένα μικρό μέρος των δεδομένων μου κάθε φορά. Λαμβάνω άπληστος και ο δίσκος εξαφανίζεται μερικές φορές, αλλά πάντα επανέρχεται μετά από έναν κύκλο ισχύος του υπολογιστή. Θεωρώντας ότι ίσως μόνο ορισμένες μερίδες της μονάδας είναι κακές, αρχίζω να πηδάω, αντί να δουλεύω στην αρχή του δίσκου. Μετά από μερικές επαναλήψεις αυτού του γεγονότος, έχω απομακρυνθεί με ασφάλεια, εκτός από τα 40 GB από τα 750 GB. Για τα υπόλοιπα 40 GB, απέτυχε να κινηθεί ανεξάρτητα από το τι προσπάθησα. Ήταν τώρα το βράδυ της Κυριακής και ήμουν εξάντληση, έτσι αποφάσισα να πάω για ύπνο και να αντιμετωπίσω αυτό το πρόβλημα περισσότερο την επόμενη μέρα.
Την επόμενη μέρα, μετά από λίγο ύπνο και το πρώτο μισό της ημέρας στη δουλειά, αποφασίζω να δαγκώσω τη σφαίρα γιατί δεν με νοιάζει για τα τελευταία 40 GB των εγγεγραμμένων τηλεοπτικών εκπομπών και θέλω να αφαιρέσω τη μονάδα από τη διαμόρφωση LVM μου . Έχω κάνει αυτό πολλές φορές πριν, έτσι πηγαίνει αρκετά ομαλά. Στη συνέχεια, στη λίστα καθαρισμού, επισκευάζουμε την τρύπα στο κέντρο του συστήματος αρχείων. Φαντάζομαι με μόνο 40 GB αντί για 750 GB λείπει δεν μπορεί να είναι πολύ κακό, έτσι; Λανθασμένος! Μετά την επιδιόρθωση, είχα 900 GB επιπλέον ελεύθερου χώρου σε σύγκριση με πριν από την έναρξη της δοκιμασίας, έτσι ώστε να τσιμπήσει αρκετά. Ω καλά, λέω στον εαυτό μου, ήταν απλά τηλεόραση. Το DVR μου είναι και πάλι λειτουργικό και πάλι μετά την τριών ημερών παύσης του και τελικά δεν μπορώ να σταματήσω να σκέφτομαι αυτό με κάθε εναλλακτικό κύκλο του εγκεφάλου.
Διδάγματα
Τι έμαθα λοιπόν από όλα αυτά; Θα έπρεπε να είχα κάνει καλύτερη δουλειά από αυτό που πραγματικά είχε σημασία. Αυτό συνέβη πριν από λίγες εβδομάδες, και εκείνη τη στιγμή δεν έχω χάσει κανένα από τα τηλεοπτικά περιεχόμενα που εξαφανίστηκαν. Ωστόσο, λυπάμαι για τον εαυτό μου, αλλά κυρίως για την οικογένειά μου, από το να μπορώ να χρησιμοποιήσω την τηλεόραση για τρεις ημέρες και να βάλω τον εαυτό μου σε κατάσταση κρίσης υψηλής πίεσης για αυτές τις τρεις ημέρες. Εάν είχα παραιτηθεί από την ανάκτηση των δεδομένων μου στην αρχή, η λειτουργία θα είχε αποκατασταθεί σε περίπου μία ώρα, όχι τρεις ημέρες. Ξέρω πολύ καλά ότι τα περισσότερα από τα δεδομένα μας είναι πολύτιμα, αλλά σε αυτή την κατάσταση δεν ήταν.
Δεύτερον, εάν τα δεδομένα σας είναι πραγματικά πολύτιμα, και το 99% του χρόνου είναι πραγματικά, πρέπει να το προστατεύσετε! Δημιουργήστε αντίγραφα ασφαλείας των δεδομένων σας, δεν υπάρχουν δικαιολογίες. Για τα δεδομένα μου που είναι αναντικατάστατα, όπως χιλιάδες εικόνες του γιου μου που έχω στον υπολογιστή μου, φροντίζω να το υποστηρίξω σε όχι λιγότερα από τρία μέρη, ένα από τα οποία είναι ένας πάροχος backup backup. Όσον αφορά την αποθήκευση DVR, εξακολουθώ να μην πιστεύω ότι είναι πρακτικό να το υποστηρίξουμε στο σύννεφο, αλλά με την τιμή των δίσκων αυτές τις μέρες, δεν έχω καμία δικαιολογία για να μην το προστατεύσω από το RAID και αυτό ακριβώς είμαι πρόκειται να κάνω. Όταν εγκατέστησα για πρώτη φορά τη συστοιχία αποθήκευσης μου πριν από χρόνια, νομίζω ότι μου χρειάστηκαν 10 μονάδες ή περισσότερες για να φτάσω σε μια ομάδα πολλαπλών φυματίων. Ελέγξαμε ακριβώς τις τιμές και μπορείτε να αγοράσετε ένα τροφοδοτικό 3 TB τώρα για πολύ κάτω από $ 100. Απλά δεν έχω καμία δικαιολογία για να αφήσω τα δεδομένα μου απροστάτευτα και αν μου χάσει μια τέτοια απώλεια δεδομένων, είναι πραγματικά δικό μου λάθος.
