Trwałe przechowywanie danych
2009-11-14, Sobota 11:19:32 +0100, autor Karol „Zal” Zalewski, licencja LPRCTKC
Już kilka razy zastanawiałem się nad tym, jak uchronić dane od zapomnienia. Wspominałem, iż w tym celu można wykorzystać kilka rozwiązań. Jednym z nich było połączenie trwałego nośnika danych z otwartymi standardami formatów ich zapisu. Dzięki informacjom z newslettera Slashdota wiem już, że zdobycie takiego nośnika - Cranberry's DiamonDisc - to koszt około 35 USD. Można go odtworzyć w standardowym napędzie DVD, wytrzymuje zdecydowanie ponad 300 lat (ponoć do tysiąca), a do nagrania wymaga specjalnej nagrywarki, lub skorzystania z usługi producenta.
Znalezienie otwartych formatów zapisu nie stanowi obecnie większego problemu. Gorzej z zapewnieniem tego, iż za 20-30 lat nadal będą produkowane urządzenia zdolne do odczytu DVD. A bez tego trudno mówić o przydatności takiego trwałego nośnika danych. To zabawne, że w ostatecznym rozrachunku to zawsze koszt utrzymania oprogramowania, czy też sprzętu okazuje się być tym najbardziej zasobożernym elementem cyklu życia.
2009-11-21, Sobota 15:19:31 +0100
Wirtualne chomikowanie
Niedawno Karol Zalewski pisał o problemach z długoterminowym archiwizowaniem danych: starzejącymi się nośnikami i brakiem wsparcia dla starych formatów dokumentów czy systemów plików. Od strony technologicznej jest to dosyć ciekawe i bardz[...]
2009-11-14, Sobota 11:29:52 +0100
hmm.... nie lepiej na kartach pamieci?
2009-11-14, Sobota 11:29:58 +0100
Jest lepszy sposób, mianowicie konwersja danych za pomocą UUENCODE i wydrukowanie, jednak jest to drogie rozwiązanie (potrzeba baaardzo dużo kartek) i niewygodne (potem trzeba toto skanować). Weźmy jednak pod uwagę, że są pewne książki, które po 1000 lat wytrzymały!
2009-11-14, Sobota 11:33:20 +0100
@virhilo: Zły pomysł. Zły... Zasada działania obecnych kart pamięci, pendrivewów itp. sprawia, że nie nadają się do długoterminowego przechowywania danych. Pomijam już ryzyko związane z ich odczytem i kwestią tego, iż dane mogą zostać nadpisane ;]
@flegmatyk: Przestawiając się na nieco abstrakcyjny tok myślenia - miałbyś rację, gdyby nie fakt tego, iż technologia druku oraz produkcji papieru mocno się zmieniła przez setki lat. Obecnie książki z pierwszej połowy XX wieku stają się pożółkłymi, łamliwymi i w ogólności niezwykle nietrwałymi tworami. Innymi słowy - to może byłby i niezły pomysł, gdyby nie konieczność wykorzystania technologii odmiennych od obecnych ;D
2009-11-14, Sobota 11:35:14 +0100
@Zal: na pewno można gdzieś jeszcze dostać jakiś porządny papier, i drukować konkretnym tuszem czy tonerem. A jedno byłoby pewne, jeśli znany byłby algorytm kodowania UUENCODE to byłoby to możliwe do łatwego odczytania dopóki ludzie umieliby czytać ;)
2009-11-14, Sobota 11:38:01 +0100
@flegmatyk: Przy czym odczytanie danych nabiera tutaj zupełnie nowego, dosłownego wymiaru ;D
Idąc tym tropem proponowałbym odnaleźć jakąś ładną, dużą jaskinię i tam zapisywać dane tak zakodowane. Najlepiej naturalnym barwnikiem. Wtedy mamy szanse nawet na to, że dane przetrwają kilkanaście tysięcy lat.
2009-11-14, Sobota 11:40:13 +0100
@Zal sd maja zabezpieczenie przed przypadkowym zapisem
i popraw mnie jesli sie myle ale o ile mi wiadomo karty pamieci maja tylko limit zapisow, nie limit czasu trzymania danych;)
a jak boisz ze nie bedziesz mogl ich w przyszlosci odczytac kup i schowaj czytnik na usb(raczej szybko wyparte nie bedzie) :)
2009-11-14, Sobota 11:41:52 +0100
@Zal, mozesz usunac ten komentarz prosze? zapomnialem o opcji edytuj:P
2009-11-14, Sobota 11:42:05 +0100
@Zal: jeśli udałoby się zautomatyzować coś takiego, to moim zdaniem jest to dobre rozwiązanie, choć lepiej byłoby wyryć co trzeba w stalowej płycie IMHO (malunki na ścianach jaskiń źle reagują na światło).
2009-11-14, Sobota 11:51:42 +0100
@virhilo: Wystarczy uświadomić sobie, w jaki sposób działa pamięć flash, aby wiedzieć, że ograniczenie nie dotyczy jedynie liczby zapisów, ale również czasu przechowywania takich danych. Trudno znaleźć informacje na ten temat, ale ponoć są to okolice 20 lat. Należałoby się też zastanowić, czy flash jest podatny działanie sił z zewnątrz. Pomijam już silne pole elektromagnetyczne itp. Ale co z odczytem danych, który wymaga przecież przyłożenia napięcia do urządzenia. Nie zliczę, ile to już razy widziałem peny zabite przez komputery ze źle zasilanym portem USB.
@flegmatyk: Dlatego w jaskiniach zazwyczaj naturalnie nie montuje się świateł. I ludzi. Malunki na ścianach jaskiń źle reagują głównie na ludzi :D Co do stali - stal nierdzewna rzecz jasna.
Co do samego papieru, tak już na serio, jest on po prostu niepraktyczny, a do tego bardzo podatny na zniszczenie. Gdyby nie był tak łatwopalny to może jeszcze by się do przechowywania danych nadawał. Chociaż przyznaję, ja pewne niezwykle ważne dane tak właśnie przechowuję.
2009-11-14, Sobota 13:43:18 +0100
Stal nie da rady, nierdzewna także. Może coś w stylu qr code z wielkich kamieni? I nadmiarowość danych jest, i trwałość ma szansę być odpowiednia... ;-)
2009-11-14, Sobota 13:59:47 +0100
Czy te rozważania mają jakiś wymiar praktyczny? Naprawde masz jakieś tak WAŻNE dane, że potrzebujesz je zachować przez kilka albo kilkanaście lat? Czy tak tylko sobie teoretyzujesz? :D
To oczywiste, że w miarę wymyślania nowych nośników i nowych formatów zapisu dane są konwertowane (nie tłumaczcie, że to czasochłonne i utrudnianie, bo jak dane są WAŻNE to tego wymagają i tyle). Nikt nie każe Ci do końca życia trzymać danych na 1 płycie DVD lub starej CD. Proste, że przeniesiesz na nowy, lepszy nośnik.
Nie wyobrażam sobie danych, które chciałbym zachować 300 lat :)
2009-11-14, Sobota 14:11:46 +0100
@bbartlomiej: Praktyczny i teoretyczny. Kiedyś wszystkie wykonane zdjęcia można było trzymać w albumie rodzinnym z racji tego, iż było ich niewiele. W momencie pojawienia się ich większej liczby, jak i nowych form przechowywania wspomnień, pojawia się problem zarządzania zbiorami i trwałego ich przechowywania. Uznajmy jednak, że nie jest to problem "bardzo poważny". Tego typu materiały są istotne jedynie dla niewielkich grup, których dotyczą. Cykliczne kopiowanie danych, ich konwersja itd. pomimo tego, że są to czynności uciążliwe to jednak nadal możliwe do wykonania. Gorzej, gdy weźmiemy pod uwagę osoby, których działalność polega na wydobywaniu informacji o minionych czasach. Ale przyjmijmy, że nas to jeszcze nie dotyczy - będą się tym martwić ludzie, którzy narodzą się długo po naszych śmierciach.
Można jednak zastanowić się nad tym, jak wygląda dostęp do gromadzonej przez nas wiedzy i materiałów historycznych. Jak wiele kosztuje i jak uciążliwa jest konwersja zbiorów bibliotecznych, archiwów oraz danych biznesowych. Nieprzemyślane decyzje w zakresie gromadzenia i zarządzania danymi sprawiają, że ich odzyskiwanie i konwersja potrafi być mało opłacalna, lub konieczna do wykonania oraz bardzo kosztowna.
Przykładem mogą być tutaj dane medyczne, które przez długi czas były składowane w zamkniętych formatach. A przecież ich obecność jest często kwestią życia i śmierci nas samych ;]
Z drugiej strony - nie twierdzę, że jest to bardzo istotna sprawa. Wskazuję jednak, że stanowi to pewien problem, z którym w pewnym momencie tak, czy inaczej należy się zmierzyć. Lepiej wcześniej nad tym pomyślnie, niż podejmować kroki dopiero w momencie pojawienia się większych problemów.
2009-11-14, Sobota 16:11:52 +0100
Ok, czyli to tylko rozmyślania. Zainteresowałem się o jakich swoich tak ważnych danych mówiłeś :)
Zgadzam się, kiedyś wymyślony zostanie nowy nośnik i starych już nie będzie się dało odczytać - konwersja będzie zależeć od zainteresowanych. Nie da się tego uniknąć, bo nie wiemy jak w przyszłości dane będą zapisywane prawda?
Co do zdjęć - kiepski przykład. To, że ktoś masowo tworzy fotografie, które do niczego się nie nadają nie znaczy, że mamy się martwić jak je uwiecznić na 300 lat.
PS. jak zdjęcia chciało się przechować to nie myślało się o albumach tylko o zabezpieczeniu negatywów lub trzymaniu odbitek w odpowiednich warunkach.
Wszystko będzie zależeć od zainteresowanych - jak dla kogoś dane będą ważne, przeniesie je na nowy nośnik.
2009-11-14, Sobota 16:16:09 +0100
@bbartlomiej: Jednak proponujesz rozwiązania doraźne, a nie przyszłościowe. Z tego, co się orientuję to właśnie teraz występuje nadal problem z danymi medycznymi, których przechowywanie i dostęp jest konieczny, a konwersja problematyczna. Szczególnie, że to jest ogrom danych ;] Jeszcze jakiś czas temu nie brano pod uwagę problemów związanych z tą stroną informatyzacji większości aspektów naszego życia.
2009-11-14, Sobota 17:05:29 +0100
Też czegoś takiego szukam. Już dwa lata temu SanDisk zapowiadał pamięci flash jednokrotnego zapisu, które powinny wytrzymać ponad 100 lat. Miałem nadzieję że szybko się pojawią, będą łatwo dostępne i w akceptowalnych cenach za 1GB danych.
Pamięci się pojawiły: SanDisk SD WORM (http://www.sandisk.com/business-solutions/archiving/sd-worm)
Niestety z ich dostępnością jest raczej problem. Przed chwilą szukałem i znalazłem tylko to: http://www.csi.net.pl/oferta/flash-dyski-elektroniczne-i-karty-pamieci/sandisk-dyski-ssd-i-karty-flash/karty-sd-worm.html
Nawet nie ma podanej ceny (tylko kontakt telefoniczny), małe pojemności i do tego jeszcze dodatkowe warunki sprzedaży :/ Miałem co do tych pamięci większe nadzieje.
2009-11-14, Sobota 17:11:07 +0100
Co do "fizycznego" medium, to odnoszę wrażenie, że do domowych zastosowań na kilkanaście GB najtrwalszym jest... "chmura"... a na większą skalę najbardziej opłacalne licząc stosunek objętość-cena są... zwykłe dyski SATA (nearline).
BTW: wywal te captcha...
2009-11-14, Sobota 21:30:11 +0100
Póki co, rozwiązaniem jest chyba ciągły przepływ danych. Raz na rok np. zautomatyzowany proces przenoszenia danych + sprawdzanie sum kontrolnych. Co kilka lat upgrade systemu do nowszych, trwalszych nośników. To może być nawet sposób na biznes - daj nam swoje dane, a my je przetrzymamy dla twoich pra-prawnuków :)
Wszelkie pamięci jednokrotnego zapisu czy generalnie flashe i inne promy mają problem: za 100 lat wszystkie interfejsy do których można było podłączyć najprawdopodobniej znikną z powierzchni ziemi. Nie będzie USB, nie będzie portów SD, procesory będą kwantowe a system binarny przestarzały (ok, z binarnym może przesadzam). Już dzisiaj przecież jest problem z odczytaniem zwykłej dyskietki (nawet nie chodzi o to że danych na niej już nie ma, ale samo to że nie ma do czego ją włożyć). Zdaje się że najlepszym wyjściem są prymitywne rozwiązania, niewymagające podłączenia prądu, przy czym ważne jest żeby dane łatwo i w miarę precyzyjnie odczytać (chociażby chałupniczymi sposobami). Moja propozycja to taśma z jakiegoś trwałego plastiku, z w jakiś sposób wypalonymi liniami bitów + "linia zegara". Nośnik optyczny, o niestety niskiej rozdzielczości, więc objętość fizyczna duża. Nie jest to taśma magnetyczna, więc na plamy słoneczne odporna. Pozostaje w zasadzie ochrona przed ogniem/wysokimi temperaturami i ewentualnie jakimiś platikożernymi bakteriami. Inne problemy to: system plików, formaty danych etc, ale to już można wyryć np. na stalowych obudowach taśm w języku naturalnym, taka mała wskazówka dla przyszłych archeologów :P
W sumie kiedyś myślałem o nakręceniu filmu i zakopaniu na długi czas. Potem po np. 10 latach odkopać i obejrzeć. Przy okazji można wykonać eksperyment z różnymi formatami danych i metodami ich składowania.
2009-11-14, Sobota 22:13:52 +0100
Po to mamy raidz3 i zpool scrub żeby nie martwić się o gubienie danych ;-)
2009-11-14, Sobota 22:23:07 +0100
Spłodzić potomka. Najlepiej trzech. I przekazać im wiedzę. A czego się przekazać nie da, nie jest warte zachodu. ;)
2009-11-15, Niedziela 04:06:03 +0100
Streamer!
2009-11-15, Niedziela 04:08:09 +0100
Ale nie magnetyczny ;)
2009-11-15, Niedziela 13:06:43 +0100
Ciekawe jak Mormoni rozwiązali problem przechowywania danych?
Ciekawy artykuł na podobny temat:
http://nt.interia.pl/komputery/wiadomosci/news/informatyzacja-prowadzi-do-katastrofy,939028
"Informatyzacja prowadzi do katastrofy
Czwartek, 5 lipca 2007 (09:38)
Czy grozi nam utrata znacznej części wiedzy? Brytyjskie Archiwum Narodowe alarmuje, że część jego zasobów już została utracona. Powód? Postępująca informatyzacja.
Zbiory brytyjskiego Archiwum Narodowe dokumentują około 900 lat historii, ich wielkość szacowana jest na około 580 terabajtów. Niestety, część z tych materiałów została już bezpowrotnie utracona. Powodem takiego stanu rzeczy jest postępujący rozwój w dziedzinie informatyki - czytamy na stronach BBC.
Zapisywane kilka czy kilkanaście lat temu informacje w istniejących wtedy formatach są obecnie często niemożliwe do odtworzenia. Wynika to m.in. z faktu, że część programów użytych do zapisu przestała istnieć.
Szefowa brytyjskiego Archiwum, Natalie Ceeney, uważa, że żyjemy w świecie tykającej bomby zegarowej - jeśli chodzi o zapisywanie i odczytywanie informacji. Jej zdaniem nie można dopuścić do sytuacji, gdy tworzone obecnie zasoby informacyjne za jakiś czas znikną, bo nie będzie można ich odczytać. Musimy sprawić, by informacje tworzone w erze cyfrowej były tak samo trwałe, jak papier - mówi Ceeney.
Podkreśla ona także, że jest to o wiele poważniejszy problem niż np. dyskietki, które prawie wyszły już z użycia.
Jak zauważa BBC, największe firmy z branży informatycznej nie są tutaj bez winy. Wczesne formaty zapisu plików tworzone np. przez Microsoft były niekompatybilne nie tylko z programami konkurencyjnych firm, ale często także z nowymi wersjami aplikacji firmy z Redmond.
Pani Ceeney alarmuje, że jak najszybciej trzeba dokonać konwersji nawet tysięcy dokumentów, by nie stracić wiedzy w nich zwartych."
2009-11-16, Poniedziałek 14:23:48 +0100
Wszystko zależy od tego jak dużo jest tych danych do zbackupowania. Nie backupuję połowy tego co powinienem, ale to co jednak tak (głółnie zdjęcia) nagrywam na dysk twardy wpięty po USB i od czasu do czasu na płyty DVD.
Zakładam przy tym, że w chwili kiedy komputery przestaną mieć USB pojawi się kolejne rozwiązanie, wtedy zdążę przenieść backup z dysku na to coś nowego i dalej jakoś zadziała.
Rozwiązania w 100% skutecznego po prostu nie ma i nigdy nie będzie, no chyba, że przestaniemy się rozwijać ;-)
2009-11-16, Poniedziałek 19:07:25 +0100
Ejj... jest jeden standard komunikacji między komputerami (a ich elementami), który NIE_ZNIKNIE.
Nazywa się Ethernet. A jeśli miałby być czymś zastąpiony, to to coś też nazywałoby się Ethernetem i byłoby z nim wstecznie zgodne ;-)
2009-11-16, Poniedziałek 19:09:51 +0100
Ethernet to jest chyba jeden z protokołów warstwy fizycznej, i nie jest jedyny, IMO.
2009-11-16, Poniedziałek 19:32:32 +0100
Tak sobie sprawdziłem z czystej ciekawości na żywotność pamięci PROM podawaną przez producenta i w warunkach labo (symulacja) było to ok. 7.4mln godzin. Jakieś 844 lata i nadal działała po tym wzorowo :] To tak w ramach dygresji, bo oczywiście bezsensem byłoby ich stosowanie do takiej wiekowej archiwizacji (jak i każdego innego nośnika, mechanicznego czy nie, który po kilkunastu latach wychodzi z użycia). Dyskusja jest czysto teoretyczna, bo nie widzę żadnego racjonalnego powodu szukania tak trwałej pamięci.
A co do tego artykułu z interii, to trochę śmieszne pisać, że "bezpowrotnie utracono informację" tylko dlatego, że jakiś format jest już nieobsługiwany. Nie czaję, jaki jest problem w napisaniu programu, który te dokumenty przekonwertuje.
2009-11-16, Poniedziałek 19:56:40 +0100
@Sławek: Zamknięte formaty. Oto odpowiedź. Konwersja wymaga znajomości formatu pierwotnego i docelowego. A RE to nie takie proste zadanie - wystarczy chociażby spojrzeć na to, jak długo walczono z binarnym .doc Microsoftu ;]
2009-11-16, Poniedziałek 19:57:14 +0100
Zal - z .doc walczono chyba bez nielegalnych sztuczek typu disassembling czy dekompilacja ;)
2009-11-16, Poniedziałek 19:59:15 +0100
@D4rky: Jeżeli tak było to ze starszymi formatami szybciej byśmy sobie poradzili, niż z .doc. Co nie zmienia faktu, że jest to bardzo problematyczna sprawa. W takich przypadkach "krok do tyłu jest równie kosztowny, jak krok do przodu".