Stockage électronique très long terme

hop, nouveau disque externe, 3To
il remplacera mon (très) vieux dd externe de 1to (western digital) qui commence à gratter (mauvais signe, j’espère réussir à copier les fichiers avant qu'il claque)

je pense que ma manie de lire (souvent et en boucle) les vidéo et la musique dessus directement l'ont usé avant l'heure , deux ans, c'est court (mais j'ai déjà tué des disques internes en 18 mois   )

hélas avec un portable doté un dd minuscule, pas le choix, presque tout est en externe 

mon (très) vieux dd externe (ioméga) de 500 Go est encore en forme, étonnant comme les vieux machins tiennent parfois mieux que les récents 

et j'ai un troisième dd externe (noname) récupéré dans une poubelle (nettoyé, formaté) , de 80Go, qui ne me sert qu'aux sauvegardes de c et aux pilotes de réinstallation (je le débranche aussitôt la sauvegarde terminée)

sacrés fourbi pour brancher tout ça sur deux prises usb   

et toujours les cd d'origine de mon windows ... et des quelques pilotes indispensables (et office, et quelques soft, mais tous obsolètes pour un usage productif)


avec tous ces to à stocker, un disque optique fiable et de très (très) grande capacité (et durée de vie) ne serai pas du luxe

Cyrus_Smith a écrit:Pour info, il semble qu'il existe à présent des M-discs Blu-Ray, d'une capacité de 25Gio.
En outre, ils seraient compatibles avec différentes marques de graveurs.

Voir le site de m-disc pour plus de détails.

Pour rebondir là-dessus,
J'avais entendu dans "la tête au carré" sur FI il y a quelques mois/années qu'une équipe du CNRS (je crois) travaillait justement sur un disque format dvd permettant une capacié de stockage accrue et ayant une longue durée de vie grâce à la nanocequonveulogie. A suivre...

Je ne retrouve plus la trace sur google mais y'en a peut être qui l'auront gardé....

Salut

Tien en parlant de ça vous me porter malheur grrrrrrrrr 

Ma clé USB vient de mourir se soir alors que j'écoutais de la zick dans ma voiture.  Hop tout a coup plus rien, plus de lumière led.

J'ai testé sur mon ordi même chose, je l'ai ouvert pour inspecter un peu a la loupe le circuit dès fois que chanceux j'ai un problème de soudure morte.....  Bas non rien trouver.

C'est la second clé qui me lache dans un délais de moins dei 3-4 ans.

L'autre d'avant, en partie corrompu, on peut lire les information qui sont dessus, mais on ne peut plus rien y enregistrer.

Bon dans les deux cas pas d'info très très importante, juste de la zick que je vais devoir retrouver pour les dernière chansons.  Les plus vielles sont déjà dans mon registre.

a+

R

Mini résumé de ce que j'ai trouvé sur la fiabilité de la mémoire flash :
- l'usure de la mémoire flash vient surtout de l'écriture. Une clé USB qui serait utilisée seulement en lecture (comme support de musique écoutée et qu'on ne met pas à jour fréquemment, par exemple) s'usera très peu (en tout cas pour ce qui est des cellules mémoires ; elle peut flancher par ailleurs).
- la durée de rétention de l'information va décroître avec cette usure. Elle sera par exemple de 10 ans sur une clé neuve mais de 1 an sur une clé dont les cellules sont usées.
- il y a 3 technologies différentes : SLC (single layer cell : 1 seul bit par cellule) ; MLC (multiple : 2 bits par cellule) ; TLC (triple : 3 bits par cellule). La fiabilité va en décroissant, de 100 000 cycles pour SLC jusqu'à quelques milliers seulement pour la MLC voire même de l'ordre du millier pour la TLC. Mais comme MLC et TLC sont moins chères, il n'y a quasiment plus de SLC dans les supports grand public. en particulier, il semble qu'il n'y a quasiment plus aucune clé USB en SLC. La SLC serait encore utilisé pour du matériel professionnel, et aussi pour la mémoire cache de certains SSD plutôt haut de gamme (non pas pour la durabilité du stockage, mais parce qu'elle est plus rapide).
- comme il y a cette usure des cellules, il ne faut pas écrire toujours au même endroit. Les support de mémoire flash ont ainsi des contrôleurs qui gèrent l'inscription des données, de façon à répartir l'utilisation sur toutes les cellules. Ca s'appelle wear leveling (répartition de l'usure). Je ne sais pas si toutes les clés USB, notamment les plus bas de gamme, en sont équipées ?
- dans tous les cas, une durée de vie d'un équipement électronique, c'est statistique. Il ne faut jamais croire que votre support est garanti pour tant de temps minimum. Il peut perdre des informations au bout d'1 mois comme il peut être encore impeccable au bout de 12 ans. Donc, ne tenez jamais une durée de vie minimum comme acquise.

Au final, que retenir pour l'utilisation de mémoire flash pour la sauvegarde (que ce soit clé USB ou SSD) ?
1) utiliser du matos neuf que vous consacrez directement à la sauvgarde. La clé USB que vous utilisez quotidiennement pour trimballer vos fichiers, ou le SSD qui vient de passer un an en utilisation intensive, ne sont pas de bons candidats pour être transformés en support de sauvegarde, parce qu'ils ont déjà accumulé de l'usure.
2) éviter d'y écrire trop souvent. Plus on écrit dessus souvent, plus on les rapproche de leur fin. Mais il ne faut surtout pas prendre prétexte de cela pour espacer les sauvegardes ! Si on doit faire une sauvegarde journalière par exemple, soit on prendra autre chose que du flash, soit on changera ce support de sauvegarde un peu plus souvent.
3) acheter du matos plutôt haut de gamme, je dirais. Vous augmentez vos chances d'avoir de bonnes puces, plus fiables.
4) ne confiez pas vos sauvegardes à un unique support de mémoire flash. Je pense que la mémoire flash doit être utilisée comme redondance d'un autre système. Par exemple, si vous sauvegardez sur un disque dur classique et un DD SSD, vous augmentez beaucoup la résilience, car ce sont deux technologies tout à fait différentes. Ou encore, un DVD et une clé USB.
5) vu que la durée indicative est (très grossièrement) de 10 ans, ne dépassez pas 5 ans. Au bout de 5 ans (maximum), changez votre support de sauvegarde.

J'ai eu la flemme de citer toutes les sources ; ceux qui veulent approfondir ou faire leurs propres recherches, le peuvent.

Salut !

argoth a écrit:
Ma clé USB vient de mourir se soir alors que j'écoutais de la zick dans ma voiture.  Hop tout a coup plus rien, plus de lumière led.

C'est un lecteur autonome, ou bien une clef branchée sur un autoradio ? Dans le second cas, tu as peut être un courant d'alim instable qui fait sauter les circuits de la clefs. Dans ce cas, c'est HS quasiment à chaque fois !

L'autre d'avant, en partie corrompu, on peut lire les information qui sont dessus, mais on ne peut plus rien y enregistrer.

J'avais brièvement évoqué chipgenius, permettant de flasher le microcontrôleur USB. On perd quasiment toujours les données, mais cela rétablit en général les clefs corrompues.
A noter que cela réinitialise peut être le wear leveling

Salut tarsonis,

  Oui elle est brancher dans un autoradio.  EN effet possible que ça vient d'une variation de courant.

Sinon pour chipgenius, faudra que je test un de c'est quatre sur ma clé corrompu pour essayé

Merci des infos

a+

Argoth, tu peux tester ça :
http://www.piriform.com/recuva

JE tente le coup ce week end et te dit ça.

Merci pour l'info

Ça me parle... On s'en sert pas pour rendre les clés usb publicitaires accessible en écritire ?

Arf, ch'sais pas, c'est possible, perso, c'est pour recouvrer des fichiers effacés par mégarde...

demeter a écrit:Ça me parle... On s'en sert pas pour rendre les clés usb publicitaires accessible en écritire ?

Non, car dans ce cas c'est le contrôleur de la puce mémoire qui est en cause, et il faut une modification matérielle (soudure) pour déverrouiller les plages mémoire contenant des pubs. J'avais lu un tuto là-dessus il y a un moment.

Salut !
Je l'avais évoqué dans un post :
flasher une clef usb protection usb, soudure de cavalier

La plupart du temps, la partition commerciale est montée par un artifice en tant que CD/DVD, donc impossible de supprimer les quelques fichiers.
La sécurité est parfois renforcée par l'absence de cavalier sur le circuit, à shunter comme avec un interrupteur de protection en écriture

Un petit comparatif sur des sauvegardes : 

G-DRIVE PRO 4 To VS systèmes RAID (bi-disques) de 8 To.

Source : http://www.macbidouille.com/articles/510

Salut,

Cyrus_Smith a écrit:il semble que souvent les SSD/cartes flash/clefs USB soient encore lisibles quand ils tombent en panne. Pas toujours le cas cependant.

Bon, pour les SSD relativement récents, il semble que ce ne soit pas ou plus le cas, du moins pour ceux testés dans cet article (en anglais) sur The Tech Report: The SSD Endurance Experiment: They're all dead. Au contraire ils ne semblent même plus être détectés au démarrage. Deux relativement bonnes nouvelles cependant: ils semblent résister plus longtemps aux écritures que ce que les spécifications des fabricants laissent envisager; et surtout il y a des avertissements SMART avant que la défaillance survienne, assez longtemps à l'avance pour copier les données.

Côté clefs et cartes flash, en restant dans l'anecdotique car échantillon très petit: récemment, j'ai eu une carte micro SD (Sandisk 8Go, age inconnu) qui a rendu l'âme. Les données étaient encore lisibles, sauf pour les derniers fichiers écrits. J'ai aussi une clef usb (Kingston 1Go - donc vieille) qui est tombé en panne: rien à faire, elle n'est plus détectée.
Pour les cartes micro-SD, si vous avez des erreurs de lecture/écriture, pensez à essayer avec un autre lecteur: dans mon expérience, les lecteurs ont bien plus tendance à lâcher que les cartes elles-mêmes.

Salut,

Toujours sur les SSD: selon une présentation récente (pdf en anglais, voir note [1] ci-dessous car le lien ne s'intègre pas bien), il semble que la durée de conservation des données sur un SSD hors tension soit divisée par deux pour chaque augmentation de cinq degrés de la température de stockage:
(il s'agit de la page 27 du document suscité).
On note que la température de fonctionnement a aussi une influence: il semble que plus elle est élevée, plus les données sont stockées longtemps;
On remarque que pour les disques en gamme "entreprise", qui résistent par ailleurs mieux à un grand nombre d'écritures, sont plus susceptibles à une corruption des données dans ce contexte, à conditions similaires.

[1]: http://www.jedec.org/sites/default/files/Alvin_Cox%20[Compatibility%20Mode]_0.pdf

Je tombe par hasard sur ce sujet et souhaite apporter mes 2 centimes

Un stockage informatique à très long terme est possible, il faut utiliser des bandes LTO, données pour 30 ans minimum : https://fr.wikipedia.org/wiki/Linear_Tape-Open

J'en utilise quotidiennement pour la sauvegarde des datacenters que je supervise, et j'ai déjà restauré des bandes ayant presque 10 ans sans problème.

Une bande LTO 5 (1.5 TB non compressé, 3 TB compressé) coûte une vingtaine d'euros.
Seul hic, un lecteur LTO coûte plusieurs milliers d'euros. par contre c'est robuste, uniquement (très) sensible à la poussière.

Salut,
J'avais déjà vu cette techno dans des lieux sensibles, mais ne savais pas qu'elle avait été suivie et améliorée jusqu'en LTO7 pour 2017; merci pour l'info !
 
Du coup le point critique ici serait le lecteur et sa compatibilité future ?
J'ai lu que la rétrocompatibilité ne se faisait qu'à n-2, et je n'en ai jamais désossé un.
Est-ce qu'il y a beaucoup de galets, de courroies ou de matières qui tiennent pas la durée (caoutchouc, graisse qui fige, etc.) ?

Cela me rappelle le MO5 sur lequel j'ai appris à compter, il était avec un lecteur cassette. Jamais eu aucun souci sur le média de stockage, mais le lecteur en lui même commençait à avoir des faiblesses (le convertisseur de la tête, sans doute un condo), mais je te l'accorde, c'était peut être pas prévu pour durer

Anecdote, j'ai retrouvé une veille clef USB avec des documents scannés il y a sept ans, jamais utilisée depuis.
Quasiment tous les fichiers scannés ont été corrompus, et ne sont pas récupérables avec les softs et les OS que j'ai pu tester....

Je ne pense pas à une défaillance de l'ancien OS (XP) car les  sous-dossiers de musique ont également été piétinés.

Du coup, j'en reste à mon process de migration progressive d'un disque à l'autre avec toute l'arborescence taggée en MD5.

Les lecteurs sont solides et c'est surtout la poussière qui les abime.
Les lecteurs ont peu de mécanique et vu leur prix, c'est robuste.
C'est surtout les partie mécaniques des gros robots (la partie qui charge, décharge puis stocke les bandes) qui demande de l'entretien. Mais il existe des lecteurs "mono bande" en usb comme celui la : http://www.xendata.com/products09/X2500-USB.html
J'ai plusieurs robots de sauvegarde et on change les lecteurs tous les ans environ, après qu'ils aient écris chacun environ 10-15 Po (oui oui, pétaoctets). Mais c'est parceque nos salles blanches sont plutot "grises" ... Avec une meilleure étanchéité à la poussière, ils tiennent jusque 50 voir 100 Po.
On garde de vieux lecteurs justement pour les restaurations puisque nous sommes en LTO6 et on a encore des LTO3, et jamais eu de problème lors de chaque restauration.

J'en ai déjà démonté plusieurs, et la prochaine fois je prendrais des photos. L'entrainement de la tête est direct (moteur asynchrone type brushless) et il y a très peu de mécanique. La graisse ne fige pas (au lithium) et il n'y a pas de courroie d'après ce que je me souvienne.

Par contre, pour exploiter la bande, je réalise qu'il faut un PC avec son OS et surtout le logiciel de sauvegarde précédemment utilisé. Donc on retombe en fait dans la même problématique ...
Les données sont safe, mais pas le moyen d'y accéder.

Oui à l'heure actuelle, le mieux est effectivement de migrer régulièrement d'un support à l'autre, ou le papier ...

Après, je reste persuadé qu'un PC type "tour" (pour la facilité de réparation) avec quelques pièces de rechanges (lecteur dvd / disque dur) stocké démonté et avec un OS sur disque dur magnétique (surtout pas SSD) et plusieurs OS de secours sur différents média (clé USB, CD gravé, DVD, ...) stocké démonté, déchargé de toute électricité statique dans une cage de faraday à la terre et une solution envisageable pour plus de 20 ans de stockage.
J'ai déjà rallumé des antiquités de plus de 10 ans stockées sans aucune protection particulière, et 9 fois sur 10 ça démarre.

Sinon, un lien intéressant qui arrive à ta conclusion (permuter les médias régulièrement) https://www.cines.fr/archivage/un-concept-des-problematiques/le-concept-darchivage-numerique-perenne/


je vais me renseigner sur les technos utilisées sur les sondes spatiales.
Car entre le rayonnement qu'elles se prennent, les basses températures et les parfois (très) longues périodes d'hibernation des systèmes, si ça résiste à tout ça c'est ce qu'il nous faut


[edit] voila sur quoi "tourne" Curiosity  http://jlouisramblings.blogspot.fr/2012/08/getting-25-megalines-of-code-to-behave.html#!/2012/08/getting-25-megalines-of-code-to-behave.html

Merci pour la review, j'ai hâte de voir la bête de l'intérieur

Jeff01 a écrit:
Par contre, pour exploiter la bande, je réalise qu'il faut un PC avec son OS et surtout le logiciel de sauvegarde précédemment utilisé. Donc on retombe en fait dans la même problématique ...
Les données sont safe, mais pas le moyen d'y accéder.

Par curiosité, c'est un format/programme propriétaire ou théoriquement tu pourrais décoder la sortie de l'appareil avec ton propre programme ?

Jeff01 a écrit:Après, je reste persuadé qu'un PC type "tour" (pour la facilité de réparation) avec quelques pièces de rechanges (lecteur dvd / disque dur) stocké démonté et avec un OS sur disque dur magnétique (surtout pas SSD) et plusieurs OS de secours sur différents média (clé USB, CD gravé, DVD, ...) stocké démonté, déchargé de toute électricité statique dans une cage de faraday à la terre et une solution envisageable pour plus de 20 ans de stockage.
J'ai déjà rallumé des antiquités de plus de 10 ans stockées sans aucune protection particulière, et 9 fois sur 10 ça démarre.

Tout à fait d'accord, j'ai un vieux coucou qui tourne sous XP migré depuis W95. Il encaisse les années sans soucis avec peu d'utilisation. La pile de la carte mère flanche, mais c'est pas bloquant. Ma dulcinée est sur un laptop XP créé à partir de deux autres cannibalisés, parfois plus efficace que le mien sur le streaming.

Sinon, un lien intéressant qui arrive à ta conclusion (permuter les médias régulièrement) https://www.cines.fr/archivage/un-concept-des-problematiques/le-concept-darchivage-numerique-perenne/

Intéressant effectivement.
C'est amusant car il y a un seul lien web (interne au site : Liste des formats archivables par la plateforme PAC ) dans le texte...qui pointe sur un 404. Les sites internet sont victimes de leur côté de l'obsolescence des structures de liens hypertextes. Nous avions évoqué le souci il y a quelques temps ici lors d'un débat sur les liens sources, qui finissent tôt ou tard par pointer nulle part... tout comme les images du forum qui disparaissent les unes après les autres au fil des purges des hébergeurs.

Au niveau des fichiers, on s'était également posé la question de leur pérennité. Jusqu'à maintenant, à peu près tous les fichiers créés depuis une vingtaine d'années sont encore lisibles. Mais certains sont bien entendu en cours d'abandon (rtf) et rien de permet d'affirmer qu'ils seront toujours supportés à l'avenir. Les anciens ici se souviendront sûrement de mon délire en 2009 avec le format Djvu. J'avais converti à la pelle des tas de docs PDF car à l'époque nous avions un souci de stockage VS des fichiers scannés très volumineux. (Edit, ici : Migrer avec un disque dur et format DJVU )

Mais depuis, la norme rigoriste du PDF/A-1 (ici) pour sécuriser l'archivage longue durée et sa démocratisation -notamment via le système judiciaire US (ici)- m'a poussé à revenir vers ce format pour mes backups.
Est-ce que la problématique du format du contenu se pose dans les datacenters ?

je vais me renseigner sur les technos utilisées sur les sondes spatiales.
Car entre le rayonnement qu'elles se prennent, les basses températures et les parfois (très) longues périodes d'hibernation des systèmes, si ça résiste à tout ça c'est ce qu'il nous faut

Si cela t'intéresse, j'avais effleuré la problématique dans Un projet de compteur geiger à transistors, avec les problèmes de latchup et d'upset.

tarsonis a écrit:Par curiosité, c'est un format/programme propriétaire ou théoriquement tu pourrais décoder la sortie de l'appareil avec ton propre programme ?

Théoriquement tu pourrais, puisque c'est un format ouvert. En pratique il y a tellement peu de solutions sur le marché capables de piloter des robots que je pense l'effort important.
Mais inutile de s'embêter, il existe des versions à peu près gratuites. Le célèbre BackupExec dans sa version d'évaluation 60 jours sais gérer un lecteur LTO. Il suffira d'une nouvelle installation pour la restauration.

tarsonis a écrit:Est-ce que la problématique du format du contenu se pose dans les datacenters ?

Clairement, non. La plupart des formats est pérenne (doc, xls, pdf, txt, même rtf, ...).
Et si jamais le format est plus exotique, il suffit de garder également le binaire de l'applicatif dans un coin.
Le problème se pose notamment pour les vieux systèmes de paye ou compta, avec l'obligation légale de conserver les données au moins 10 ans on stocke les datas + l'appli.

Mais en stockant au format rtf / doc / pdf, je suis peu inquiet. Les éditeurs sont obligés d'assurer la rétrocompatibilité s'ils veulent avoir une chance de percer en milieu professionnel.

tarsonis a écrit:Si cela t'intéresse, j'avais effleuré la problématique dans Un projet de compteur geiger à transistors, avec les problèmes de latchup et d'upset.

J'ai déjà lu ce post avec attention  Je vais en garder une copie si un jour mon GMC300 grille

Salut,

Je n'ai jamais utilisé de LTO, mais je connais un peu ce genre de choses pour avoir utilisé du DLT autrefois. Il faut noter qu'on pense souvent "magnétique -> risque de démagnétisation", mais en fait c'est très rare (coercitivité élevée).

Un problème de ce type de technologie, outre ceux déjà mentionnés (mais qui rejoint le besoin d'un OS/logiciel), c'est que ce n'est pas directement utilisable, au sens où ce n'est pas prévu pour faire des lectures aléatoires d'un fichier ici ou là: ce serait non seulement long, mais en plus la bande risquerait de ne pas durer très longtemps (nombre de passages sur la bande limité). Il faut donc toujours avoir un support sur lequel on peut "restaurer" la bande: la capacité de celle-ci peut alors se transformer d'avantage en inconvénient, et dans tous les cas c'est une contrainte supplémentaire.

[edit] je t'avais lu trop vite, oui je suis d'accord, il faut effectivement un disque sur lequel restaurer. Mais un disque dur magnétique neuf stocké dans son emballage d'origine restera utilisable des décennies à mon avis.
[/edit]

Je ne suis pas d'accord avec toi. Les temps d'accès sur une LTO sont assez court, puisque les datats sont écrit en multipistes.
Je restaure depuis des bandes en moyenne 1 à 2 fois par mois, parfois un seul petit fichier, et une fois que j'ai envoyé l'ordre de restauration, le fichier met rarement plus de 2 minutes à apparaitre une fois que la bande est chargée dans le lecteur.
Il y a eu de sacrés progrès dans cette techno, aujourd'hui quasiment tous les moyens et grand systèmes d'information et les datacenters sont sauvegardés par ce moyen.

Jeff01 a écrit: Mais un disque dur magnétique neuf stocké dans son emballage d'origine restera utilisable des décennies à mon avis.

C'est probable; on peut se poser la question de la conservation de son firmware en mémoire flash (et pour les plus récent/gros de la rétention de l'hélium de remplissage), mais ce n'est pas un problème propre aux disques durs.
La question alors c'est, ce disque dur, sa durée de vie serait-elle très diminuée si je l'utilise une unique fois comme support de sauvegarde? Si non, a-t-on encore besoin du stockage sur bande (sachant qui si on part sur l'idée d'avoir plusieurs bandes avec une capacité de stockage totale supérieure au disque dur, on retombe sur les problèmes susmentionnés...)?

Jeff01 a écrit:Je ne suis pas d'accord avec toi. Les temps d'accès sur une LTO sont assez court, puisque les datats sont écrit en multipistes.
Je restaure depuis des bandes en moyenne 1 à 2 fois par mois, parfois un seul petit fichier, et une fois que j'ai envoyé l'ordre de restauration, le fichier met rarement plus de 2 minutes

C'est juste que l'on est pas d'accord sur la définition de "lent" 2 minutes, c'est très long comme latence par rapport aux millisecondes d'un disque dur.
Mais je reconnais que pour une restauration, ce n'est pas un problème.

Chose promise ...
Voila donc les entrailles d'un lecteur LTO4 de marque HP. Il n'y a pas beaucoup de mécanique.
Sur l'arrière on voit bien le bobinage des moteurs asynchrones type brushless pour l'entrainement de la bande et des têtes.
Tarsonis, si tu as besoin de détails, dit le moi vite avant que je remonte la bête