Bitfäule
Tücken bei Speicherung und Übertragung großer Datenmassen
Wer eine Datei abspeichert, will sie unverändert wieder lesen können. Das klappt auch fast immer, weil Fehler extrem selten auftreten. Wenn es um sehr große Datenmengen geht, können jedoch Pannen auftreten, die man früher getrost vernachlässigte. Verbesserte Hardware und neue Dateisysteme versprechen Abhilfe.
Vermutlich enthält dieser Artikel einen Rechtschreibfehler, obwohl zahlreiche Korrektur-Instanzen das vermeiden sollen. Ein Fehler unter mehr als 20 000 Buchstaben ergibt eine Fehlerwahrscheinlichkeit von weniger als 0,05 Promille pro Zeichen. Das hört sich nach wenig an, doch jeder einzelne Fehler ist ärgerlich – und je länger ein Text wird, desto mehr stecken drin.
Auch bei der Speicherung und Übertragung von Daten lässt sich die Fehlerwahrscheinlichkeit nicht auf null drücken, sondern nur mindern. Die besten Festplatten und Solid-State Disks sollen weniger als einmal pro 1016 übertragene Bits falsche Daten liefern. Dieser winzigen Wahrscheinlichkeit steht allerdings eine wachsende Masse an Daten gegenüber. Mittlerweile hantieren Privatleute mit Multi-Terabyte-Festplatten und in Rechenzentren stehen Petabyte-Speichersysteme. Seither liest man in Internet-Foren und Forschungsberichten mehr über Phänomene wie Silent Data Corruption oder Bit Rot, übersetzt Bitfäule. ...
Sie möchten wissen, wie es weitergeht?
weiterführende Links
- Bernd Panzer-Steindel, CERN/IT: Data integrity
- Prof. Bianca Schröder über Latent Sector Errors in NetApp-Systemen (FAST10)
- Schroeder: Disk failures in the real world: What does an MTTF of 1,000,000 hours mean to you?
- Hetzler (IBM): System Impacts of Storage Trends: Hard Errors and Testability
- Darren McBride von Highly Reliable Systems über RAID 5 und Lesefehler
- Lakshmi N. Bairavasundaram: Latent Sector Errors in Disk Drives
- NEC: Silent Data Corruption in Storage Arrays
- IBM: End-to-end data protection using T10 DIF
- Oracle & Emulex über T10
-
Red Hat: What is DIF/DIX (also known as PI)?
DIF/DIX is a Tech Preview in RHEL 6.0. There are currently just two driver/hba combinations that have this support: Emulex lpfc and LSI mpt2sas. There are just a few storage vendors who support it: an LSI FC RAID array, and certain Hitachi SAS disks. - HP: CRC bei SATA und SAS
- Microsoft: SATA in the Enterprise
- Intel: CRC, ECRC und LCRC in PCI Express
- PCI SIG: CRC in PCI Express
- Sigcomm 2000: When The CRC and TCP Checksum Disagree
- Partridge, Hughes, Stone: Performance of Checksums and CRCs over Real Data
- Toshiba: Festplatten-ECC korrigiert 50 von 4096 Bits
- WD/LSI: Hard Disk Drive Long Data Sector White Paper
- CYCLIC REDUNDANCY CHECKS IN USB
- FreeNAS Hardware Recommendations
- Zhang: End-to-end Data Integrity for File Systems: A ZFS Case Study
- Novel Erasure Codes for Big Data
- Erasure Codes With OpenStack Swift
-
RfC 959: FTP
Kapitel 3.5: There is no provision for detecting bits lost or scrambled in data transfer; this level of error control is handled by the TCP. -
Microsoft: Spezifikation von SMB 2
The SMB 2 Protocol assumes the availability of the following resources: Either TCP or NetBIOS over TCP to support reliable, in-order message delivery.
Kommentare