Fragmentierung

[CaptainDXB]

Hallo,

eben habe ich festgestellt, das die Daten die von der Box auf die Platte geschrieben werden extrem fragmentieren. Das scheint einerseits logisch - da ja oft zwei streams gleichzeitig aufgezeichnet werden, und sich diese dann gewissermaßen in einander verdrehen.

Andererseits frage ich mich, ob in diesem Fall ein FAT Filesystem die optimale performance ermöglicht, und ob man dem nicht Softwaretechnisch entgegenwirken kann.

Daher mal die Frage an die Linux Gemeinde: schon mal was anderes probiert? Was würde sich da mehr eigenen?

cu

[max]

besser eignen würde sich Ext2. Da gibt es keine Probleme mit Fragmentierung.
Inwie weit sich die Frag. von Fat32 auf die Perfomance auswirkt kann ich nicht sagen, da dies ja nicht direkt vergleichbar ist mit einer normalen Benutzung ist.
Ich glaube aber nicht das sich die 3 Streams bereits am Rande der Perfomance moderner HDD bewegen, selbst wenn das FS stark fragmentiert ist.

[Merlin]

Da kann ich nur das Gegenteil feststellen. Meine 160GB-Platte war nach ca. einen Monat zu 99% fragmentiert. Das hatte zur Folge, dass die Box ca. 10 Minuten zum Starten brauchte und insgesamt extrem langsam wurde. Die Bedienung war kaum noch möglich. Beim Aufnehmen von Sendungen kam die Box dann oft nicht mehr hinterher, so dass es plötzliche Artefaktbildung und Aussetzer gab. Ich habe dann 60GB freigemacht und die Platte defragmentiert (dauerte natürlich Stunden). Danach war die Box wieder so "schnell" wie am Anfang.

Insgeamt ist festzustellen, dass es einfach Sinn machen würde, eine Datei in Größe des Timeshift-Puffers auf der Platte anzulegen, die in einem Stück auf der Platte liegt und nur zum Timeshiften benutzt wird. Etwaige Aufnahmen müssten dann aus der Timeshift-Datei in neue Dateien umkopiert werden. Zusätzlich müsste die Box nachts aufwachen (das sollte sich laut Produktbeschreibung ja eh tun, um den EPG upzudaten...) und die Platte defragmentieren.

[max]

wie voll war sie denn?

[Merlin]

Da waren noch ca. 10GB frei.

Das kann und darf aber auch nicht der Grund sein, der die Box so lahm macht. Es ist einfach mal wieder festzustellen, dass die Software bisher dilletantisch programmiert ist.

[max]

also volle Festplatten, generell bei FAT, werden langsam. Umso stärker sie fragmentiert sind umso langsamer. Ist glaube ich, auch einleuchtend, da eine Datei quer über der Platte verteilt werden _muss_, da einfach kein größerer Platz mehr am Stück frei ist.
Die 10GB werden durchaus quer über der Platte in KB-Häppchen verteilt gewesen sein. Und zwar nicht in fester Reihenfolge.
Inwieweit das die Perfomanceeinbußen an der Programmierung|an der Hardware| an Linux|an FAT liegen sei mal dahingestellt.

[Esilar]

Insgeamt ist festzustellen, dass es einfach Sinn machen würde, eine Datei in Größe des Timeshift-Puffers auf der Platte anzulegen, die in einem Stück auf der Platte liegt und nur zum Timeshiften benutzt wird. Etwaige Aufnahmen müssten dann aus der Timeshift-Datei in neue Dateien umkopiert werden. Zusätzlich müsste die Box nachts aufwachen (das sollte sich laut Produktbeschreibung ja eh tun, um den EPG upzudaten...) und die Platte defragmentieren.

Der Ansatz ist nicht schlecht aus Sicht der Fragmentierung, hat aber noch Löcher:
- Die Bitrate des Streams ist variabel, die Grösse des Timeshift-Puffers kann dann nicht mehr zeitlich festgelegt werden
- Für das Kopieren grosser Datenmengen ist die HW nicht ausgelegt, das müsste die Box aber dann bei 3 Streams auch noch machen, das wären ja schon 5 Streams: Aufnahme (1 Stream, schreiben), Timeshift (2 Streams, schreiben+lesen), Kopieren (2 Streams, lesen+schreiben)

Dilletantismus würde ich der Firma nicht vorwerfen, hier wurde ja ein Linux verwendet und für die Box mit den benötigten Funktionen erweitert. Ich denke, das man sich bei der Dateiablage auf die gegebene Funktionalität abgestützt hat.

Esi

[WilliWichtig]

Gestern habe ich meine Festplatte auf PC angeschaut. Viele fragmentierte Dateien. noch 48% waren frei. Nach dem defragmentieren reagierte die STB deutlich schneller auf Befehle.

[Cray]

Wie würde es denn mit REISER aussehen ?

Kann man unter dem Linux der Box eigentlich defragmentieren ? Dann könnte man ja bei ausschalten der Box (und keiner vorliegenden Aufnahme) das defragmentieren starten lassen. Wobei ein ständiges defragmentieren auch nicht gerade die Lebensdauer der Festplatte erhöhen würde !

[1701D]

Wie würde es denn mit REISER aussehen ?

Kann man unter dem Linux der Box eigentlich defragmentieren ? Dann könnte man ja bei ausschalten der Box (und keiner vorliegenden Aufnahme) das defragmentieren starten lassen. Wobei ein ständiges defragmentieren auch nicht gerade die Lebensdauer der Festplatte erhöhen würde !
AFAIK gibt es keine Defragmentierung-Routine für FAT32 unter Linux. Reiser wie EXT3 ist ein 'Journal Filesystem'. Das hat den Vorteil, dass der Inhalt der Platte immer konsistent ist. Auf der anderen Seite benötigt es mehr Speicher & CPU.

Was wäre wenn man den Timeshift Buffer einfach in eine separate Partition auf der Platte legen würde? Bliebe nur das Problem, die für eine Aufnahme verwendeten Schnipsel nach Beendigung der Selben auf die andere Partition zu schaufeln.

Gruß

Klaus

[max]

Was ist denn bei freien Clustern eine "nicht feste Reihenfolge"? Außerdem sind, wie im Forum mehrfach diskutiert, 10 GB freier Platz reichlich knapp. Daher ja meine Frage, was die Performance denn verbessert hat. Die lange Startzeit (10 Minuten!) wird kaum nur auf Plattenzugriffe zurückzuführen sein, das muss wohl eher etwas mit der Art der Dateien zu tun gehabt haben (die hinterher gelöscht waren).

fragt sich warum die 10GB knapp sind. Vielleicht ja wegen der fragmentierung?
Mit fester Reihenfolge meine ich, das die Daten in freie Blöcke geschrieben werden, wie sie gerade kommen und nicht wo geometrisch der nächste freie ist. (z.B. gleichzeitiger Timeshift und Aufnahme, durch den häufigen Wechsel der Kopfposition landen aufeinanderfolgende Daten evt. weit voneinander entfernt)

Wieso lange Startzeit? Was überlesen?
10 Minuten sind aber bestimmt nicht ok... (evt. ein chkdisk gelaufen?)

[ichduersiees]

[QUOTE=drei]Es wäre interessant, zu wissen, was denn die Box wieder schnell gemacht hat: das Freimachen oder das Defragmentieren?

Diese Frage lässt sich so beantworten: das Freimachen!

Ich habe eine 200 GB Platte an der Box. Ab ca. 80 GB wurde der Menüaufbau langsam. ab ca. 110 GB gab es Aussetzer und ab 150 GB speicherte die Box Files mit der Größe 0 Byte und ohne Datum bzw. mit falschem Datum. Bei all diesen Schritten machte ich mir die Mühe die Platte mehrere Stunden lang zu defragmentieren. Im Endefekt brachte das nichts.

Danach ließ ich die 150 GB auf der Platte und und erstellte lediglich einen neuen Aufnahmeordner und siehe dar die Box reagiert wieder und die Artefakte sind auch weg.

Meine Empfehlung: der Aufnahmeordner darf nicht größer als 70- 80 GB werden. Danach schaft es die Box anscheinend nicht mehr die CRID ind IDX- Dateien zu verwalten. Es fehlt somit ein Tool, mit dem man Aufnahmen auf der Box umstrukturien kann. Ich möchte das nicht unbedingt mit Telnet oder am Rechner machen müssen.

[itcssr]

also meiner wird automatisch täglich morgens defragmentiert aber eigentlich mehr um das gewissen zu beruhigen, faustformel im pc betrieb ist eigentlich platte max 80% füllen bei der media anwendung wird vermutlich die quote noch etwas geringer liegen (die posts gehen ja auch in die richtung)

sebastian

[Oldboke]

Mit welchem Programm kann ich 80Gb FAT32 defragmentieren ?

[Speed Pete]

Mit welchem Programm kann ich 80Gb FAT32 defragmentieren ?

Hab's nie benutzt, aber mit dem h2format von der c't soll das gehen. www.heise.de/ct

EDIT: Quatsch!!!! Hab was auf den Augen gehabt und "formatieren" gelesen.... Wo liegt denn das Problem beim Defragmentieren?

[Oldboke]

Externe Combo Festplatte, FAT 32 ,80Gb, Firewire kann unter XP nicht defragmentiert werden.

Ich habe aber zwei Programme gefunden:
PerfectDisk (auf chip Heft CD)
O&O Defrag

[MidiMan0815]

Hallo zusammen,
ich kann euch einige Statements eigener Erfahrungen FAT / NTFS sowie mein 80GB Samsung Selbsttest weitergeben:

a) Ab ca. 85% Füllgrad bekommt jedes OS (Betriebssystem) Probleme mit fragmentierten Dateien. Die meisten OS haben eine so guten Cachestrategie, daß man das nicht bemerkt.

b) Ab ca. 90% Füllgrad werden Defragmentierprogramme kaum noch fertig. Ein Call bei Microsoft zu diesem Problem hat bei Volumegrößen > 200GB (professionelles RAIDsystem) zu dem Supporthinweis geführt - unbedingt Platz schaffen ! - Einige OS haben hier bereits echte Probleme, z.B. MS-Server
:-)

Aufgrund dieses Threads und eines immer langsamer reagierenden GigaSets habe ich meine zu 75% gefüllte 80GB Platte unter WindowsXP erfolgreich defragmentiert. Anfänglich startete die TopSetBox schneller, aber dann habe ich bemerkt, das bei den Aufnahmen ab und zu ganze Szenen fehlen. Dies trat willkürlich und nicht reproduzierbar auf.

Abhilfe habe ich durch wegkopieren und neu formatieren (innerhalb der Box) erlangt. Zukünftig kopiere ich mit Cridical die Aufnahmen nur noch auf ein anderes System und behalte den Füllgrad im Auge.

Hoffe etwas geholfen zu haben
Viele Grüße
MidiMan0815