Probleme im prepared-Verzeichnis

[goetz]

Hallo,

bei einigen Tagen und Sendern wird das Programm nicht richtig aktualisiert.
Für genau diese Problemfälle existieren scheinbar die richtigen (=aktualisierten) Dateien im prepared\quarantine-Verzeichnis, während im prepared-Verz. noch die alten Daten liegen.
Erst wenn ich manuell alles (Dateien und Ordner) aus dem prepared-Verz. lösche, den Datamanager und MirrorUpdater neu ausführe, werden die richtigen Daten hochgeladen... (dann existiert kein quarantine-Verzeichnis mehr)

Was macht denn das quarantine-Verzeichnis?

Götz

[Martin]

Wenn es viele Programmänderungen gibt, sodaß mehr als (ich glaube) 1/4 der Sendungen gelöscht werden müßten, verschiebt der DataManager diese neuen Daten in das quarantine-Verzeichnis und behält die alten Daten.

Das ganze war ursprünglich als Sicherung gedacht, damit nicht durch einen Fehler plötzlich sämtliche Daten verschwinden. Normalerweise werden bei Programmänderungen nämlich nur wenige Sendungen gelöscht.

Inzwischen hat sich herausgestellt, daß der quarantine-Mechanismus mehr stört als er bringt (mir geht es jedenfalls so). Es hat sich nur noch niemand die Mühe gemacht, das abzustellen oder konfigurierbar zu machen (oder wenigstens zu dokumentieren )

Wie du richtig gesagt hast, mußt du nur die Dateien aus dem quarantine-Verzeichnis nach prepared kopieren und den DataManager nochmal ausführen.

[goetz]

o.k. verstanden.

Bei mir ist es z.B. so, dass ich alle Daten vor dem Export in XML in einer DB habe und daher per Knopfdruck alle Daten direkt neu erzeugen kann.
(und ich denke, so mache es die meisten...) Daher bräuchte ich keine Sicherung der Daten im Verzeichnis. Ich will die Pflege der Daten ja so einfach wie möglich gestalten und nicht immer das prepared-Verz. überprüfen müssen.

Also von mir aus könnte das quarantine-Verz. wegfallen...

Götz

[Til]

Erst wenn ich manuell alles (Dateien und Ordner) aus dem prepared-Verz. lösche, den Datamanager und MirrorUpdater neu ausführe, werden die richtigen Daten hochgeladen...

Ääähmmm... Du solltest niemals das prepared-Verzeichnis löschen! Das ist die Version, auf die der PDSRunner aufsetzt. Wenn es weg ist, dann erstellt er eine völlig neue Version. Die Aktualisierung von Clients, die schon die alten Daten geladen haben, funktioniert dann nicht mehr!

Wenn was im quarantine-Verzeichnis ist: Schau nach, ob nicht etwas komplett schief gegangen ist (Z.B. alle Daten leer). Und wenn alles OK ist, dann kopiere die Sachen aus dem quarantine-Verzeichnis über die im prepared-Verzeichnis.

[goetz]

o.k. ich weiß jetzt wie das funktioniert mit dem quarantine-Verzeichnis.

Ich hatte ja das prepared-Verz. geleert, dann noch alle Dateien vom Server gelöscht und dann Datamanager und MirrorUpdater gestartet.
Die beiden leeren Tage sind jetzt nicht mehr leer.
Mir scheint alles i.O. zu sein...

Oder muss ich dann vor der Aktualisierung die lokalen Daten im TV-Browser-Verz. löschen, um ev. Probleme zu vermeiden?

Götz

[Til]

Oder muss ich dann vor der Aktualisierung die lokalen Daten im TV-Browser-Verz. löschen, um ev. Probleme zu vermeiden?

Sagen wir es mal so herum: Falls du Probleme bekommen solltest, dann kannst du ja deine lokalen Dateien löschen. Das Problem erledigt sich ja mit der Zeit von selbst.

Bist du zur Zeit der einzige, der die Daten verwendet?

[goetz]

Ich denke nicht, aber viele werden es noch nicht sein.

Bleibt es denn nun erst mal bei dem quarantine-Mechanismus, oder wird der ev. konfigurierbar?

Und wann genau werden denn Daten ins quarantine-Verzeichnis gelegt?
Kann das passieren, wenn eine Tag schon existierte und später noch sehr viele Sendungen hinzu kommen? Wohl eher nicht....

Götz

[Til]

Ein Tagesprogramm kommt genau dann in Quarantäne, wenn mehr als ein viertel der Sendungen gelöscht wurde. (So, wie es Martin weiter oben schon gesagt hat)

Siehe Quellcode (ganz unten): http://cvs.sourceforge.net/viewcvs.py/t ... iew=markup

Ich denke, man wird in Zukunft den Schwellwert konfigurieren können. Damit kann man dann das Quarantäneverzeichnis auch ganz abschaffen.

[goetz]

o.k. dann weiß ich wohl woran das gelegen hat.

Bei den TV-Daten hat man ja Daten nach 0:00 Uhr.
Wenn ich z.B. die Sendungsdaten für die Tage bis zum 15.7. hochlade, sind darin ja auch noch ein paar die Daten bis zum Sendeschluss mit dem Datum 16.7. enthalten.
Das sind dann nur wenige Daten. Wenn sich davon dann was ändert, erreicht man ja ganz schnell die Schwelle von 25%. Also wird der quarantine-Mechanismus ausgelöst. Das scheint mir nicht im Sinne des Erfinders zu sein.
Das könnte dann verantwotlich dafür sein, dass es mehr stört, als es hilft...

Oder hab ich falsch gedacht?

Götz

[bodo]

Genau das ist auch mein problem. leider hab ich auch noch einen weiteren spezialfall:

viele meiner sender schicken mir eine 4-wochen datei und dann wöchentlich eine aktualisierung. das führt dazu, das dann z.b. ich ein update für freitag bekomme das bis samstag 6:00 geht. und dann hab ich entweder:

- keine aktualisierung für samstag bis 6:00

oder

- keine daten ab 6:00

[MarkusD]

Ääähmmm... Du solltest niemals das prepared-Verzeichnis löschen! Das ist die Version, auf die der PDSRunner aufsetzt. Wenn es weg ist, dann erstellt er eine völlig neue Version. Die Aktualisierung von Clients, die schon die alten Daten geladen haben, funktioniert dann nicht mehr!

Das würde auch mein Problem erklären

Habe vermutlich die Dateien im Prepared verzeichnis gelöscht ,darum ging der Update auf den Clients nicht mehr.

Gibt's da einen work-around, ich meine es kann ja immer mal was schiefgehen, und wenn man die prepared dateien nicht mehr hat, wie sollte man einen update vornehmen ,ohne das die Clients nicht mehr sauber updaten...

Irgendein Flag bei den Daten ,das der Client schnallt ,das die Daten keine "prepared" Daten mehr hatten und er gefälligst alles wieder runterladen soll ,wär sicher noch wünschenswert in so einem fall

[Til]

Nein, das gibt es nicht. Aber warum sollten die Daten verloren gehen? Zur Not hat man ja immer noch das "Backup" auf dem Server, falls den Daten auf der lokalen Platte echt mal was passieren sollte.

[MarkusD]

versteh ich dich richtig, das im prepared verzeichnis eigentlich die gleichen daten wie auf dem server sind?

(nicht ganz vermutlich sonst bräuchts ja den mirrorupdater nicht)

[goetz]

@Til

Das versteh ich nun nicht. Laut Martin ist der ganze Mechanismus doch dazu da, falls mal Daten verloren gehen...
Wozu isser denn nu?

Und falls Du ihn konfigurierbar machst, dann bitte nicht nur über den Schwellenwert. Denn bei einer einzigen Sendung nach 0:00 Uhr, die dann ev. wegfällt, hat man 100% Änderung und der Mechanismus ist nicht ausgeschaltet.

Götz

[bodo]

Der Mechanismuss mit dem Prepared und dem Server ist da, weil das System dann weiß, was auf dem Server liegt und dann passend dazu die Update-Dateien generieren kann. Man muß so zum Teil nur die Differenz zwischen Version 1 und Version 2 des Tages nachladen als Client. Dazu werden spezielle Dateien angelegt auf dem Server. Und die kann das System halt nur anlegen, wenn es weiß, was auf dem Server liegt.

Das Quarantine-Ding ist da, falls mal ein TV-Update-Skript amok läuft und ein Datum falsch interpretiert. Ist also eine Sicherheitsfunktion, die verhindern soll das fehlerhafte Daten auf den Server gelangen. Deswegen auch der "wenn bla% unterschiedlich sind"-ansatz. Weil wenn viel unterschiedlich ist, könnte es ja sein, das es sich um den falschen Tag handelt.