Warum löscht NetWorker mein Backup nicht? Der Scan needed-Fall

Dieser Beitrag gilt als Folgebeitrag zu https://dd-networker.de/wann-loescht-networker-ein-backup. Im letzten Beitrag habe ich beschrieben, wann NetWorker ein Backup löscht. In diesem Beitrag gehe ich darauf ein, wie man eines der Probleme erkennt und herausfindet, warum ein Backup nicht gelöscht wird.
Ich habe gerade ein Backup der /etc/hosts Datei meines Backup Servers gemacht und die Retention heruntergesetzt.
Danach habe ich den nsrim -X manuell gestartet und mir das Backup anzeigen lassen.

root@ddp-e01-vst-140:~/#: mminfo -q "name=/etc/hosts" -r "volume,savetime(22),ssretent(22),clretent(22),ssflags,clflags"
volume date time retention time clone retention time ssflags clflg
DATA.001 04/25/19 11:32:50 04/25/19 11:33:00 04/25/19 11:33:00 vrEF E
root@ddp-e01-vst-140:~/#: date
Thu Apr 25 11:43:22 CEST 2019
root@ddp-e01-vst-140:~/#:

Man beachte vor allem die Spalten ssflags und clflags. Bei beiden steht der magische Buchstabe „E“. Das Backup sollte also doch gelöscht werden?
Hier sollte der Blick als allererstes in die NMC wandern und zwar zu „Media -> Disk Volumes“. Schaut euch dort den Mode des Volumes genau an.

Wenn dort (wie bei mir) das Stichwort „scan needed“ steht, habt ihr den Grund höchstwahrscheinlich gefunden.
In meinem Fall habe ich den Modus von Hand darauf gesetzt, um dies zu demonstrieren. Es kann aber auch sein, dass dies vom NetWorker selber gesetzt wird, was z.B. bei einem Crash des NetWorker Servers passieren kann. Sehr unschöne Geschichte, wenn man dies nicht rechtzeitig bemerkt.

Und im daemon.log findet man Einträge wie diese:

root@ddp-e01-vst-140:~/#: grep -i "scan flag" /nsr/logs/daemon.log 
64288 04/25/19 11:35:12 nsrsnmd NSR warning The scan flag is set for the volume DATA.001. Cannot recover space from the device DATA.
71193 04/25/19 11:35:12 nsrd NSR info Media Alert: The scan flag is set for the volume DATA.001. Cannot recover space from the device DATA.
root@ddp-e01-vst-140:~/#:

Sofern ihr ein Monitoring Tool mit Logfile Überwachung nutzt, würde ich dringend dazu raten, dass daemon.log daraufhin zu überwachen. Wenn ihr dies nicht rechzeitig mitbekommt, können sich hier viele Savesets ansammeln, die nicht gelöscht werden.
Wie behebt man dies nun?
Ihr müsst das Volume von allen Devices unmounten. In der NMC also unter „Devices -> Devices“ einen Rechtsklick auf sämtliche Devices, welche dieses Volume derzeit gemountet haben. Da man DDBoost Volumes z.B. an mehreren Storage Nodes gleichzeitig mounten kann, könnte dies ggf. mehr als eines sein.
Solltet ihr „Auto media management“ für die Devices aktiviert haben (was bei DDBoost zu empfehlen ist), müsst ihr dies erstmal deaktivieren (Häkchen rausnehmen), da NetWorker das Volume ansonsten sofort wieder mountet.

Danach könnt ihr wieder zurück nach „Media – Disk Volumes.“ Dort einen Rechtsklick auf das Volume. Wählt dann „Mark Scan Needed“ und anschließend „Scan is NOT needed“.

Und schon ist das Volume wieder nur im Status „appendable“.

Anschließend nicht vergessen, das Volume wieder in das/die Device(s) zu mounten oder Auto media management zu aktivieren.

Der nächste NetWorker Expiration Job wird dann auch die betreffenden Backups löschen.
Falls man ungeduldig ist (oder der Platz knapp wird) kann man den Expiration Job natürlich auch direkt anstarten.

In meinem Fall hat es gewirkt und mein /etc/hosts Backup ist nun weg:

root@ddp-e01-vst-140:~/#: mminfo -q "name=/etc/hosts" -r "volume,savetime(22),ssretent(22),clretent(22),ssflags,clflags"
6095:mminfo: no matches found for the query
root@ddp-e01-vst-140:~/#:

Das daemon.log teilt mir ebenfalls freudestrahlend mit, dass mein Backup gelöscht worden ist.

root@ddp-e01-vst-140:~/#: tail -4 /nsr/logs/daemon.log 
71193 04/25/19 12:02:04 nsrd NSR info Media Info: Deleted 9 KB from save set 3737222851 on volume DATA.001
71193 04/25/19 12:02:04 nsrd NSR info Media Info: Recovered 9 KB by deleting 1 savesets from device DATA.
61632 04/25/19 12:02:04 nsrsnmd NSR info Recovered 9 KB from device DATA for volume (DATA.001).
61633 04/25/19 12:02:04 nsrsnmd NSR info volume (DATA.001) size is now set to 65 GB
root@ddp-e01-vst-140:~/#:

Wenn es dringend ist, wäre jetzt dann auch die passende Gelegenheit, auf der Data Domain den Cleaning Job zu starten. Erst damit werden die Backups auf der Data Domain wirklich gelöcht.

sysadmin@ddp-e01-sdd-002# filesys clean start
Cleaning started. Use 'filesys clean watch' to monitor progress.
sysadmin@ddp-e01-sdd-002#