4.13. Speicherverteilung über den Storage Balancer

Das intranda TaskManager Storage Balancer Plugin kann dazu verwendet werden, die Daten von Goobi auf verschiedene Netzwerk-Shares zu verteilen. Das Plugin wird dazu in einem automatischen Schritt in Goobi eingebunden und ist üblicherweise am Ende eines Workflows eingeordnet. Das Storage Balancer Plugin bekommt von Goobi aus einen Ordner übergeben, der dann auf den kleinsten passenden Storage aus einer konfigurierbaren Liste kopiert wird.

Die Arbeitsweise des Plugins verläuft so, dass die Daten des Goobi-Vorgangs auf ein Netzlaufwerk kopiert werden, das zuvor automatisch vom Plugin aus einer konfigurierten Liste ausgewählte wurde. Bestehen die kopierten Daten einen Vergleich der Prüfsummen mit den Originaldaten, werden anschließend die Originaldaten gelöscht und ein symbolischer Link angelegt, der vom originalen Goobi-Verzeichnis auf das Verzeichnis der Kopien verweist.

Aufruf des Plugins

Ein Beispiel-Aufruf des TaskClients lautet folgendermaßen:

/usr/bin/java -jar /opt/digiverso/itm/bin/TaskClient.jar 
    -itm http://localhost:8080/itm/service 
    -s {processpath} 
    -d dest 
    -e 
    -i {stepid} 
    -T {processtitle} 
    -t STORAGEBALANCER 
    -n template 
    -gid {processid}

Parameter

Die innerhalb dieses Aufrufs zu übergebenen Parameter haben folgende Bedeutungen:

Konfiguration des Plugins

Die Konfiguration der Storage-Mountpoints erfolgt in der folgenden Datei:

/opt/digiverso/itm/plugins/config/storagebalancerconfig.xml

Der Inhalt dieser Konfiguration kann beispielhaft wie folgt aufgebaut sein:

<storages>
    <storage>
        <path>/mnt/storage1</path>
        <buffer>10G</buffer>
    </storage>
    <storage>
        <path>/mnt/storage2</path>
        <buffer>20M</buffer>
    </storage>
    <storage>
        <path>/mnt/storage3</path>
        <buffer>50G</buffer>
    </storage>
</storages>

Das <buffer> Element kann innerhalb der Konfiguration entweder auf M oder auf G enden. Es wird dann entweder in MB oder in GB umgerechnet. Der hierbei konfigurierte Wert wird im Betrieb des Storage Balancers dafür verwendet, einen Speicherbereich in der konfigurierten Höhe nicht mit Daten zu beschreiben.

Sollen weitere Speicherbereiche innerhalb der Konfiguration ergänzt werden, können diese auch im laufenden Betrieb hinzugefügt werden.

Last updated