EWIG Release Notes

Die internen Releases des Langzeitarchivierungssystems EWIG erhalten seit 2020 Codenamen. In den Release Notes sind die jeweiligen Features und Änderungen sowie die Versionsstände der eingesetzten Software verzeichnet.

Sam Cooke, 20.12.2023

  • Aktuelle Versionsstände:
    • Archivematica 1.13.2
    • Fedora 6.3.0
    • Fuseki 4.3.2
    • iRODS 4.3.0
  • Pre-Ingest/Ingest:
    • Jhove / checkit-tiff Integration: Integration einer aktueller JHOVE-Version (Version 1.20.0) in den Ingest-Workflow. Die Überprüfung von TIFF-Datenströmen wird durch Integration des an der SLUB entwickelten Werkzeug checkit-tiff (Version 1.4.2) und der Anpassung der Fehlerbewertung (Konfiguration) an auffällige Dateien innerhalb EWIGs robuster.
  • Qualitätssicherung:
    • LIDO-Validator (für EWIG) ist veröffentlicht; Metadaten im LIDO-Format können vor Datenlieferung an EWIG auf Schemavalidität überprüft werden. Perspektivisch werden weitere Qualitätssicherungsregeln in Schematron implementiert.

Ray Charles, 28.2.2023

  • Aktuelle Versionsstände:
    • Archivematica 1.13.2
    • Fedora 6.3.0
    • Fuseki 4.3.2
    • iRODS 4.3.0
  • Pre-Ingest:
    • Pre-Ingest-Workflow für LIDO-Datenpakete optimiert, JSON-Matching und Ergebnisausgabe des LIDO2METS-Tools verbessert.
  • Ingest:
    • Dateien aus Metadatenverzeichnis des AIP werden in Fedora vorgehalten (ausgnommen metadata.csv und checksum.sha256 wegen Redundanz).
    • Neues Werkzeug checkit_tiff (SLUB Dresden) eingebunden und EWIG-spezifisches Konfigurationsprofil für die TIFF-Validierung erstellt.
  • Infrastruktur:
    • Archivematica auf Version 1.13.2 aktualisiert.

James Brown, 31.10.2022

  • Aktuelle Versionsstände:
    • Archivematica 1.12.1
    • Fedora 6.2.0
    • Fuseki 4.3.2
    • iRODS 4.3.0
  • Pre-Ingest:
    • LIDO2METS-Tool wird produktiv eingesetzt.
  • Ingest:
    • Masseningest erleichtert durch übergabe einer einstellbaren Zahl von Paketen an die Ingestwarteschlange und parallele Verarbeitung von je zwei Paketen dieser Warteschlange. So bleibt die erwartete Verarbeitungsdauer der Warteschlange beim automatisierten Ingest regulierbar, die von der Anzahl der Pakete und deren Größe abhängt.
    • Validierungsereignisse im Archivematica METS werden automatisiert auf fragwürdige Ergebnisse hin überprüft und betroffene Pakete für eine manuelle Intervention zurückgehalten.
    • Fehler beim Upload nach Fedora im Zusammenhang mit Dateinamen, die kritische Zeichen enthalten, wurden behoben.
  • Infrastruktur:
    • Dashboard: Kleine UI Verbesserungen.
    • API: Update des frameworks auf Flask 2.0.
    • iRODS: Update auf 4.3.0.

Chuck Berry, 06.04.2022

  • Aktuelle Versionsstände:
    • Archivematica 1.12.1
    • Fedora 6.1.1
    • Fuseki 4.3.2
    • iRODS 4.2.11
  • Anbindung Fuseki an Fedora
    • Daten aus Fedora werden automatisch in ein separates Dataset /fcrepo nach Fuseki gespiegelt
    • realisiert mit Docker-Container fcrepo-camel-toolbox
  • Zertifizierung
    • Core Trust Seal Zertifizierungsantrag ist eingereicht, Begutachtung gestartet

Tommy Dorsey, 01.12.2021

  • Transfer
    • Aufräum-Routine des Transferordners manuell implementiert
  • Reporting Dashboard
    • Passwort kann selbst zurückgesetzt werden (Funktionalität „Passwort vergessen“)
  • Ingest-Pipeline
    • Integrität wird in gesamter Pipeline (auch innnerhalb von Archivematica) vom Datengeber/Uploadbereich bis zum Band mit neuer Funktionalität gewährleistet, indem auch vom Datengeber übermittelte Prüfsummen berücksichtigt werden.
    • Einheitliche Prüfsummenverarbeitung ist gewährleistet bei Lieferung sowohl von bag oder METS.
    • Neues Konzept ist festgelegt für die Erstellung dynamischer SubmissionReports und die parallele Verarbeitung von verschiedenen Projekten (Sammlungen aus logisch zusammengehörenden Datenpaketen des Datengebers).
  • Software-Testing
    • Neue Coverage API 70%

Jimmy Dorsey, 01.09.2021

  • Update Fedora 6 nach dessen Release im Juni/Juli (Kilian)
  • Plastron-Anpassung für Dashboard-Ausbau
    • Deskriptive DC-Metadaten können in Fedora gespeichert werden zur Vorbereitung der Anzeige der Information Objects im Dashboard (Marco)
  • Veröffentlichung „Online-Validator für Transferpakete“ (Marco, Elias, Kilian)
    • Veröffentlichung METS-Validator (Transferpaket-Validator) für Tests durch externe Datengeber, die fertige Transferpakete schicken wollen.
  • Dashboard (Kilian)
    • Für Admins: Filtern der Anzeige um nur Daten eines einzelnen Datengebers anzeigen zu können („Datengeberfacette“)

Charlie Christian, 11.6.2021

  • Verknüpfung zu Fedora im Reporting Dashboard implementiert
  • Reporting Dashboard beinhaltet Anzeige des eingekauften und verbrauchten Speichervolumens. Auch Submission Reports können dort mit weiteren Infos abgerufen werden (z.B. Informationen über ingestierte Dateien, Preservation Metadaten wie Preservation-Events)
  • Pragmatisches Verfahren zur Fehleridentifizierung während des Ingest in AM festgelegt: Ingestpipeline wird zur Prüfung angehalten nach Abschluss AM-Workfkow. Im ersten Schritt vorrangig Identifizierung von fehlerhaften Dateiformaten. Ergebnis der Validation wird vorerst nur bei „failed“-Meldung geprüft. Ergebnisse von Identification und Validation werden im SubmissionReport festgehalten.

Benny Carter 31.3.2021

  • AM Software-Update auf Version 1.12.1, wegen nötiger Datenmigration in mehreren Schritten durch Aufsetzen der Releases 1.9 – 1.11
  • Playbook für AM ist konsolidiert, für 1.12.1 angepasst
  • Portierung des Plugins für den AM Storage Service ist erfolgt, Code ist konsolidiert.
  • EWIG-Test- und Produktivsystem sind auf dem gleichen Stand. Archivematica und Pre-Ingest-Strecke werden auf derselben VM ausgerollt.
  • Playbooks sind auf vereinheitlichte Umgebung in Entwicklungs-, Test- und Produktionssystem umgestellt.
  • Für die API ist Gitlab-CI für Software-Testing aktiviert mit nox. Für das Dashboard ist Gitlab-CI aktiviert mit jest (Unit-Testing), jest-junit (Coverage) und eslint (linter). API-Test-Coverage liegt bei 55%

Cab Calloway 31.12.2020

  • Die Erzeugung von Submission-Reports ist in den automatischen Workflow integriert. Mit Submission-Reports können Datengeber den Inhalt (Dateilisten mit technischen Metadaten) von übernommenen Archivpaketen nachvollziehen.
  • API erweitert um rollenbasierte Login-Funktionalität: Anfragen werden nach erfolgreichem Login beantwortet unter Berücksichtigung der dem Login hinterlegten Rolle (Admin / Datenlieferant).
  • Das Ansible-Playbook welches u.a. auch die API und das Dashboard ausspielt wurde angepasst um deren neuen Anforderungen gerecht zu werden (Speichern der API-Logins in Datenbank und Dashboard-Deployment als Docker-Container)
  • Der im erzeugten METS verzeichnete Tool-output in PREMIS wird auf Schlüsselworte durchsucht („fail“/„partial success“), um ggf. relevante Fehler im Archivierungsworkflow von Archivematica erkennen zu können. Eine Automatisierung dieser Überprüfung steht noch aus.
  • Pre-Ingest Workflow erzeugt aus ersten digiS-Lieferungen (LIDO und dazugehörigen Ressourcen) EWIG-konforme Einlieferungspakete.
  • Dashboard als API-Frontend mit Login-Funktion und rollenbasierter Anzeige von Organisation, Personen, Verträge, Datenlieferungen, Datenpakete, API-Benutzer (nur für Admin). Admin-Rolle bekommt alles angezeigt, Nutzer einer Organisation nur ihre eigenen Daten (andere werden von API nicht bereitgestellt).