BioCASe Transfer from DC to BioCASe MySQL DB

server

ganapti/ganesh

script

/home/biocase/transfer/Transfer2/transfer_data.py

database schema

DBSchema

git

gitlab@fredie.eu/BioCASe/biocase_media.git

GBOL

BioCASe queries

DOI

https://doi.org/10.20363/zfmk-app.vcat-transfer-mapping_version_9

Tag

https://fredie.eu/gitlab/BioCASe/biocase_media/tags/mapping_version_9

• linke Maustaste und etwas markieren - Kopieren des Markierten in die Zwischenablage
• rechte Maustaste - Einfügen der Zwischenablage (entspricht Strg-V)

• Strg + A, loslassen und dann 0 oder 1 oder …. - man springt zu dem schon geöffneten Fenster mit der entsprechenden Zahl
• Strg + A und dann C oder F2 - neuer Tab
• Strg + A und dann K - Schließen des Tabs (nicht der ganzen Anwendung)

• Strg + C - Prozess beenden
• Strg + D oder exit - Programm beenden

• Pfeil nach oben - schreibt den letzten verwendeten Befehl in die Kommandozeile

• F4 - Sprung in den nächsten Tab/Fenster
• F5 - Informationen neu laden
• F6 - byobu schließen, die Prozesse bleiben aktiv und nach Neustart wieder verfügbar
• F8 - Tab umbenennen

Mehr Infos unter: https://wiki.ubuntuusers.de/byobu/

Login into zfmk.datacenter.de using putty or ssh:

cd /home/biocase/transfer/Transfer2
source bin/activate

Die Befehle zum Transfer immer in Fenster 0 (work) ausführen

ggf. zuvor deaktivieren (quasi ausloggen):

deactivate

python Transfer.py -p 656

• transfer into BioCASe,
• creates the archive
• and updates the BinHUM database

Die Nummer hinter p ist die ID des Projektes (hier: ZFMK-Opiliones), das übertragen werden soll. Diese kann man auch in Projects auslesen.

python Transfer.py -s

python Transfer.py -v

• Vergleicht die Versionsnummern in BioCASe und Projects.
• Bei einer Änderung wird das Transfer-Skript (mit -p) aufgerufen.
• Dieser Parameter ist ohne Projektnummer aufzurufen.

python Transfer.py -h

less log/transfer.log

• in Fenster 1 (less) ausführen, bzw. dort läuft dann der Log

python T_Queue.py

python T_Queue.py -l

python T_Queue.py -q

python T_Queue.py -h

Die beiden Skripte Transfer und Queue interagieren miteinander: Transfer stellt die Befehle zum transferiern, Archiv erzeugen usw. in die Warteschlange. Die Warteschlange wird regelmäßig aufgerufen und arbeitet die Befehle ab.

Die Warteschlange wird alle 5 Minuten aufgerufen, muss also nur gestartet werden, wenn etwas schiefläuft (also z.B. kein Archiv erstellt wurde).

python Transfer.py -a

• ZFMK - 600
• GBOL - 300

Specimen

accession number is not empty, withholding reason empty, transaction not embargo

Identification

only the first one

Agents

withholding reason empty

Event

withholding reason empty

Media

only images with creator and license type fields filled out

Development Environment:

sudo mount /var/svzfmkfs02 
sudo mkdir /var/www/biocase/biocase_media
python Transfer.py -c 707 -r -n

Test:  ll /mnt/svzfmkfs02//CollDig/Coll_Oberthuer_CollDig/CollOberthuer_Kaesteninhalt/Ob0099.jpg

in fstab: 


//131.220.75.247/Resources /var/svzfmkfs02 cifs credentials=/home/mdb_smb/.smbcredentials,uid=1001,gid=100,port=8067,file_mode=0664,dir_mode=0775,noauto,iocharset=utf8 0       0

Nach Transfer:

1. Füge ALLE Unit-IDs (=Acc-Nos) + AccessPoint + Collection in ZFMK_BioCASE_Data.Registry ein
2. Suche für alle Einträge in CollectionSpecimenRelation mit dem RelatedSpecimenDisplayText (=Acc. No des targets) in der Registry die Unit-ID, den AccessPoint und die Collection raus und füge sie ein
   • Gehe durch ALLE DSAs und aktualiesiere die Relations mit Schritt 2!

<abcd21:Associations>
	<abcd21:UnitAssociation>
		<abcd21:SourceInstitutionCode>MfN</abcd21:SourceInstitutionCode>
		<abcd21:SourceName>Mollusc Collection</abcd21:SourceName>
		<abcd21:UnitID>119736</abcd21:UnitID>
		<abcd21:AssociationType>same in situ individual</abcd21:AssociationType>
		<abcd21:DatasetAccessPoint>http://ww3.bgbm.org/biocase/pywrapper.cgi?dsa=GGBN_MfN_specimens</abcd21:DatasetAccessPoint>
	</abcd21:UnitAssociation>
</abcd21:Associations>