Deploy java usando i batch file di Windows.

Lavorando su un applicazione, mi è capitata la situazione di dover fare il deploy di un applicazione java su una macchina di test con windows, di cui non abbiamo accesso ftp, ma di cui abbiamo accesso tramite Desktop Remoto(la macchina fra l’altro è raggiungibile solo tramite tunneling sul server Proxy). Per trasferire i file dalla macchina di sviluppo alla macchina di test, si usa un server web sulla macchina Temp  accessibile in ftp dalla macchina di sviluppo,  e in http dalla macchina di test. Per trasferire i file dalla macchina di test a quella di sviluppo si usa il server web dell’applicazione di cui facevamo il deploy, facendo il tunneling della porta http usata .

Dalla macchina di test avevamo accesso anche al db Oracle di TEST e di PROD. Le operazioni più frequenti erano l’import e l’export e l’esecuzione di script.

Mi sono ritrovato a dover fare manualmente queste operazioni:

• Zippare il war della macchina di sviluppo, trasferirlo sulla macchina Proxy. Collegarsi in desktop remoto alla macchina di test, scaricare il war, fermare tomcat, estrarlo sotto la cartella di tomcat e copiare due file specifici per il deploy sulla macchina di test e far ripartire tomcat
• Fare il dump del db di sviluppo, zipparlo e trasferirlo sulla macchina Proxy. Collegarsi in desktop remoto alla macchina di test, scaricare il dump, estrarlo,  fare la drop di tutti gli oggetti dell’user in cui mettere il dump e importarlo
• Collegarsi in desktop remoto alla macchina di test, fare il dump del db di TEST o PROD, zipparlo e  metterlo sotto una cartella del web server. Scaricarlo dalla macchina di sviluppo, fare la drop di tutti gli oggetti dell’user in cui mettere il dump e importarlo.

Senza contare ovviamente l’uso del tunneling con putty (ma quello è quasi sempre attivo per altri motivi)

Tutte operazioni abbastanza lunghe, dato che il war e il dump da zippare occupano parecchi minuti e il tempo di download e di upload occupavano altrettanto. Inoltre alcune operazioni erano soggette a errore (se faccio l’export nel db di PROD invece che di TEST? se prendo il dump sbagliato? se mi dimentico di copiare i file specifici di tomcat per l’ambiente?).

Quindi ho deciso di automatizzare questo tipo di operazioni, per semplificare il deploy, e si è rivelata una scelta vincente. Potevo scegliere fra usare ant (o ancora meglio GANT, la versione Groovizzata di ANT), ma ho deciso di addentrarmi nel magico e incantato mondo dei BATCH SCRIPT di WINDOWS!!!

 

Per l’accesso al db ho usato sqlplus e i comandi exp e imp messo a disposizione dall’Oracle Client.

Per il download http ho usato wget, un programma linux che qualche santo uomo ha portato su Windows (non ho trovato alternative windows-like).

Per la compressione ho usato 7Zip, che ha un eseguibile da riga di comando, e offriva una compressione migliore (anche se un po’ più lente) del dump.

Per l’sftp ho usato winscp , che permette di definire degli script per l’upload e il download di file (a me nel caso serviva solo l’upload) .

 

Questa è la struttura delle directory:

• deploy (andrà a contenere i file temporanei, dump, compressi, etc.)
• deploy/batch (contiene i file batch)
• deploy/batch/7zip (contiene l'eseguibile 7za.exe)
• deploy/batch/sql (contiene gli script sql)
• deploy/batch/wget (contiene l'eseguibile di wget e le sue librerie)
• deploy/batch/winscp (contiene l'eseguibile di winscp)
• deploy/batch/winscp_script (contiene gli script ftp per winscp)
• deploy/batch/file_war(contiene i file da sostituire nella web-app dopo il deploy)

Gli script sql sono:

• add_grant_dba.sql (serve per ripristinare le grant dba)
• remove_grant_dba.sql (serve per rimuovere le grant dba, dato che l’user sul db di TEST e PROD non ha la grant dba
• statistiche.sql (serve per far far girare l’analyze table su tutte le tabelle dell’user dopo l’import)

declare
  Cursor cTables is
    select *
    from user_tables;

begin
  For rTable in cTables Loop
    dbms_output.put_line ('analyze table ' || rTable.table_name);
    execute immediate 'analyze table ' || rTable.table_name || ' compute statistics';
  End Loop;
end;
/
exit;

• DropUserObjects.sql (serve per fare la drop degli obje ct dell’user prima dell’import)

declare
  Cursor cConstraints is
    Select *
    from user_constraints
    where constraint_type = 'R';

  Cursor cObjects is
    Select *
    From user_objects
    Where object_type not in ('PACKAGE BODY', 'INDEX', 'LOB');


  procedure dropConstraints is
    begin
      For rConstraints in cConstraints loop
        begin
          execute immediate 
            'alter table ' || rConstraints.table_name || ' drop constraint ' || rConstraints.constraint_name
          ;
        exception
          When Others Then
            dbms_output.put_line(
              'alter table ' 
              || rConstraints.table_name 
              || ' drop constraint '
              || rConstraints.constraint_name);
        end;
      End loop;
    end;

  procedure dropObjects is
    begin
      For rObjects in cObjects loop
        begin
          execute immediate 'drop ' || rObjects.object_type || ' ' || rObjects.object_name;
        exception
          When Others Then
            dbms_output.put_line(
             'Errore drop ' || rObjects.object_type || ' ' || rObjects.object_name
            );
        end;
       End loop;
    end;

begin
  dropConstraints;
  dropObjects;
end;

/
exit;

Ecco un esempio di script sftp

# per rispondere negativamente in automatico a tutte le richieste(e non bloccare il batch)
option batch on

# Disable overwrite confirmations that conflict with the previous
option confirm off

# Connessione al db. Senza l'hostkey vi chiederà se accettare l'hostkey, e dato il comando option batch on la risposta sarà no e non vi collegherete. Ricordarsi di mettere l'hostkey tra "". L’hostkey si può ricavare collegandosi con winscp(da interfaccia grafica) e cercare nelle informazioni di sessione 
open sftp://user:password@example.com:22 -hostkey="ssh-rsa 1024 00:00:00:00:00:00:00:00:00:00:00:00:00:00:00:00"

# Posizionarsi sulla cartella voluta
cd /web/download

# Remove il file
rm dbDump.7z

# Forzare il trasferimento binario
option transfer binary

# Fare l'upload del file
put ..\dbDump.7z

# Disconnettersi
close

# Uscire da winscp. Se si vuole che lo script batch si blocchi a questo punto, commentare questa riga per far bloccare lo script
exit

Ed ecco qualche esempio di file batch sulla macchina di sviluppo:

upload_war.bat

::@echo off
del ..\war.7z

7zip\7za.exe a -t7z ../war.7z "C:\Program Files\Apache Software Foundation\Tomcat 5.0\webapps\myWebApp\"

winscp\winscp418.exe /console /script=winscp_script/upload_war.txt

ECHO 

upload_db.bat

::@echo off
sqlplus -S user_dba/user_dba_pwd@db @sql\add_grant_dba.sql
sqlplus -S user/user_pwd@db @sql\remove_grant_dba.sql

exp user/user_pwd@db file=../dbDump

sqlplus -S user_dba/user_dba_pwd@db @sql\add_grant_dba.sql

del ..\dbDump.7z

7zip\7za a -t7z ../dbDump.7z "../dbDump.DMP"
winscp\winscp418.exe /console /script="winscpscript/upload_dump_db.txt" 

import_db.bat

wget\wget.exe -r -O..\dbDumpTest.7z http://localhost:8090/myApp/download/dbDumpTest.7z

7zip\7za.exe e -y ../dbDumpTest.7z -o../

sqlplus -S user/user_pwd@db @sql\DropUserObjects.sql 
imp user/user_pwd@dbfile=../dbDumpTest fromuser=user touser=user
sqlplus -S user/user_pwd@db @sql\statistiche.sql 

echo a

 

Ed ecco qualche esempio di file batch sulla macchina di test:

replace_war.bat

del ..\myApp.7z
wget\wget.exe -r -O..\myApp.7z http://proxy/myApp.7z
net stop Tomcat5

rd /S /Q "C:\Programmi\Apache Software Foundation\Tomcat 5.0\webapps\myApp_old"
rd /S /Q "C:\Programmi\Apache Software Foundation\Tomcat 5.0\work\Catalina\localhost\myApp"
ren "C:\Programmi\Apache Software Foundation\Tomcat 5.0\webapps\myApp" myApp_old

7zip\7za.exe x -y ../myApp.7z -o"C:\Programmi\Apache Software Foundation\Tomcat 5.0\webapps"
copy /Y file_war\config.xml "C:\Programmi\Apache Software Foundation\Tomcat 5.0\webapps\myApp\WEB-INF\conf\"
copy /Y file_war\log4j.properties "C:\Programmi\Apache Software Foundation\Tomcat 5.0\webapps\myApp\WEB-INF\classes"

net start Tomcat5
echo 

export_db_test.bat

exp user/user_pwd@db file=../dbTest CONSISTENT=Y

del ..\dbTest.7z

7zip\7za a -t7z ../dbTest.7z "../dbTest.DMP"

md "C:\Programmi\Apache Software Foundation\Tomcat 5.0\webapps\myApp\download\"
copy /Y ..\sismiDbaProd.7z "C:\Programmi\Apache Software Foundation\Tomcat 5.0\webapps\dbTest\download\"

 

Le operazioni fondamentali sono descritte in questa guida, sta poi allo sviluppatore combinarle per i propri scopi.

E’ qualche mese oramai che uso questi script e si sono rivelati molto utili, mi hanno fatto risparmiare moltissimo tempo ed errori. Script che automatizzano questo tipo di procedure sono fondamentali in un moderno metodo di lavoro. Per la parte java l’ottimo sarebbe avere un server di continous integration con deploy automatico sulla macchina di test (e manuale su prod o altri ambienti). In questo caso sarebbe stato complicato causa il non accesso diretto alla macchina, ma con un meccanismo di polling e timestamp penso si possa fare senza problemi.

thebol