<div dir="ltr"><div>Hi Nikta,</div><div><br></div><div>I think you need to set the environment variables/path to Gate, root, and G4 within your script/ on each node first. Then run Gate, simplest version could be: "Gate main.mac | tee test.log"<br></div><div><br></div><div>After splitting the Gate jobs, I start the jobs like this in slurm (using the module package to load Gate, but you could also set the paths classically as described in the compilation instructions):</div><div><br></div><div>cat <<EOF | tee submitSlurmGateFile.sh<br>#!/bin/bash<br>#SBATCH -J ${JOBNAME}<br>#SBATCH -N 1<br>#SBATCH --ntasks-per-node=16<br>#SBATCH --ntasks-per-core=1<br>#SBATCH --cpus-per-task=1<br>#SBATCH --time=${RUNTIMEREQUEST}<br>#SBATCH --mail-user="$emailAddress"<br>#SBATCH --mail-type=FAIL<br>#SBATCH --output=.Gate/${dotMainDir}/main%a_Job%A.out<br>#SBATCH --error=.Gate/${dotMainDir}/main%a_Job%A.err<br>#SBATCH --array=0-${NODESmin1}:1<br>#SBATCH --partition=${RUNONPARTITION}<br>#SBATCH --qos=${RUNONNODES}<br><br>#STARTt=\$(date +%s)<br>module purge<br>export MODULEPATH=\$MODULEPATH<br>module load ${GATEVERSION}<br><br>export SLURM_STEP_GRES=none<br><br>for i in {1..16}<br>do<br> echo "000 (\${SLURM_ARRAY_JOB_ID}.000 )" >.Gate/${dotMainDir}/main\$((i+SLURM_ARRAY_TASK_ID*16)).log  & <br> Gate .Gate/${dotMainDir}/main\$((i+SLURM_ARRAY_TASK_ID*16)).mac >> .Gate/${dotMainDir}/main\$((i+SLURM_ARRAY_TASK_ID*16)).log & <br>done<br>wait<br><br>EOF</div><div><br></div><div>RES=$(sbatch submitSlurmGateFile.sh)<br>echo $RES<br>JOBID=${RES##*}<br>JOBID=${RES//[!0-9]}<br>echo "Detected JobID: ${JOBID}"</div><div><br></div><div>cheers,</div><div>andreas<br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">Am Do., 30. Mai 2019 um 17:49 Uhr schrieb Nikta Zarifyussefian <<a href="mailto:Nikta.Zarifyussefian@usherbrooke.ca">Nikta.Zarifyussefian@usherbrooke.ca</a>>:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">




<div dir="ltr" style="font-size:12pt;color:rgb(0,0,0);background-color:rgb(255,255,255);font-family:Calibri,Arial,Helvetica,sans-serif">
<p><br>
</p>
<p>Hello,</p>
<p><br>
</p>
<p>We have tried to run Gate with jobsplitter on our cluster.  for this, we have replaced the jobsplitter with the one provided in the link below to be compatible with  SLURM:<br>
</p>
<p><br>
</p>
<p><a href="https://github.com/OpenGATE/Gate/commit/fe0f56b7843b2896942dda0f3220271de0543baa" target="_blank">https://github.com/OpenGATE/Gate/commit/fe0f56b7843b2896942dda0f3220271de0543baa</a></p>
<p><br>
</p>
<p>and GATE v 8.2 has been compiled with below dependencies: <br>
</p>
<p><font size="2"><span style="font-size:10pt"><br>
    ('Geant4', '10.05.p01', '-seq'),<br>
    ('expat', '2.2.5'),<br>
    ('CLHEP', '2.4.1.0'),<br>
    ('ROOT', '5.34.36'),<br>
<br>
builddependencies = [('CMake', '3.12.3')]<br>
<br>
preconfigopts  = " export Geant4_DIR=$EBROOTGEANT4 && "<br>
preconfigopts += " export ROOTCINT_EXECUTABLE=$EBROOTROOT/bin/rootcint && "<br>
preconfigopts += " export ROOT_CONFIG_EXECUTABLE=$EBROOTROOT/bin/root-config && "<br>
preconfigopts += " export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$EBROOTROOT/lib && "<br>
preconfigopts += " export CPATH=$CPATH:$EBROOTROOT/include && "<br>
<br>
configopts  = '-DBUILD_TESTING=ON '<br>
configopts += '-DCMAKE_GATE_DOWNLOAD_BENCHMARKS_DATA=ON '<br>
configopts += '-DCMAKE_GATE_USE_ECAT7=ON '<br>
configopts += '-DCMAKE_GATE_USE_GPU=OFF '<br>
configopts += '-DCMAKE_GATE_USE_ITK=ON '<br>
configopts += '-DCMAKE_GATE_USE_RTK=ON '<br>
configopts += '-DCMAKE_GATE_USE_STDC11=ON '<br>
configopts += '-DCMAKE_GATE_USE_DAVIS=ON '<br>
configopts += '-DCMAKE_GEANT4_USE_SYSTEM_CLHEP=OFF '</span></font></p>
<p><br>
</p>
<p>the slurm script is as follows:</p>
<p><br>
</p>
<p>!/bin/bash<br>
<br>
#SBATCH --time=120:00:00            <br>
#SBATCH --nodes=10            <br>
#SBATCH --ntasks=10<br>
#SBATCH --cpus-per-task=12<br>
#SBATCH --mem=31000M<br>
</p>
<p><br>
</p>
<p>gjs -n 10 main.mac-> test.txt</p>
<p><br>
</p>
<p>the jobs are cancelled immediately with no output file. The test.txt file is as follows:</p>
<p><br>
</p>
<p>Summary of all outputs:<br>
  ROOT       output is enabled<br>
  ASCII      output is disabled<br>
  ARF        output is disabled<br>
  PROJECTION output is disabled<br>
  ECAT7      output is disabled<br>
  SINOGRAM   output is disabled<br>
  SINOACCEL  output is disabled<br>
  LMF        output is disabled<br>
  CT         output is disabled<br>
  GPUSPECT   output is disabled<br>
Summary of all actors:<br>
  ~~~<br>
Number of enabled output: 1<br>
Number of enabled actors: 0<br>
<br>
</p>
<p><br>
</p>
<p>Any help or comment is highly appreciated.</p>
<p><br>
</p>
<p>Regards</p>
<p>Nikta<br>
</p>
</div>

_______________________________________________<br>
Gate-users mailing list<br>
<a href="mailto:Gate-users@lists.opengatecollaboration.org" target="_blank">Gate-users@lists.opengatecollaboration.org</a><br>
<a href="http://lists.opengatecollaboration.org/mailman/listinfo/gate-users" rel="noreferrer" target="_blank">http://lists.opengatecollaboration.org/mailman/listinfo/gate-users</a></blockquote></div>