<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=iso-8859-1">
<style type="text/css" style="display:none;"><!-- P {margin-top:0;margin-bottom:0;} --></style>
</head>
<body dir="ltr">
<div id="divtagdefaultwrapper" style="font-size:12pt;color:#000000;font-family:Calibri,Helvetica,sans-serif;" dir="ltr">
<p style="margin-top:0;margin-bottom:0">Hi Balint,</p>
<p style="margin-top:0;margin-bottom:0"><br>
</p>
<p style="margin-top:0;margin-bottom:0">I'm actually working with Natalia on this problem as it occurred on our system and I've helped her compile the different versions of DFTB+ she's using on it.
<br>
</p>
<p style="margin-top:0;margin-bottom:0"><br>
</p>
<p style="margin-top:0;margin-bottom:0">There are no error messages thrown from DFTB+. It simply hangs at some point in the calculation. For example, here it hung at 'Geometry step 14885' for me until the job ran out of time and the scheduler killed it [1].
 There's not much to go on other than the problem is repeatable for the input she's provided, but each time you run with the same input it gets stuck at a different 'Geometry step'. This is an MPI-based build --- here is what the build script looks like [2].
 I'll let Natalia comment of the type calculation itself as she's the expert here.</p>
<p style="margin-top:0;margin-bottom:0"><br>
</p>
<p style="margin-top:0;margin-bottom:0">Any assistance you can provide would be much appreciated.</p>
<p style="margin-top:0;margin-bottom:0"><br>
</p>
<p style="margin-top:0;margin-bottom:0">Thanks,</p>
<p style="margin-top:0;margin-bottom:0"><br>
</p>
<p style="margin-top:0;margin-bottom:0">Marty Kandes</p>
<p style="margin-top:0;margin-bottom:0">SDSC User Services Group</p>
<p style="margin-top:0;margin-bottom:0"><br>
</p>
<p style="margin-top:0;margin-bottom:0">P.S. I also did look at the system logs of the nodes her jobs ran on. dftb+ processes are definitely running with high CPU utilization throughout the job, even though the output stops.
<br>
</p>
<p style="margin-top:0;margin-bottom:0"><br>
</p>
<p style="margin-top:0;margin-bottom:0">[1]</p>
<p style="margin-top:0;margin-bottom:0"><br>
</p>
<p style="margin-top:0;margin-bottom:0">...</p>
<p style="margin-top:0;margin-bottom:0">...</p>
<p style="margin-top:0;margin-bottom:0"></p>
<div>***  Geometry step: 14844<br>
<br>
 iSCC Total electronic   Diff electronic      SCC error    <br>
    1   -0.17532428E+03    0.00000000E+00    0.15180536E-01<br>
    2   -0.17532429E+03   -0.10059053E-04    0.18582984E-01<br>
    3   -0.17532436E+03   -0.63219013E-04    0.42150625E-02<br>
    4   -0.17532436E+03   -0.49355393E-05    0.78976793E-03<br>
    5   -0.17532436E+03   -0.20731827E-06    0.21594471E-03<br>
    6   -0.17532436E+03   -0.11787137E-07    0.46355288E-04<br>
 <br>
Total Energy:                     -174.7987968819 H        -4756.5173 eV<br>
Extrapolated to 0:                -174.7987968819 H        -4756.5173 eV<br>
Total Mermin free energy:         -174.7987968819 H        -4756.5173 eV<br>
Force related energy:             -174.7987968819 H        -4756.5173 eV<br>
>> Charges saved for restart in charges.bin<br>
MD Temperature:                      0.0008694306 H          274.5441 K<br>
MD Kinetic Energy:                   0.1825804254 H            4.9683 eV<br>
Total MD Energy:                  -174.6162164565 H        -4751.5490 eV<br>
<br>
--------------------------------------------------------------------------------<br>
<br>
***  Geometry step: 14845<br>
<br>
 iSCC Total electronic   Diff electronic      SCC error    <br>
srun: Job step aborted: Waiting up to 302 seconds for job step to finish.<br>
slurmstepd: *** JOB 23685522 ON comet-25-48 CANCELLED AT 2019-05-30T10:43:21 DUE TO TIME LIMIT ***<br>
slurmstepd: *** STEP 23685522.0 ON comet-25-48 CANCELLED AT 2019-05-30T10:43:21 DUE TO TIME LIMIT ***</div>
<p></p>
<p style="margin-top:0;margin-bottom:0"><br>
</p>
<p style="margin-top:0;margin-bottom:0">[2]</p>
<p style="margin-top:0;margin-bottom:0"><br>
</p>
<p style="margin-top:0;margin-bottom:0"></p>
<div>#!/usr/bin/env bash<br>
<br>
#SBATCH --account=use300<br>
#SBATCH --job-name=dftb<br>
#SBATCH --output=dftb.o%j.%N<br>
#SBATCH --partition=compute<br>
#SBATCH --nodes=1<br>
#SBATCH --ntasks-per-node=24<br>
#SBATCH --export=ALL<br>
#SBATCH -t 03:00:00<br>
<br>
declare -xr DFTBPLUS_BUILD_DIR="/home/${USER}/Software/dftbplus/dftbplus-mpi"<br>
<br>
module purge<br>
module load intel/2016.3.210<br>
module load intelmpi/2016.3.210<br>
module load mkl/11.3.3<br>
module load gnutools/2.69<br>
module list<br>
export MKLROOT="${MKL_ROOT}"<br>
printenv<br>
<br>
mkdir -p "${DFTBPLUS_BUILD_DIR}"<br>
cd "${DFTBPLUS_BUILD_DIR}"<br>
<br>
git clone https://github.com/dftbplus/dftbplus.git<br>
cd dftbplus<br>
git submodule update --init --recursive<br>
cp sys/make.x86_64-linux-intel ./make.arch<br>
sed -i 's/FXX = mpifort/FXX = mpif90/' make.arch<br>
sed -i 's/WITH_MPI := 0/WITH_MPI := 1/' make.config<br>
sed -i 's/WITH_DFTD3 := 0/WITH_DFTD3 := 1/' make.config<br>
sed -i 's/answer = /answer = True #/' utils/get_opt_externals<br>
./utils/get_opt_externals ALL<br>
make<br>
make install<br>
<br>
</div>
<br>
<p></p>
</div>
<hr style="display:inline-block;width:98%" tabindex="-1">
<div id="divRplyFwdMsg" dir="ltr"><font face="Calibri, sans-serif" style="font-size:11pt" color="#000000"><b>From:</b> DFTB-Plus-User <dftb-plus-user-bounces@mailman.zfn.uni-bremen.de> on behalf of Bálint Aradi <aradi@uni-bremen.de><br>
<b>Sent:</b> Thursday, May 30, 2019 11:18:39 PM<br>
<b>To:</b> dftb-plus-user@mailman.zfn.uni-bremen.de<br>
<b>Subject:</b> Re: [DFTB-Plus-User] MD-DFTB jobs get stuck</font>
<div> </div>
</div>
<div class="BodyFragment"><font size="2"><span style="font-size:11pt;">
<div class="PlainText">Dear Natalia,<br>
<br>
Is the last output of your job still normal, or does it contain any<br>
error messages? Is it a parallel or a serial binary, which you use? And<br>
finally, did you try to change the eigensolver? The implementations of<br>
the diagonaliser (especially if you use an MPI-parallelised job) may<br>
differ, depending on your system.<br>
<br>
  Best regards,<br>
<br>
  Bálint<br>
<br>
-- <br>
Dr. Bálint Aradi<br>
Bremen Center for Computational Materials Science, University of Bremen<br>
<a href="http://www.bccms.uni-bremen.de/cms/people/b-aradi/">http://www.bccms.uni-bremen.de/cms/people/b-aradi/</a><br>
<br>
<br>
</div>
</span></font></div>
</body>
</html>