<div dir="ltr"><div>Hi Ben,</div><div>Update: after updating to openmpi-4.0.1, recompiling dftb+ and detaching binding of processes using --bind-to none</div><div>I could successfully run 4 instances with 100% load - as should be.</div><div><br></div><div>Best,</div><div>David<br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Sat, Jun 22, 2019 at 8:26 PM <<a href="mailto:dftb-plus-user-request@mailman.zfn.uni-bremen.de">dftb-plus-user-request@mailman.zfn.uni-bremen.de</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Send DFTB-Plus-User mailing list submissions to<br>
        <a href="mailto:dftb-plus-user@mailman.zfn.uni-bremen.de" target="_blank">dftb-plus-user@mailman.zfn.uni-bremen.de</a><br>
<br>
To subscribe or unsubscribe via the World Wide Web, visit<br>
        <a href="https://mailman.zfn.uni-bremen.de/cgi-bin/mailman/listinfo/dftb-plus-user" rel="noreferrer" target="_blank">https://mailman.zfn.uni-bremen.de/cgi-bin/mailman/listinfo/dftb-plus-user</a><br>
<br>
or, via email, send a message with subject or body 'help' to<br>
        <a href="mailto:dftb-plus-user-request@mailman.zfn.uni-bremen.de" target="_blank">dftb-plus-user-request@mailman.zfn.uni-bremen.de</a><br>
<br>
You can reach the person managing the list at<br>
        <a href="mailto:dftb-plus-user-owner@mailman.zfn.uni-bremen.de" target="_blank">dftb-plus-user-owner@mailman.zfn.uni-bremen.de</a><br>
<br>
When replying, please edit your Subject line so it is more specific<br>
than "Re: Contents of DFTB-Plus-User digest..."<br>
<br>
<br>
Today's Topics:<br>
<br>
   1. Re: DFTB-Plus-User Digest, Vol 58, Issue 11 (Ben Hourahine)<br>
<br>
<br>
----------------------------------------------------------------------<br>
<br>
Message: 1<br>
Date: Sat, 22 Jun 2019 20:25:50 +0100<br>
From: Ben Hourahine <<a href="mailto:benjamin.hourahine@strath.ac.uk" target="_blank">benjamin.hourahine@strath.ac.uk</a>><br>
To: <a href="mailto:dftb-plus-user@mailman.zfn.uni-bremen.de" target="_blank">dftb-plus-user@mailman.zfn.uni-bremen.de</a><br>
Subject: Re: [DFTB-Plus-User] DFTB-Plus-User Digest, Vol 58, Issue 11<br>
Message-ID: <<a href="mailto:c57cb998-3aa3-5cde-0ece-72cde8978807@strath.ac.uk" target="_blank">c57cb998-3aa3-5cde-0ece-72cde8978807@strath.ac.uk</a>><br>
Content-Type: text/plain; charset="utf-8"<br>
<br>
Hello David,<br>
<br>
If possible use an optimized blas instead of the reference one, as this<br>
makes a big difference in performance.<br>
<br>
You might be better off using a serial compiled binary and 2 threads on<br>
each of the 4 images (if with a thread aware blas/lapack).<br>
<br>
Yes, sorry, had picked up 8 cores and mistakenly thought that was the<br>
number of images (is 4 enough for REMD?).<br>
<br>
Regards<br>
<br>
Ben<br>
<br>
On 22/06/2019 17:34, David Furman wrote:<br>
> Hi Ben,<br>
><br>
> 1. I use libblas-dev 3.6.0 (This  implementation is the Fortran 77<br>
> reference implementation found  at netlib)<br>
> 2. I run each instance from the same shell, 'echo $OMP_NUM_THREADS'<br>
> yields: 1<br>
> 3. Yes it is the correct context. I try to run a Replica-Exchange MD<br>
> using 4 replicas. As far as I know, i-pi distributes the replicas to<br>
> clients (DFTB+ in this case) so that I can run 4 concurrent replicas.<br>
> Since I have a relatively large system in terms of number of atoms,<br>
> each replica takes a significant amount of time. Hence I was thinking<br>
> of parallelizing each replica on 2 or more MPI cores (i.e. parallelize<br>
> each DFTB+ instance). But, then I encounter this weird "bottleneck".<br>
> Regarding your suggestion: I'm not sure how running 8 serial instances<br>
> is of help in my case.<br>
><br>
> I appreciate your help!<br>
><br>
>  <br>
><br>
> On Sat, Jun 22, 2019 at 2:54 PM<br>
> <<a href="mailto:dftb-plus-user-request@mailman.zfn.uni-bremen.de" target="_blank">dftb-plus-user-request@mailman.zfn.uni-bremen.de</a><br>
> <mailto:<a href="mailto:dftb-plus-user-request@mailman.zfn.uni-bremen.de" target="_blank">dftb-plus-user-request@mailman.zfn.uni-bremen.de</a>>> wrote:<br>
><br>
>     Send DFTB-Plus-User mailing list submissions to<br>
>             <a href="mailto:dftb-plus-user@mailman.zfn.uni-bremen.de" target="_blank">dftb-plus-user@mailman.zfn.uni-bremen.de</a><br>
>     <mailto:<a href="mailto:dftb-plus-user@mailman.zfn.uni-bremen.de" target="_blank">dftb-plus-user@mailman.zfn.uni-bremen.de</a>><br>
><br>
>     To subscribe or unsubscribe via the World Wide Web, visit<br>
>            <br>
>     <a href="https://mailman.zfn.uni-bremen.de/cgi-bin/mailman/listinfo/dftb-plus-user" rel="noreferrer" target="_blank">https://mailman.zfn.uni-bremen.de/cgi-bin/mailman/listinfo/dftb-plus-user</a><br>
><br>
>     or, via email, send a message with subject or body 'help' to<br>
>             <a href="mailto:dftb-plus-user-request@mailman.zfn.uni-bremen.de" target="_blank">dftb-plus-user-request@mailman.zfn.uni-bremen.de</a><br>
>     <mailto:<a href="mailto:dftb-plus-user-request@mailman.zfn.uni-bremen.de" target="_blank">dftb-plus-user-request@mailman.zfn.uni-bremen.de</a>><br>
><br>
>     You can reach the person managing the list at<br>
>             <a href="mailto:dftb-plus-user-owner@mailman.zfn.uni-bremen.de" target="_blank">dftb-plus-user-owner@mailman.zfn.uni-bremen.de</a><br>
>     <mailto:<a href="mailto:dftb-plus-user-owner@mailman.zfn.uni-bremen.de" target="_blank">dftb-plus-user-owner@mailman.zfn.uni-bremen.de</a>><br>
><br>
>     When replying, please edit your Subject line so it is more specific<br>
>     than "Re: Contents of DFTB-Plus-User digest..."<br>
><br>
><br>
>     Today's Topics:<br>
><br>
>        1. Possible bug in DFTB+ with MPI (David Furman)<br>
>        2. Re: problem with installation (Farzad Molani)<br>
>        3. Re: Possible bug in DFTB+ with MPI (Ben Hourahine)<br>
><br>
><br>
>     ----------------------------------------------------------------------<br>
><br>
>     Message: 1<br>
>     Date: Sat, 22 Jun 2019 14:41:01 +0100<br>
>     From: David Furman <<a href="mailto:sirok4@gmail.com" target="_blank">sirok4@gmail.com</a> <mailto:<a href="mailto:sirok4@gmail.com" target="_blank">sirok4@gmail.com</a>>><br>
>     To: <a href="mailto:dftb-plus-user@mailman.zfn.uni-bremen.de" target="_blank">dftb-plus-user@mailman.zfn.uni-bremen.de</a><br>
>     <mailto:<a href="mailto:dftb-plus-user@mailman.zfn.uni-bremen.de" target="_blank">dftb-plus-user@mailman.zfn.uni-bremen.de</a>><br>
>     Subject: [DFTB-Plus-User] Possible bug in DFTB+ with MPI<br>
>     Message-ID:<br>
>            <br>
>     <CADtBuo94A729tJFsTW5ev69sEs4qVNM=<a href="mailto:qOXkjMKFTS8_f1N8pg@mail.gmail.com" target="_blank">qOXkjMKFTS8_f1N8pg@mail.gmail.com</a><br>
>     <mailto:<a href="mailto:qOXkjMKFTS8_f1N8pg@mail.gmail.com" target="_blank">qOXkjMKFTS8_f1N8pg@mail.gmail.com</a>>><br>
>     Content-Type: text/plain; charset="utf-8"<br>
><br>
>      Hi all,<br>
>     I have a question concerning the running of DFTB+ with MPI. There<br>
>     seems to<br>
>     be a problem when running more than one DFTB+ instance (with MPI<br>
>     parallelization) on the same system.<br>
><br>
>     When I run 4 instances (separate folders) of dftb+ with 2 cores<br>
>     each (i.e.<br>
>     8 cores in total):<br>
>     mpirun.openmpi -np 2 dftb+, each %CPU usage drops to 50%.<br>
><br>
>     This is the 'top' output:<br>
>     ========================================================<br>
>      35426 user    20   0  423384  40404  18248 R  50.5  0.0   0:37.69<br>
>     dftb+<br>
>      35434 user    20   0  423080  39720  18248 R  50.2  0.0   0:05.70<br>
>     dftb+<br>
>      35396 user    20   0  422044  38660  17644 R  49.8  0.0   1:21.35<br>
>     dftb+<br>
>      35402 user    20   0  423384  40460  18304 R  49.8  0.0   1:09.54<br>
>     dftb+<br>
>      35403 user    20   0  422044  38872  17848 R  49.8  0.0   1:16.15<br>
>     dftb+<br>
>      35427 user    20   0  422044  39048  18032 R  49.8  0.0   0:32.93<br>
>     dftb+<br>
>      35435 user    20   0  421732  38164  17716 R  49.8  0.0   0:09.07<br>
>     dftb+<br>
>      35395 user    20   0  423384  40360  18204 R  49.5  0.0   1:13.18<br>
>     dftb+<br>
>     =========================================================<br>
><br>
>     Whereas, when I run one instance with 8 cores, the efficiency is<br>
>     100% as<br>
>     expected:<br>
><br>
>     =========================================================<br>
>      35837 user    20   0  441868  35196  19112 R 100.3  0.0   0:04.90<br>
>     dftb+<br>
>      35828 user    20   0  442580  35676  19120 R 100.0  0.0   0:04.83<br>
>     dftb+<br>
>      35829 user    20   0  442544  36024  19432 R 100.0  0.0   0:04.91<br>
>     dftb+<br>
>      35830 user    20   0  441912  35356  19360 R 100.0  0.0   0:04.91<br>
>     dftb+<br>
>      35831 user    20   0  441688  35048  19304 R 100.0  0.0   0:04.90<br>
>     dftb+<br>
>      35833 user    20   0  441904  35656  19500 R 100.0  0.0   0:04.91<br>
>     dftb+<br>
>      35841 user    20   0  441516  34824  19076 R 100.0  0.0   0:04.89<br>
>     dftb+<br>
>      35843 user    20   0  441224  34456  18868 R  99.7  0.0   0:04.89<br>
>     dftb+<br>
>     =========================================================<br>
><br>
>     I run both cases with OMP_NUM_THREADS=1.<br>
>     with open-mpi 1.10.2 and gcc 5.4.0.<br>
><br>
>     Could anyone give a hint about what is wrong?<br>
>     -------------- next part --------------<br>
>     An HTML attachment was scrubbed...<br>
>     URL:<br>
>     <<a href="http://mailman.zfn.uni-bremen.de/pipermail/dftb-plus-user/attachments/20190622/96b0d502/attachment-0001.html" rel="noreferrer" target="_blank">http://mailman.zfn.uni-bremen.de/pipermail/dftb-plus-user/attachments/20190622/96b0d502/attachment-0001.html</a>><br>
><br>
>     ------------------------------<br>
><br>
>     Message: 2<br>
>     Date: Sat, 22 Jun 2019 21:42:46 +0800<br>
>     From: Farzad Molani <<a href="mailto:f.molani@gmail.com" target="_blank">f.molani@gmail.com</a> <mailto:<a href="mailto:f.molani@gmail.com" target="_blank">f.molani@gmail.com</a>>><br>
>     To: "User list for DFTB+ related questions"<br>
>             <<a href="mailto:dftb-plus-user@mailman.zfn.uni-bremen.de" target="_blank">dftb-plus-user@mailman.zfn.uni-bremen.de</a><br>
>     <mailto:<a href="mailto:dftb-plus-user@mailman.zfn.uni-bremen.de" target="_blank">dftb-plus-user@mailman.zfn.uni-bremen.de</a>>><br>
>     Subject: Re: [DFTB-Plus-User] problem with installation<br>
>     Message-ID:<br>
>            <br>
>     <CAJY0Q+obk-e8iUOJ_986DS4tWpWG4kAZ99a=<a href="mailto:6qNstswS0myifg@mail.gmail.com" target="_blank">6qNstswS0myifg@mail.gmail.com</a><br>
>     <mailto:<a href="mailto:6qNstswS0myifg@mail.gmail.com" target="_blank">6qNstswS0myifg@mail.gmail.com</a>>><br>
>     Content-Type: text/plain; charset="utf-8"<br>
><br>
>     I know,  but I don't know how can I unstall arpack?<br>
>     The package downloaded and now I need help to install it.<br>
>     Please note that, I don't permit to login as a root.<br>
><br>
>     On Saturday, June 22, 2019, RICCARDO ROZZA<br>
>     <<a href="mailto:rozza.riccardo@studium.unict.it" target="_blank">rozza.riccardo@studium.unict.it</a><br>
>     <mailto:<a href="mailto:rozza.riccardo@studium.unict.it" target="_blank">rozza.riccardo@studium.unict.it</a>>><br>
>     wrote:<br>
><br>
>     > Dear Farzad,<br>
>     ><br>
>     > It seems that you need to install the arpack library (ld: cannot<br>
>     find<br>
>     > -larpack).<br>
>     > All the best,<br>
>     ><br>
>     > Riccardo.<br>
>     ><br>
>     > On 22 Jun 2019, at 10:01, Farzad Molani <<a href="mailto:f.molani@gmail.com" target="_blank">f.molani@gmail.com</a><br>
>     <mailto:<a href="mailto:f.molani@gmail.com" target="_blank">f.molani@gmail.com</a>>> wrote:<br>
>     ><br>
>     ><br>
>     > Dear DFTB users,<br>
>     > I want to install the newest version of DFTB+. The source and<br>
>     executable<br>
>     > files from <a href="http://www.dftbplus.org/download/dftb-stable/" rel="noreferrer" target="_blank">http://www.dftbplus.org/download/dftb-stable/</a>  have been<br>
>     > downloaded and untarred. I try to install the software based on<br>
>     > instructions on INSTALL.rst, but I got the following error after<br>
>     the make.<br>
>     > .<br>
>     > .<br>
>     > .<br>
>     > .<br>
>     > w.o dispuffdata.o inputdata.o pmlocalisation.o repcont.o repspline.o<br>
>     > reppoly.o xlbomd.o extlagrangian.o linresp.o linrespgrad.o qm.o<br>
>     > linrespcommon.o arpack.o eigensolver.o typegeometry.o simplemixer.o<br>
>     > numderivs2.o potentials.o thirdorder.o charges.o dftbplusu.o<br>
>     geoopt.o<br>
>     > steepdesc.o gdiis.o orbitalequiv.o broydenmixer.o stress.o etemp.o<br>
>     > hermite.o factorial.o intrinsicpr.o mixer.o andersonmixer.o<br>
>     > elecconstraints.o angmomentum.o eigenvects.o parser.o hsdutils2.o<br>
>     > unitconversion.o oldcompat.o typegeometryhsd.o oldskdata.o<br>
>     densitymatrix.o<br>
>     > populations.o repulsive.o spinorbit.o forces.o <br>
>     -L/home/fmolani/DFTB+/<br>
>     > dftbplus-18.2/_build/external/xmlf90 -lxmlf90 <br>
>     -L/home/fmolani/DFTB+/<br>
>     > dftbplus-18.2/_build/external/fsockets -lfsockets<br>
>     > -L/apps/intel/2015/composer_xe_2015.3.187/mkl/lib/intel64<br>
>     > -lmkl_intel_lp64 -lmkl_intel_thread -lmkl_core  -larpack -liomp5<br>
>     > ld: cannot find -larpack<br>
>     > make[1]: *** [dftb+] Error 1<br>
>     > make[1]: Leaving directory `/home/fmolani/DFTB+/dftbplus-<br>
>     > 18.2/_build/prog/dftb+'<br>
>     > make: *** [dftb+] Error 2<br>
>     ><br>
>     > I would appreciate to help me to solve the problem.<br>
>     > Best regards, Farzad<br>
>     > --<br>
>     > Farzad Molani<br>
>     > Postdoctoral Research Fellow<br>
>     > School of Pharmaceutical Science and Technology<br>
>     > Tianjin University<br>
>     > Building 24, Room A205<br>
>     > 92 Weijin Road, Nankai District<br>
>     ><br>
>     <<a href="https://www.google.com/maps/search/92+Weijin+Road,+Nankai+District+%0D%0A+P.+R.+China?entry=gmail&source=g" rel="noreferrer" target="_blank">https://www.google.com/maps/search/92+Weijin+Road,+Nankai+District+%0D%0A+P.+R.+China?entry=gmail&source=g</a>><br>
>     > P. R. China<br>
>     ><br>
>     <<a href="https://www.google.com/maps/search/92+Weijin+Road,+Nankai+District+%0D%0A+P.+R.+China?entry=gmail&source=g" rel="noreferrer" target="_blank">https://www.google.com/maps/search/92+Weijin+Road,+Nankai+District+%0D%0A+P.+R.+China?entry=gmail&source=g</a>><br>
>     > Tel.: +8617526526420<br>
>     > Email: <a href="mailto:f.molani@gmail.com" target="_blank">f.molani@gmail.com</a> <mailto:<a href="mailto:f.molani@gmail.com" target="_blank">f.molani@gmail.com</a>> and<br>
>     <a href="mailto:f.molani@tju.edu.cn" target="_blank">f.molani@tju.edu.cn</a> <mailto:<a href="mailto:f.molani@tju.edu.cn" target="_blank">f.molani@tju.edu.cn</a>><br>
>     > <<a href="mailto:fmolani@dena.kntu.ac.ir" target="_blank">fmolani@dena.kntu.ac.ir</a> <mailto:<a href="mailto:fmolani@dena.kntu.ac.ir" target="_blank">fmolani@dena.kntu.ac.ir</a>>><br>
>     ><br>
>     ><br>
>     > --<br>
>     > Farzad Molani<br>
>     > Postdoctoral Research Fellow<br>
>     > School of Pharmaceutical Science and Technology<br>
>     > Tianjin University<br>
>     > Building 24, Room A205<br>
>     > 92 Weijin Road, Nankai District<br>
>     ><br>
>     <<a href="https://www.google.com/maps/search/92+Weijin+Road,+Nankai+District+%0D%0A+P.+R.+China?entry=gmail&source=g" rel="noreferrer" target="_blank">https://www.google.com/maps/search/92+Weijin+Road,+Nankai+District+%0D%0A+P.+R.+China?entry=gmail&source=g</a>><br>
>     > P. R. China<br>
>     ><br>
>     <<a href="https://www.google.com/maps/search/92+Weijin+Road,+Nankai+District+%0D%0A+P.+R.+China?entry=gmail&source=g" rel="noreferrer" target="_blank">https://www.google.com/maps/search/92+Weijin+Road,+Nankai+District+%0D%0A+P.+R.+China?entry=gmail&source=g</a>><br>
>     > Tel.: +8617526526420<br>
>     > Email: <a href="mailto:f.molani@gmail.com" target="_blank">f.molani@gmail.com</a> <mailto:<a href="mailto:f.molani@gmail.com" target="_blank">f.molani@gmail.com</a>> and<br>
>     <a href="mailto:f.molani@tju.edu.cn" target="_blank">f.molani@tju.edu.cn</a> <mailto:<a href="mailto:f.molani@tju.edu.cn" target="_blank">f.molani@tju.edu.cn</a>><br>
>     > <<a href="mailto:fmolani@dena.kntu.ac.ir" target="_blank">fmolani@dena.kntu.ac.ir</a> <mailto:<a href="mailto:fmolani@dena.kntu.ac.ir" target="_blank">fmolani@dena.kntu.ac.ir</a>>><br>
>     > _______________________________________________<br>
>     > DFTB-Plus-User mailing list<br>
>     > <a href="mailto:DFTB-Plus-User@mailman.zfn.uni-bremen.de" target="_blank">DFTB-Plus-User@mailman.zfn.uni-bremen.de</a><br>
>     <mailto:<a href="mailto:DFTB-Plus-User@mailman.zfn.uni-bremen.de" target="_blank">DFTB-Plus-User@mailman.zfn.uni-bremen.de</a>><br>
>     ><br>
>     <a href="https://mailman.zfn.uni-bremen.de/cgi-bin/mailman/listinfo/dftb-plus-user" rel="noreferrer" target="_blank">https://mailman.zfn.uni-bremen.de/cgi-bin/mailman/listinfo/dftb-plus-user</a><br>
>     ><br>
>     ><br>
>     ><br>
><br>
>     -- <br>
>     Farzad Molani<br>
>     Postdoctoral Research Fellow<br>
>     School of Pharmaceutical Science and Technology<br>
>     Tianjin University<br>
>     Building 24, Room A205<br>
>     92 Weijin Road, Nankai District<br>
>     P. R. China<br>
>     Tel.: +8617526526420<br>
>     Email: <a href="mailto:f.molani@gmail.com" target="_blank">f.molani@gmail.com</a> <mailto:<a href="mailto:f.molani@gmail.com" target="_blank">f.molani@gmail.com</a>> and<br>
>     <a href="mailto:f.molani@tju.edu.cn" target="_blank">f.molani@tju.edu.cn</a> <mailto:<a href="mailto:f.molani@tju.edu.cn" target="_blank">f.molani@tju.edu.cn</a>><br>
>     <<a href="mailto:fmolani@dena.kntu.ac.ir" target="_blank">fmolani@dena.kntu.ac.ir</a> <mailto:<a href="mailto:fmolani@dena.kntu.ac.ir" target="_blank">fmolani@dena.kntu.ac.ir</a>>><br>
>     -------------- next part --------------<br>
>     An HTML attachment was scrubbed...<br>
>     URL:<br>
>     <<a href="http://mailman.zfn.uni-bremen.de/pipermail/dftb-plus-user/attachments/20190622/aae9eaba/attachment-0001.html" rel="noreferrer" target="_blank">http://mailman.zfn.uni-bremen.de/pipermail/dftb-plus-user/attachments/20190622/aae9eaba/attachment-0001.html</a>><br>
><br>
>     ------------------------------<br>
><br>
>     Message: 3<br>
>     Date: Sat, 22 Jun 2019 14:54:40 +0100<br>
>     From: Ben Hourahine <<a href="mailto:benjamin.hourahine@strath.ac.uk" target="_blank">benjamin.hourahine@strath.ac.uk</a><br>
>     <mailto:<a href="mailto:benjamin.hourahine@strath.ac.uk" target="_blank">benjamin.hourahine@strath.ac.uk</a>>><br>
>     To: <a href="mailto:dftb-plus-user@mailman.zfn.uni-bremen.de" target="_blank">dftb-plus-user@mailman.zfn.uni-bremen.de</a><br>
>     <mailto:<a href="mailto:dftb-plus-user@mailman.zfn.uni-bremen.de" target="_blank">dftb-plus-user@mailman.zfn.uni-bremen.de</a>><br>
>     Subject: Re: [DFTB-Plus-User] Possible bug in DFTB+ with MPI<br>
>     Message-ID: <<a href="mailto:16da7e6a-92dd-2184-7a98-067e751cdb14@strath.ac.uk" target="_blank">16da7e6a-92dd-2184-7a98-067e751cdb14@strath.ac.uk</a><br>
>     <mailto:<a href="mailto:16da7e6a-92dd-2184-7a98-067e751cdb14@strath.ac.uk" target="_blank">16da7e6a-92dd-2184-7a98-067e751cdb14@strath.ac.uk</a>>><br>
>     Content-Type: text/plain; charset="utf-8"<br>
><br>
>     Hello David,<br>
><br>
>     thoughts so far:<br>
><br>
>     1) Which blas are you using? Sometimes openBlas steals extra<br>
>     threads, is<br>
>     your top output shown with thread reporting enabled (H)?<br>
><br>
>     2) Are you definitely getting the OMP_NUM_THREADS shell variable<br>
>     to each<br>
>     of the instances?<br>
><br>
>     3) If this is related to the i-PI mailing list question, is there any<br>
>     reason not to run 8 serial instances with 1 thread each? The MPI<br>
>     parallelism overhead on just one process is probably not worth it.<br>
><br>
>     Regards<br>
><br>
>     Ben<br>
><br>
>     On 22/06/2019 14:41, David Furman wrote:<br>
>     > Hi all,<br>
>     > I have a question concerning the running of DFTB+ with MPI. There<br>
>     > seems to be a problem when running more than one DFTB+ instance<br>
>     (with<br>
>     > MPI parallelization) on the same system.<br>
>     ><br>
>     > When I run 4 instances (separate folders) of dftb+ with 2 cores each<br>
>     > (i.e. 8 cores in total):<br>
>     > mpirun.openmpi -np 2 dftb+, each %CPU usage drops to 50%.<br>
>     ><br>
>     > This is the 'top' output:<br>
>     > ========================================================<br>
>     >  35426 user    20   0  423384  40404  18248 R  50.5  0.0  <br>
>     0:37.69 dftb+<br>
>     >  35434 user    20   0  423080  39720  18248 R  50.2  0.0  <br>
>     0:05.70 dftb+<br>
>     >  35396 user    20   0  422044  38660  17644 R  49.8  0.0  <br>
>     1:21.35 dftb+<br>
>     >  35402 user    20   0  423384  40460  18304 R  49.8  0.0  <br>
>     1:09.54 dftb+<br>
>     >  35403 user    20   0  422044  38872  17848 R  49.8  0.0  <br>
>     1:16.15 dftb+<br>
>     >  35427 user    20   0  422044  39048  18032 R  49.8  0.0  <br>
>     0:32.93 dftb+<br>
>     >  35435 user    20   0  421732  38164  17716 R  49.8  0.0  <br>
>     0:09.07 dftb+<br>
>     >  35395 user    20   0  423384  40360  18204 R  49.5  0.0  <br>
>     1:13.18 dftb+<br>
>     > =========================================================<br>
>     ><br>
>     > Whereas, when I run one instance with 8 cores, the efficiency is<br>
>     100%<br>
>     > as expected:<br>
>     ><br>
>     > =========================================================<br>
>     >  35837 user    20   0  441868  35196  19112 R 100.3  0.0  <br>
>     0:04.90 dftb+<br>
>     >  35828 user    20   0  442580  35676  19120 R 100.0  0.0  <br>
>     0:04.83 dftb+<br>
>     >  35829 user    20   0  442544  36024  19432 R 100.0  0.0  <br>
>     0:04.91 dftb+<br>
>     >  35830 user    20   0  441912  35356  19360 R 100.0  0.0  <br>
>     0:04.91 dftb+<br>
>     >  35831 user    20   0  441688  35048  19304 R 100.0  0.0  <br>
>     0:04.90 dftb+<br>
>     >  35833 user    20   0  441904  35656  19500 R 100.0  0.0  <br>
>     0:04.91 dftb+<br>
>     >  35841 user    20   0  441516  34824  19076 R 100.0  0.0  <br>
>     0:04.89 dftb+<br>
>     >  35843 user    20   0  441224  34456  18868 R  99.7  0.0  <br>
>     0:04.89 dftb+<br>
>     > =========================================================<br>
>     ><br>
>     > I run both cases with OMP_NUM_THREADS=1.<br>
>     > with open-mpi 1.10.2 and gcc 5.4.0.<br>
>     ><br>
>     > Could anyone give a hint about what is wrong?<br>
>     ><br>
>     ><br>
>     > _______________________________________________<br>
>     > DFTB-Plus-User mailing list<br>
>     > <a href="mailto:DFTB-Plus-User@mailman.zfn.uni-bremen.de" target="_blank">DFTB-Plus-User@mailman.zfn.uni-bremen.de</a><br>
>     <mailto:<a href="mailto:DFTB-Plus-User@mailman.zfn.uni-bremen.de" target="_blank">DFTB-Plus-User@mailman.zfn.uni-bremen.de</a>><br>
>     ><br>
>     <a href="https://mailman.zfn.uni-bremen.de/cgi-bin/mailman/listinfo/dftb-plus-user" rel="noreferrer" target="_blank">https://mailman.zfn.uni-bremen.de/cgi-bin/mailman/listinfo/dftb-plus-user</a><br>
><br>
>     -- <br>
>             Dr.  B.  Hourahine,  Senior  lecturer<br>
>                 SUPA, Department  of  Physics,<br>
>                  University  of  Strathclyde,<br>
>                   John  Anderson  Building,<br>
>               107 Rottenrow, Glasgow G4 0NG, UK.                   <br>
>       +44 141 548 2325, <a href="mailto:benjamin.hourahine@strath.ac.uk" target="_blank">benjamin.hourahine@strath.ac.uk</a><br>
>     <mailto:<a href="mailto:benjamin.hourahine@strath.ac.uk" target="_blank">benjamin.hourahine@strath.ac.uk</a>><br>
><br>
>     The  Department is  a partner  in SUPA,  the Scottish<br>
>                 Universities Physics Alliance<br>
><br>
>     The University  of Strathclyde  is a  charitable body,<br>
>            registered in Scotland, number SC015263<br>
><br>
>     -------------- next part --------------<br>
>     An HTML attachment was scrubbed...<br>
>     URL:<br>
>     <<a href="http://mailman.zfn.uni-bremen.de/pipermail/dftb-plus-user/attachments/20190622/bf90b2fb/attachment.html" rel="noreferrer" target="_blank">http://mailman.zfn.uni-bremen.de/pipermail/dftb-plus-user/attachments/20190622/bf90b2fb/attachment.html</a>><br>
><br>
>     ------------------------------<br>
><br>
>     Subject: Digest Footer<br>
><br>
>     _______________________________________________<br>
>     DFTB-Plus-User mailing list<br>
>     <a href="mailto:DFTB-Plus-User@mailman.zfn.uni-bremen.de" target="_blank">DFTB-Plus-User@mailman.zfn.uni-bremen.de</a><br>
>     <mailto:<a href="mailto:DFTB-Plus-User@mailman.zfn.uni-bremen.de" target="_blank">DFTB-Plus-User@mailman.zfn.uni-bremen.de</a>><br>
>     <a href="https://mailman.zfn.uni-bremen.de/cgi-bin/mailman/listinfo/dftb-plus-user" rel="noreferrer" target="_blank">https://mailman.zfn.uni-bremen.de/cgi-bin/mailman/listinfo/dftb-plus-user</a><br>
><br>
>     ------------------------------<br>
><br>
>     End of DFTB-Plus-User Digest, Vol 58, Issue 11<br>
>     **********************************************<br>
><br>
><br>
><br>
> -- <br>
> David Furman, PhD, MRSC**Herchel Smith Research Fellow Department of<br>
> Chemistry University of Cambridge Lensfield Road CB2 1EW<br>
><br>
> _______________________________________________<br>
> DFTB-Plus-User mailing list<br>
> <a href="mailto:DFTB-Plus-User@mailman.zfn.uni-bremen.de" target="_blank">DFTB-Plus-User@mailman.zfn.uni-bremen.de</a><br>
> <a href="https://mailman.zfn.uni-bremen.de/cgi-bin/mailman/listinfo/dftb-plus-user" rel="noreferrer" target="_blank">https://mailman.zfn.uni-bremen.de/cgi-bin/mailman/listinfo/dftb-plus-user</a><br>
<br>
-- <br>
        Dr.  B.  Hourahine,  Senior  lecturer<br>
            SUPA, Department  of  Physics,<br>
             University  of  Strathclyde,<br>
              John  Anderson  Building,<br>
          107 Rottenrow, Glasgow G4 0NG, UK.                    <br>
  +44 141 548 2325, <a href="mailto:benjamin.hourahine@strath.ac.uk" target="_blank">benjamin.hourahine@strath.ac.uk</a><br>
<br>
The  Department is  a partner  in SUPA,  the Scottish<br>
            Universities Physics Alliance<br>
<br>
The University  of Strathclyde  is a  charitable body,<br>
       registered in Scotland, number SC015263<br>
<br>
-------------- next part --------------<br>
An HTML attachment was scrubbed...<br>
URL: <<a href="http://mailman.zfn.uni-bremen.de/pipermail/dftb-plus-user/attachments/20190622/6c950d2c/attachment.html" rel="noreferrer" target="_blank">http://mailman.zfn.uni-bremen.de/pipermail/dftb-plus-user/attachments/20190622/6c950d2c/attachment.html</a>><br>
<br>
------------------------------<br>
<br>
Subject: Digest Footer<br>
<br>
_______________________________________________<br>
DFTB-Plus-User mailing list<br>
<a href="mailto:DFTB-Plus-User@mailman.zfn.uni-bremen.de" target="_blank">DFTB-Plus-User@mailman.zfn.uni-bremen.de</a><br>
<a href="https://mailman.zfn.uni-bremen.de/cgi-bin/mailman/listinfo/dftb-plus-user" rel="noreferrer" target="_blank">https://mailman.zfn.uni-bremen.de/cgi-bin/mailman/listinfo/dftb-plus-user</a><br>
<br>
------------------------------<br>
<br>
End of DFTB-Plus-User Digest, Vol 58, Issue 16<br>
**********************************************<br>
</blockquote></div><br clear="all"><br>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr"><div><div dir="ltr"><pre><span style="font-family:courier new,courier">David Furman, PhD, MRSC<b><br></b>Herchel Smith Research Fellow
Department of Chemistry<br>University of Cambridge
Lensfield Road<br>CB2 1EW</span></pre></div></div></div></div>