<html>
  <head>
    <meta http-equiv="Content-Type" content="text/html; charset=UTF-8">
  </head>
  <body bgcolor="#FFFFFF" text="#000000">
    <p>Hello David,</p>
    <p>thoughts so far:<br>
    </p>
    <p>1) Which blas are you using? Sometimes openBlas steals extra
      threads, is your top output shown with thread reporting enabled
      (H)?</p>
    <p>2) Are you definitely getting the OMP_NUM_THREADS shell variable
      to each of the instances? <br>
    </p>
    <p>3) If this is related to the i-PI mailing list question, is there
      any reason not to run 8 serial instances with 1 thread each? The
      MPI parallelism overhead on just one process is probably not worth
      it.</p>
    <p>Regards</p>
    <p>Ben<br>
    </p>
    <div class="moz-cite-prefix">On 22/06/2019 14:41, David Furman
      wrote:<br>
    </div>
    <blockquote type="cite"
cite="mid:CADtBuo94A729tJFsTW5ev69sEs4qVNM=qOXkjMKFTS8_f1N8pg@mail.gmail.com">
      <meta http-equiv="Content-Type" content="text/html; charset=UTF-8">
      <div dir="ltr">
        <div>Hi all,</div>
        <div>I have a question concerning the running of DFTB+ with MPI.
          There seems to be a problem when running more than one DFTB+
          instance (with MPI parallelization)
          on the same system. <br>
        </div>
        <div><br>
        </div>
        <div>When I run 4 instances (separate folders) of dftb+ with 2
          cores each (i.e. 8 cores in total): <br>
        </div>
        <div>mpirun.openmpi -np 2 dftb+, each %CPU usage drops to 50%.<br>
        </div>
        <div><br>
        </div>
        <div>This is the 'top' output:</div>
        <div>
          <div>========================================================<br>
          </div>
          <div> 35426 user    20   0  423384  40404  18248 R  50.5 
            0.0   0:37.69 dftb+<br>
             35434 user    20   0  423080  39720  18248 R  50.2  0.0  
            0:05.70 dftb+<br>
             35396 user    20   0  422044  38660  17644 R  49.8  0.0  
            1:21.35 dftb+<br>
             35402 user    20   0  423384  40460  18304 R  49.8  0.0  
            1:09.54 dftb+<br>
             35403 user    20   0  422044  38872  17848 R  49.8  0.0  
            1:16.15 dftb+<br>
             35427 user    20   0  422044  39048  18032 R  49.8  0.0  
            0:32.93 dftb+<br>
             35435 user    20   0  421732  38164  17716 R  49.8  0.0  
            0:09.07 dftb+<br>
             35395 user    20   0  423384  40360  18204 R  49.5  0.0  
            1:13.18 dftb+<br>
            =========================================================</div>
          <div><br>
          </div>
        </div>
        <div>
          Whereas, when I run one instance with 8 cores, the efficiency
          is 100% as expected:</div>
        <div>
          <div><br>
          </div>
          <div>=========================================================<br>
          </div>
          <div> 35837 user    20   0  441868  35196  19112 R 100.3 
            0.0   0:04.90 dftb+<br>
             35828 user    20   0  442580  35676  19120 R 100.0  0.0  
            0:04.83 dftb+<br>
             35829 user    20   0  442544  36024  19432 R 100.0  0.0  
            0:04.91 dftb+<br>
             35830 user    20   0  441912  35356  19360 R 100.0  0.0  
            0:04.91 dftb+<br>
             35831 user    20   0  441688  35048  19304 R 100.0  0.0  
            0:04.90 dftb+<br>
             35833 user    20   0  441904  35656  19500 R 100.0  0.0  
            0:04.91 dftb+<br>
             35841 user    20   0  441516  34824  19076 R 100.0  0.0  
            0:04.89 dftb+<br>
             35843 user    20   0  441224  34456  18868 R  99.7  0.0  
            0:04.89 dftb+<br>
            =========================================================</div>
        </div>
        <div><br>
        </div>
        <div>I run both cases with OMP_NUM_THREADS=1.</div>
        <div>with open-mpi 1.10.2 and gcc 5.4.0.</div>
        <div><br>
        </div>
        <div>Could anyone give a hint about what is wrong? <br>
        </div>
        <br>
      </div>
      <br>
      <fieldset class="mimeAttachmentHeader"></fieldset>
      <pre class="moz-quote-pre" wrap="">_______________________________________________
DFTB-Plus-User mailing list
<a class="moz-txt-link-abbreviated" href="mailto:DFTB-Plus-User@mailman.zfn.uni-bremen.de">DFTB-Plus-User@mailman.zfn.uni-bremen.de</a>
<a class="moz-txt-link-freetext" href="https://mailman.zfn.uni-bremen.de/cgi-bin/mailman/listinfo/dftb-plus-user">https://mailman.zfn.uni-bremen.de/cgi-bin/mailman/listinfo/dftb-plus-user</a></pre>
    </blockquote>
    <pre class="moz-signature" cols="72">-- 
        Dr.  B.  Hourahine,  Senior  lecturer
            SUPA, Department  of  Physics,
             University  of  Strathclyde,
              John  Anderson  Building,
          107 Rottenrow, Glasgow G4 0NG, UK.                    
  +44 141 548 2325, <a class="moz-txt-link-abbreviated" href="mailto:benjamin.hourahine@strath.ac.uk">benjamin.hourahine@strath.ac.uk</a>

The  Department is  a partner  in SUPA,  the Scottish
            Universities Physics Alliance

The University  of Strathclyde  is a  charitable body,
       registered in Scotland, number SC015263</pre>
  </body>
</html>