<div dir="ltr">Hi<br><div class="gmail_extra"><br><div class="gmail_quote">On Thu, Sep 18, 2014 at 10:30 PM, Adam Schumacher <span dir="ltr"><<a href="mailto:adam.schumacher@flightaware.com" target="_blank">adam.schumacher@flightaware.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div style="word-wrap:break-word"><span style="color:rgb(0,0,0);font-family:Calibri,sans-serif;font-size:14px"><div style="font-family:Calibri;font-size:11pt;text-align:left;color:black;BORDER-BOTTOM:medium none;BORDER-LEFT:medium none;PADDING-BOTTOM:0in;PADDING-LEFT:0in;PADDING-RIGHT:0in;BORDER-TOP:#b5c4df 1pt solid;BORDER-RIGHT:medium none;PADDING-TOP:3pt"><br></div></span><div style="color:rgb(0,0,0);font-family:Calibri,sans-serif;font-size:14px">There are 24 thread pools because there are 24 cores in the server and I’m sure someone read somewhere that a pool per was the way to go.  Probably that was a long time ago in a galaxy far, far away….</div></div></blockquote><div><br></div><div><br></div><div>There was an assumption that the thread pools locking structures could stay local on each core and as such we did at some point recommend having one pool per core. However, we've been unable to see any performance increase in going past two pools. I think there might even be a small performance degradation with using many pools, but I'm not certain. Search the archive if you want to find out.</div><div><br></div><div>Anyways, two pool is enough.</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div style="word-wrap:break-word"><div style="color:rgb(0,0,0);font-family:Calibri,sans-serif;font-size:14px">What are the significant differences between classic and cribit hashing?  </div></div></blockquote><div><br></div><div>During the 2.1 dev cycle critbit replaces the classic hash. Critbit is autoscaling and is more or less lockless so it became the default. Why we haven't retired the class hashing is a relevant question. We probably should.</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div style="word-wrap:break-word"><div style="color:rgb(0,0,0);font-family:Calibri,sans-serif;font-size:14px"><br></div><div style="color:rgb(0,0,0);font-family:Calibri,sans-serif;font-size:14px">The system is currently fully using available physical memory and has burned through about 15% of the swap space.   The varnishstat was taken after the physical memory was exhausted and with just a few Gigs of swap in use.  Here is a current snapshot from top and varnishstat –1 if that helps.  </div></div></blockquote><div><br></div><div>Could it be that your memory allocator is leaking memory? The varnishstat looks decent, there are no counters that are off the charts. Last time we saw behaviour like that was when we were seeing seeing leaks with malloc on Linux, before we switched to jemalloc.</div><div><br></div><div>I think Varnish will try to link with jemalloc if it is available on your system. Is it? As you can see there are quite a few allocations happening and if that memory is not reclaimed and reused you'll be leaking quite a bit.</div><div><br></div></div><div><br></div>-- <br><div dir="ltr"><table border="0" cellpadding="0" cellspacing="0" style="border-bottom-width:1px;padding-top:5px;border-top-style:solid;width:550px;padding-bottom:5px;border-bottom-color:rgb(238,238,238);border-top-width:1px;border-bottom-style:solid;line-height:1.5em;border-top-color:rgb(238,238,238);color:rgb(102,102,102);font-size:12px;font-family:'Helvetica Neue',Arial,sans-serif;margin-top:20px"><tbody><tr><td width="100"><img src="http://www.varnish-software.com/static/media/logo-email.png"></td><td><font color="#222222"><span style="font-size:14px"><b>Per Buer</b></span></font><br>CTO | Varnish Software AS<br>Cell: <a value="+4790181750" style="color:rgb(17,85,204)">+47 95839117</a><br><span style="font-weight:bold">We Make Websites Fly!<br><a href="https://www.varnish-software.com/" style="color:rgb(17,85,204)" target="_blank">www.varnish-software.com</a></span></td></tr></tbody></table><br><div style="color:rgb(136,136,136)"><a href="http://info.varnish-software.com/varnish-summits-autumn-2014-registration" style="color:rgb(17,85,204)" target="_blank"><img src="https://www.varnish-software.com/sites/default/files/u388/masters_s_0.png" alt=" Register now"></a></div></div>
</div></div>