<div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote">On Thu, Sep 18, 2014 at 5:54 PM, Adam Schumacher <span dir="ltr"><<a href="mailto:adam.schumacher@flightaware.com" target="_blank">adam.schumacher@flightaware.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div style="word-wrap:break-word;color:rgb(0,0,0);font-family:Calibri,sans-serif;font-size:14px"><span style="font-size:14px;font-family:Calibri,sans-serif"><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote"><div>Per,</div></div></div></div></span><div><br></div><div>Thanks for the reply</div><span class=""><span style="font-size:14px;font-family:Calibri,sans-serif"><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote"><div><br></div><blockquote style="margin:0 0 0 40px;border:none;padding:0px"><div>>It seems you are using Transient storage. Transient is usually uncapped. You can cap Transient but you should probably figure out why Varnish is using Transient storage. Usually it will >allocate Transient if </div><div>>1) The objects TTL < 10s</div><div>>2) Failed to allocate storage</div></blockquote></div></div></div></span><div style="font-size:14px;font-family:Calibri,sans-serif"><br></div></span><div><font>From varnishstat I see:</font></div><span class=""><div style="font-size:14px"><font face="Consolas" style="font-size:12px"><br></font></div><div style="font-size:14px"><font face="Consolas" style="font-size:12px">SMA.Transient.g_bytes      5525388          .   Bytes outstanding</font></div><div style="font-size:14px;font-family:Calibri,sans-serif"><span style="font-family:Consolas;font-size:medium"><br></span></div></span><div style="font-size:14px;font-family:Calibri,sans-serif">If that is the same Transient storage you are referring to, I don’t see how varnishd could be taking up as much VM as it is.  Or am I missing something?</div></div></blockquote><div><br></div><div>No, you're not. I read your email too fast. Seems your transient usage is relatively decent and not in the gigabytes. </div><div><br></div><div>Wrt, Dridis point about threads might also not be that relevant as only 700-800 threads are being created. Session workspace is virtual until allocated so I don't think that is where your memory is disappearing. </div><div><br></div><div>24 thread pools is a bit odd (you only need two) but don't know of any leaks it might trigger. </div><div><br></div><div>I'd stay away from classic hashing as cribit is stable and you're the only one I know that uses it.</div><div><br></div><div> When is the varnishstat taken? Right before running out of memory? That would probably be useful.<br></div><div><br></div><div><br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div style="word-wrap:break-word;color:rgb(0,0,0);font-family:Calibri,sans-serif;font-size:14px"><span class=""><span style="font-size:14px;font-family:Calibri,sans-serif"><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote"><div><br></div><blockquote style="margin:0 0 0 40px;border:none;padding:0px"><div>>As a hotfix I would cap Transient at, say, 2G. "varnishd -s Transient=malloc,2G". You can probably up your main storage quite a bit with this in place.</div></blockquote></div></div></div></span><div><br></div></span><div>I’ll give it a shot and let you know.  It usually takes a couple days before filling up all the physical memory.</div></div></blockquote><div><br></div><div>Well, I'm somewhat doubtful it it will actually work. </div></div><div><br></div>-- <br><div dir="ltr"><table border="0" cellpadding="0" cellspacing="0" style="border-bottom-width:1px;padding-top:5px;border-top-style:solid;width:550px;padding-bottom:5px;border-bottom-color:rgb(238,238,238);border-top-width:1px;border-bottom-style:solid;line-height:1.5em;border-top-color:rgb(238,238,238);color:rgb(102,102,102);font-size:12px;font-family:'Helvetica Neue',Arial,sans-serif;margin-top:20px"><tbody><tr><td width="100"><img src="http://www.varnish-software.com/static/media/logo-email.png"></td><td><font color="#222222"><span style="font-size:14px"><b>Per Buer</b></span></font><br>CTO | Varnish Software AS<br>Cell: <a value="+4790181750" style="color:rgb(17,85,204)">+47 95839117</a><br><span style="font-weight:bold">We Make Websites Fly!<br><a href="https://www.varnish-software.com/" style="color:rgb(17,85,204)" target="_blank">www.varnish-software.com</a></span></td></tr></tbody></table><br><div style="color:rgb(136,136,136)"><a href="http://info.varnish-software.com/varnish-summits-autumn-2014-registration" style="color:rgb(17,85,204)" target="_blank"><img src="https://www.varnish-software.com/sites/default/files/u388/masters_s_0.png" alt=" Register now"></a></div></div>
</div></div>