<div class="gmail_quote">On Sat, Jan 16, 2010 at 4:16 PM, Michael Fischer <span dir="ltr"><<a href="mailto:michael@dynamine.net">michael@dynamine.net</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">
<div class="gmail_quote"><div class="im">On Sat, Jan 16, 2010 at 4:10 PM, David Birdsong <span dir="ltr"><<a href="mailto:david.birdsong@gmail.com" target="_blank">david.birdsong@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">

<div>On Sat, Jan 16, 2010 at 3:55 PM, Michael Fischer <<a href="mailto:michael@dynamine.net" target="_blank">michael@dynamine.net</a>> wrote:<br>
> This scheme seems very baroque.  Why not just reduce the size of your caches<br>
> so you don't page-thrash and let Varnish's builtin LRU algorithm handle the<br>
> eviction?<br>
<br>
</div>Then I wont be able to cache nearly as much.  I want to originate as<br>
much content as possible on the varnish servers ie. reduce backend<br>
fetches.  There is no way I could fit any useful amount of my working<br>
set into a storage that could handle the evictions without spending an<br>
unreasonable amount of money (basically fit it in RAM.)  -I'd love to<br>
be proven wrong though.  As far as random reads go, the SSD's are<br>
really good; it's just the writes that kill me.<br>
<br>
Right now a mostly filled cache server with ~80-160GB allocated can<br>
maintain between 90-92% cache hit ratio at 400-500Mb/sec.  When it<br>
fills up completely eviction cause the machine to keel over, parent<br>
can't ping the child, health checks fail -general badness.  I'd like<br>
to let the eviction run under supervision (automated supervision) and<br>
augment the eviction such that it buys back a few hours not minutes.</blockquote><div><br></div></div><div>What OS are you running?  This might be one of those rare cases where a little more "swappiness" (i.e., aggressiveness of the pageout algorithm) might buy you something.</div>
</div></blockquote><div><br></div><div>This page may be useful if you're running on Linux: <a href="http://www.westnet.com/~gsmith/content/linux-pdflush.htm">http://www.westnet.com/~gsmith/content/linux-pdflush.htm</a></div>
<div><br></div><div>--Michael </div></div>