<div dir="ltr">It would be possible to do this with varnish... but I have to ask... why bother?<div><br></div><div>If the purpose is to offload the IO load, then varnish is good, but you need to prime the cache... TBH, what I'd do first is put one or a pair of varnish boxes really close to the overloaded box, and force all traffic to that server through the close varnish boxes... using the do_stream feature, you'll get stuff out there fairly quickly.</div><div><br></div><div>After that is working nicely, I'd layer in the further out varnish boxes which interact with the near-varnish boxes to get their data.</div><div><br></div><div>This works well at scale since the local caches offer whatever's useful local to them, and the 'near-varnish' boxes handle the 'global caching' world.</div><div><br></div><div>This was how I arranged it at $PreviousGig and the outer CDN was getting a 85-90% cache hit ratio, and the inner tier was seeing 60% cache hit ratio's.  (The inner tier's ratio will depend heavily on how many outer tier's there are...)</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Sat, Dec 17, 2016 at 8:09 PM, Anton Berezhkov <span dir="ltr"><<a href="mailto:bubonic.pestilence@gmail.com" target="_blank">bubonic.pestilence@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">This is how I semi-implemented: <a href="http://pastebin.com/drDP8JxP" rel="noreferrer" target="_blank">http://pastebin.com/drDP8JxP</a><br>
Now i need to use script which will run "curi -I -X PUT <url-to-put-into-cache>".<br>
<span class="im HOEnZb"><br>
<br>
> On Dec 18, 2016, at 3:58 AM, Mark Staudinger <<a href="mailto:mark.staudinger@nyi.net">mark.staudinger@nyi.net</a>> wrote:<br>
><br>
</span><div class="HOEnZb"><div class="h5">> Hi Anton,<br>
><br>
> Have you looked into the "do_stream" feature of Varnish?  This will begin serving the content to the visitor without waiting for the entire object to be downloaded and stored in cache.  Set in vcl_backend_response.<br>
><br>
> <a href="https://github.com/mattiasgeniar/varnish-4.0-configuration-templates/blob/master/default.vcl" rel="noreferrer" target="_blank">https://github.com/<wbr>mattiasgeniar/varnish-4.0-<wbr>configuration-templates/blob/<wbr>master/default.vcl</a><br>
><br>
> Cheers,<br>
> Mark<br>
><br>
> On Sat, 17 Dec 2016 19:05:48 -0500, Anton Berezhkov <<a href="mailto:bubonic.pestilence@gmail.com">bubonic.pestilence@gmail.com</a>> wrote:<br>
><br>
>> Hello.<br>
>><br>
>> Switched to Varnish from Nginx for additional functionality and better control of handling requests.<br>
>> But still can't implement what i want. And I want simple behaviour "Redirect on MISS/PASS".<br>
>> I want to use VC for deploying quick "cdn" servers for our mp4-video-servers (used for HTML5 players), without need to store all files on this quick (ssd, upto 2x480GB space, full database about 6TB).<br>
>><br>
>> Currently we have 6 servers with SATA HDDs and hitting iowait like a trucks :)<br>
>><br>
>> Examples:<br>
>> - Request -> Varnish -> HIT: serve it using Varnish.<br>
>> - Request -> Varnish -> MISS: start caching data from backend, and instantly reply to client: `Location: <a href="http://backend/$req.url" rel="noreferrer" target="_blank">http://backend/$req.url</a>"<br>
>> - Request -> Varnish -> UPDATE: see `-> MISS` behaviour.<br>
>><br>
>> From my perspective, i should do this "detach & reply redirect" somewhere in `vcl_miss` OR `vcl_backend_fetch`, because if i understood correctly <a href="https://www.varnish-cache.org/docs/4.1/reference/states.html" rel="noreferrer" target="_blank">https://www.varnish-cache.org/<wbr>docs/4.1/reference/states.html</a><wbr>, i need vcl_backend_response to keep run in background (as additional thread) while doing return(synth(...)) to redirect user.<br>
>><br>
>> Similiar thing is "hitting stale content while object is updating".<br>
>> But in my case "replying redirect while object is updating".<br>
>><br>
>> Also, i pray to implement this without writing additional scripts, why? I could do external php/ruby checker/cache-pusher with nginx & etc. But scared by performance downgrade :(<br>
>> ______________________________<wbr>_________________<br>
>> varnish-misc mailing list<br>
>> <a href="mailto:varnish-misc@varnish-cache.org">varnish-misc@varnish-cache.org</a><br>
>> <a href="https://www.varnish-cache.org/lists/mailman/listinfo/varnish-misc" rel="noreferrer" target="_blank">https://www.varnish-cache.org/<wbr>lists/mailman/listinfo/<wbr>varnish-misc</a><br>
<br>
<br>
______________________________<wbr>_________________<br>
varnish-misc mailing list<br>
<a href="mailto:varnish-misc@varnish-cache.org">varnish-misc@varnish-cache.org</a><br>
<a href="https://www.varnish-cache.org/lists/mailman/listinfo/varnish-misc" rel="noreferrer" target="_blank">https://www.varnish-cache.org/<wbr>lists/mailman/listinfo/<wbr>varnish-misc</a><br>
</div></div></blockquote></div><br></div>