<div dir="ltr"><div>Hi!</div><div><br></div><div>So, the big question is: do you own the content/domains that the users will access?</div><div><br></div><div>If yes, there's absolutely no problem, route to Varnish, let it cache, and you're done. There are certain vmods, like vmod_dynamic or vmod_reqwest that will allow you to dynamically find a backend based on a hostname.</div><div><br></div><div>If you don't own the content, it isn't advisable to try and cache it, like, at all.</div><div>Let's say for example you want to use varnish to cache content for <a href="http://facebook.com">facebook.com</a> and let's assume you can hijack DNS response to send your users to Varnish instead of to the actual facebook servers.</div><div><br></div><div>If the request Varnish receives is HTTPS (encrypted), well, you're out of luck because you won't have the certificates to pretend being <a href="http://facebook.com">facebook.com</a>, your users will realize it and bail out. The only way around it is to try something like what Kazakhstan did a few years back [1], but I don't think that would fly in Canada.</div><div>If you're thinking "wait, can't I just cache the response without decrypting it?", nope, because the whole connection is encrypted, and either you see everything (you have the certificate/key), or nothing (you don't have them).</div><div>In that latter case, the best you can do is blindly redirect the connection to the facebook server, but then you are just an HTTPS proxy, and caching isn't relevant.</div><div><br></div><div>If we are talking about plaintext HTTP, and ignoring that your browser and any website worth its salt (including <a href="http://facebook.com">facebook.com</a>) will fight you very hard and try to go encrypted, you have another issue: you need to know what's cacheable, and that's a doozy.</div><div>There's no universal rule to what's cacheable, and whatever set of rules you come up with, I'll bet I can find a website that'll break them.</div><div>And the price of failure is super high too: imagine you start sending the same cached bank statement to everybody, people will sue you into the ground.</div><div><br></div><div>So, all in all, meh, I wouldn't worry about it. And it's not just Varnish, it's any caching solution: you just can't "cache the internet".</div><div><br></div><div>Sorry if that reads like a very long-winded way of saying "NO", but as I've had to answer this question many times over the years, I thought I'd hammer that point home once and for all :-)<br></div><div><br></div><div><br></div><div>[1]: <a href="https://en.wikipedia.org/wiki/Kazakhstan_man-in-the-middle_attack">https://en.wikipedia.org/wiki/Kazakhstan_man-in-the-middle_attack</a></div><div><br></div><div><div><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div>-- <br></div><div>Guillaume Quintard<br></div></div></div></div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Nov 21, 2022 at 7:13 PM InfoVerse Inc. <<a href="mailto:info@infoverse.ca">info@infoverse.ca</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Hello list,<div><br></div><div>I am working on a design to use Varnish-Cache as a private CDN. The solution is for a small regional ISP in a remote region who wants to provide fast cached content to its users and minimize access to the Internet.</div><div><br></div><div>Since this is an ISP, the users accessing the Internet can be routed to varnish cache servers, however, in the event of a "miss" the content should be fetched from the Internet. This is a different requirement than the traditional backend server.</div><div><br></div><div>How can this be achieved with Varnish? I have done a bit of research on backends, directors but they all require a server or group of servers whose content can be cached.</div><div><br></div><div>Is it possible to configure multiple Varnish storage servers as backends? The storage servers will fetch data from the Internet in case of a miss. Is this a workable solution?</div><div><br></div><div>Looking forward to a solution.</div><div><br></div><div>Thanks</div><div>InfoVerse </div></div>
_______________________________________________<br>
varnish-misc mailing list<br>
<a href="mailto:varnish-misc@varnish-cache.org" target="_blank">varnish-misc@varnish-cache.org</a><br>
<a href="https://www.varnish-cache.org/lists/mailman/listinfo/varnish-misc" rel="noreferrer" target="_blank">https://www.varnish-cache.org/lists/mailman/listinfo/varnish-misc</a><br>
</blockquote></div>