<div dir="ltr">Hi there!<div><br></div><div>In the last 18 days, varnish reports its child died 8 times.</div><div><br></div><div>We had more traffic than usual those past few days, but I don't think it was anything Varnish can't handle. </div><div><br></div><div>We run Varnish on Kubernetes on GCP.</div><div><br></div><div>I was able to retrieve the last panic via varnishadm (see below). The other panics are the same as the one below (same assertion failing, same line number). (I would send them too, but it's amazingly difficult to get logs out of google cloud).</div><div><br></div><div>If the panic is not enough, I can send our configuration file on request.</div><div><br></div><div><div><font face="monospace, monospace">Panic at: Tue, 28 Nov 2017 13:44:30 GMT</font></div><div><font face="monospace, monospace">Assert error in HSH_Lookup(), cache/cache_hash.c line 432:</font></div><div><font face="monospace, monospace">  Condition((vary) != 0) not true.</font></div><div><font face="monospace, monospace">version = varnish-5.2.0 revision 4c4875cbf, vrt api = 6.1</font></div><div><font face="monospace, monospace">ident = Linux,4.4.64+,x86_64,-junix,-smalloc,-smalloc,-hcritbit,epoll</font></div><div><font face="monospace, monospace">now = 1755374.451854 (mono), 1511876668.180978 (real)</font></div><div><font face="monospace, monospace">Backtrace:</font></div><div><font face="monospace, monospace">  0x556f4d169e36: varnishd(+0x4ae36) [0x556f4d169e36]</font></div><div><font face="monospace, monospace">  0x556f4d1b4b80: varnishd(VAS_Fail+0x40) [0x556f4d1b4b80]</font></div><div><font face="monospace, monospace">  0x556f4d15f1b2: varnishd(HSH_Lookup+0xcb2) [0x556f4d15f1b2]</font></div><div><font face="monospace, monospace">  0x556f4d16e14f: varnishd(CNT_Request+0xedf) [0x556f4d16e14f]</font></div><div><font face="monospace, monospace">  0x556f4d18dda2: varnishd(+0x6eda2) [0x556f4d18dda2]</font></div><div><font face="monospace, monospace">  0x556f4d18525c: varnishd(+0x6625c) [0x556f4d18525c]</font></div><div><font face="monospace, monospace">  0x556f4d185780: varnishd(+0x66780) [0x556f4d185780]</font></div><div><font face="monospace, monospace">  0x7f13aa27c494: /lib/x86_64-linux-gnu/libpthread.so.0(+0x7494) [0x7f13aa27c494]</font></div><div><font face="monospace, monospace">  0x7f13a9fbeaff: /lib/x86_64-linux-gnu/libc.so.6(clone+0x3f) [0x7f13a9fbeaff]</font></div><div><font face="monospace, monospace">thread = (cache-worker)</font></div><div><font face="monospace, monospace">thr.req = 0x7f0c615bf020 {</font></div><div><font face="monospace, monospace">  vxid = 59420066, transport = HTTP/1 {</font></div><div><font face="monospace, monospace">    state = HTTP1::Proc</font></div><div><font face="monospace, monospace">  }</font></div><div><font face="monospace, monospace">  step = R_STP_LOOKUP,</font></div><div><font face="monospace, monospace">  req_body = R_BODY_NONE,</font></div><div><font face="monospace, monospace">  restarts = 0, esi_level = 0,</font></div><div><font face="monospace, monospace">  sp = 0x7f12be06de20 {</font></div><div><font face="monospace, monospace">    fd = 82, vxid = 59420065,</font></div><div><font face="monospace, monospace">    t_open = 1511876667.587429,</font></div><div><font face="monospace, monospace">    t_idle = 1511876667.587429,</font></div><div><font face="monospace, monospace">    transport = HTTP/1 {</font></div><div><font face="monospace, monospace">      state = HTTP1::Proc</font></div><div><font face="monospace, monospace">    }</font></div><div><font face="monospace, monospace">    client = 10.44.11.6 50566,</font></div><div><font face="monospace, monospace">    privs = 0x7f12be06de88 {</font></div><div><font face="monospace, monospace">    },</font></div><div><font face="monospace, monospace">  },</font></div><div><font face="monospace, monospace">  worker = 0x7f1374734dd0 {</font></div><div><font face="monospace, monospace">    stack = {0x7f1374735000 -> 0x7f13746a2000},</font></div><div><font face="monospace, monospace">    ws = 0x7f1374734e78 {</font></div><div><font face="monospace, monospace">      id = \"wrk\",</font></div><div><font face="monospace, monospace">      {s, f, r, e} = {0x7f1374734190, +0, (nil), +2040},</font></div><div><font face="monospace, monospace">    },</font></div><div><font face="monospace, monospace">    VCL::method = DELIVER,</font></div><div><font face="monospace, monospace">    VCL::return = deliver,</font></div><div><font face="monospace, monospace">    VCL::methods = {},</font></div><div><font face="monospace, monospace">  },</font></div><div><font face="monospace, monospace">  ws = 0x7f0c615bf208 {</font></div><div><font face="monospace, monospace">    id = \"req\",</font></div><div><font face="monospace, monospace">    {s, f, r, e} = {0x7f0c615c1008, +3920, +516080, +516080},</font></div><div><font face="monospace, monospace">  },</font></div><div><font face="monospace, monospace">  http_conn = 0x7f0c615bf130 {</font></div><div><font face="monospace, monospace">    fd = 82 (@0x7f12be06de38),</font></div><div><font face="monospace, monospace">    doclose = NULL,</font></div><div><font face="monospace, monospace">    ws = 0x7f0c615bf208 {</font></div><div><font face="monospace, monospace">      [Already dumped, see above]</font></div><div><font face="monospace, monospace">    },</font></div><div><font face="monospace, monospace">    {rxbuf_b, rxbuf_e} = {0x7f0c615c1008, 0x7f0c615c1e27},</font></div><div><font face="monospace, monospace">    {pipeline_b, pipeline_e} = {(nil), (nil)},</font></div><div><font face="monospace, monospace">    content_length = -1,</font></div><div><font face="monospace, monospace">    body_status = none,</font></div><div><font face="monospace, monospace">    first_byte_timeout = 0.000000,</font></div><div><font face="monospace, monospace">    between_bytes_timeout = 0.000000,</font></div><div><font face="monospace, monospace">  },</font></div><div><font face="monospace, monospace">  http[req] = 0x7f0c615bf2a0 {</font></div><div><font face="monospace, monospace">    ws = 0x7f0c615bf208 {</font></div><div><font face="monospace, monospace">      [Already dumped, see above]</font></div><div><font face="monospace, monospace">    },</font></div><div><font face="monospace, monospace">    hdrs {</font></div><div><font face="monospace, monospace">      \"GET\",</font></div><div><font face="monospace, monospace">      \"/api/rest/reviews/product/6430\",</font></div><div><font face="monospace, monospace">      \"HTTP/1.1\",</font></div><div><font face="monospace, monospace">      \"Host: <a href="http://www.betabrand.com">www.betabrand.com</a>\",</font></div><div><font face="monospace, monospace">      \"Accept-Encoding: gzip\",</font></div><div><font face="monospace, monospace">      \"CF-IPCountry: US\",</font></div><div><font face="monospace, monospace">      \"CF-RAY: 3c4dc30d9aae55b2-ORD\",</font></div><div><font face="monospace, monospace">      \"CF-Visitor: {\"scheme\":\"https\"}\",</font></div><div><font face="monospace, monospace">      \"user-agent: Mozilla/5.0 (iPhone; CPU iPhone OS 11_0_3 like Mac OS X) AppleWebKit/604.1.38 (KHTML, like Gecko) Version/11.0 Mobile/15A432 Safari/604.1\",</font></div><div><font face="monospace, monospace">      \"accept-language: en-us\",</font></div><div><font face="monospace, monospace">      \"referer: <a href="https://www.betabrand.com/womens/pants/womens-black-boot-flare-dress-pant-yoga-pants\">https://www.betabrand.com/womens/pants/womens-black-boot-flare-dress-pant-yoga-pants\</a>",</font></div><div><font face="monospace, monospace">      \"cookie: optimizelyPendingLogEvents=%5B%22n%3Dimage_impression%26u%3Doeu1511755011199r0.44405056492852124%26wxhr%3Dtrue%26time%3D1511876665.858%26f%3D8443224466%2C8247617066%2C8411440184%2C7780900332%2C8106662898%26g%3D%22%5D; sailthru_content=d9d08cd819b052bb46ae11d6f4f23820f9f47e5805766810fea9aeef193727f0f94155821eef8e7bdb5607beb554d9f12fd3caaaf239d3b03d10e1dc4b5fe514; NaN_hash=d1015888FXVD1484095712135476; __utma=207700493.554833224.1511755020.1511755021.1511876545.2; __utmb=207700493.5.10.1511876545; __utmc=207700493; __utmz=207700493.1511876545.2.2.utmcsr=Google|utmgclid=EAIaIQobChMIwbet_7Lh1wIVk7fACh0pGAaaEAAYASAAEgLFrPD_BwE|utmccn=Brand_General|utmcmd=Retention|utmctr=(not%20provided); _ga=GA1.2.554833224.1511755020; _gac_UA-17580748-1=1.1511876545.EAIaIQobChMIwbet_7Lh1wIVk7fACh0pGAaaEAAYASAAEgLFrPD_BwE; _gac_UA-17580748-8=1.1511876545.EAIaIQobChMIwbet_7Lh1wIVk7fACh0pGAaaEAAYASAAEgLFrPD_BwE; _gid=GA1.2.1787521728.1511876545; _hp2_id.777713614=%7B%22userId%22%3A%221402506040644741%22%2C%22pageviewId%22%3A%226182215729724641%22%2C%22sessionId%22%3A%224386307704701158%22%2C%22identity%22%3Anull%2C%22trackerVersion%22%3A%223.0%22%7D; _hp2_ses_props.777713614=%7B%22r%22%3A%22https%3A%2F%<a href="http://2Fwww.google.com">2Fwww.google.com</a>%2F%22%2C%22us%22%3A%22Google%22%2C%22um%22%3A%22Retention%22%2C%22ua%22%3A%22Brand_General%22%2C%22ts%22%3A1511876545351%2C%22d%22%3A%<a href="http://22www.betabrand.com">22www.betabrand.com</a>%22%2C%22h%22%3A%22%2Fsale%22%7D; _sp_id.ac93=0115679b-fdb3-417c-9994-b1387273d811.1511755021.2.1511876663.1511755037.2396b5db-5ad9-4e6e-9061-f19c13780fc6; _sp_ses.ac93=*; optimizelyBuckets=%7B%228443224466%22%3A%228449793114%22%2C%228247617066%22%3A%228249041800%22%2C%228411440184%22%3A%228407050657%22%2C%228106662898%22%3A%228109860945%22%7D; _gat_UA-17580748-8=1; frontend=deadbeefdeadbeefdeadbeefaa; __zlcmid=jhgvWpO31r9clR; __utmt_UA-17580748-1=1; _uetsid=_ueta633ebda; _bbli=0; fs_uid=<a href="http://www.fullstory.com">www.fullstory.com</a>`1bTW`4950547299041280:5668600916475904; uuid=740c5206-78d1-4902-8896-a5e8e90eb7c8; bb-seed=0.01224735359031548; betabrand-campaign-first=Brand_General,Google,Retention,undefined,undefined,Tue Nov 28 2017 07:42:23 GMT-0600 (CST); betabrand-campaign-last=Brand_General,Google,Retention,undefined,undefined,Tue Nov 28 2017 07:42:23 GMT-0600 (CST); betabrand-campaign-session=Brand_General,Google,Retention,undefined,undefined,Tue Nov 28 2017 07:42:23 GMT-0600 (CST); optimizelyEndUserId=oeu1511755011199r0.44405056492852124; optimizelySegments=%7B%22172841198%22%3A%22campaign%22%2C%22172864896%22%3A%22safari%22%2C%22173083061%22%3A%22true%22%2C%223972941021%22%3A%22brand_general%22%7D; __qca=P0-1874833837-1511755021423; sailthru_visitor=b78950af-8d6d-4cb6-8d54-a497f97dd6ba; betabrand-timing=1; 3060738.3440491=e5d3965e-bb79-4cde-b307-d532ffdec44c; tracker_device=34b4b287-87e9-4418-bef5-28ab27d9038c; EcommTest1=2; __cfduid=dd480648d530b3001597f1e574200f3611511755011\",</font></div><div><font face="monospace, monospace">      \"CF-Connecting-IP: 73.44.212.19\",</font></div><div><font face="monospace, monospace">      \"X-Forwarded-Proto: https\",</font></div><div><font face="monospace, monospace">      \"Connection: close\",</font></div><div><font face="monospace, monospace">      \"X-Request-Start: t=1511876667586\",</font></div><div><font face="monospace, monospace">      \"X-Queue-Start: t=1511876667586\",</font></div><div><font face="monospace, monospace">      \"X-Unique-ID: 0A80002E:8771_0A2C0B06:01BB_5A1D683B_F1ABD22:0009\",</font></div><div><font face="monospace, monospace">      \"X-Forwarded-For: 73.44.212.19, 10.128.0.46, 10.44.11.6, 10.44.11.6\",</font></div><div><font face="monospace, monospace">      \"X-PSA-Blocking-Rewrite: betabrand-pagespeed\",</font></div><div><font face="monospace, monospace">      \"Accept: application/json\",</font></div><div><font face="monospace, monospace">    },</font></div><div><font face="monospace, monospace">  },</font></div><div><font face="monospace, monospace">  vcl = {</font></div><div><font face="monospace, monospace">    name = \"boot\",</font></div><div><font face="monospace, monospace">    busy = 92,</font></div><div><font face="monospace, monospace">    discard = 0,</font></div><div><font face="monospace, monospace">    state = auto,</font></div><div><font face="monospace, monospace">    temp = warm,</font></div><div><font face="monospace, monospace">    conf = {</font></div><div><font face="monospace, monospace">      srcname = {</font></div><div><font face="monospace, monospace">        \"/etc/varnish/default.vcl\",</font></div><div><font face="monospace, monospace">        \"Builtin\",</font></div><div><font face="monospace, monospace">      },</font></div><div><font face="monospace, monospace">    },</font></div><div><font face="monospace, monospace">  },</font></div><div><font face="monospace, monospace">  vmods = {</font></div><div><font face="monospace, monospace">    std = {Varnish 5.2.0 4c4875cbf, 0.0},</font></div><div><font face="monospace, monospace">    directors = {Varnish 5.2.0 4c4875cbf, 0.0},</font></div><div><font face="monospace, monospace">  },</font></div><div><font face="monospace, monospace">  flags = {</font></div><div><font face="monospace, monospace">  },</font></div><div><font face="monospace, monospace">},</font></div><div><font face="monospace, monospace">thr.busyobj = (nil) {</font></div><div><font face="monospace, monospace">},</font></div><div><br></div></div><div>Thanks for your help!</div><div>Cheers,</div></div>