从前，张公洞旁边有一座向阳道院，叫“洞灵观”。唐朝时候洞灵观里有一老一小两个道士。老道想吃长生不死之药，叫小道士整年整月在炉子上烧炼仙丹，自己只顾天天上街白相。小道士除炼丹，既要烧茶煮饭，扫地拂尘，还要服侍老道，稍不如意，便要挨打。所以小道士很怕老道，巴他不在家。

有一天，不知道哪里来了一个小娃娃，穿着红兜肚，扎条小辫子，长得又白又胖，一见就惹人喜欢。小娃娃来逗小道士玩，两个人就挠痒痒、捉迷藏，洞灵观里第一次有了笑声。从此，小娃娃天天和小道士玩耍。

老道接连几天发觉炉子烧得不旺，就把小道士喊到面前，一把揪住小道士的耳朵问：“叫你炼丹你不炼，你这几天干啥？从实讲来！”小道士没有办法，捂着耳朵说了实话。道听了想：方圆几十里没有人家，谁家小孩会跑老远的路来玩耍？唔，说不定是千年首乌精变的！要是我吃了首乌精，就会成仙，何必再炼什么仙丹？老道这才松了手，找来一根针，穿上红绿线，对小道士说：“明天我上街，要是他来，你就这般这般……你如果照师傅我的话做，以后就不再叫你炼丹了。”

第二天，胖娃娃又来了。正玩得高兴时小道士就把针线偷偷插在胖娃娃的辫梢上。玩了一阵，胖娃娃见天色不早，走了。老道回来，问：“办妥了没有？”小道士说：“照师傅的话做了。”老道说：“好，你找把锄头跟我来。”他们出了门去找长首乌的地方，终于找到一棵老粗老粗的首乌藤。小道士很奇怪：这根穿红绿丝线的针怎么别在这根藤上了？老道说：“呆着做啥？快点帮我挖？当心不要把根弄坏！”小道士“哼哧哼哧”，挖出了一个大首乌，有头、有身、有手脚，活像个胖娃娃。老道高兴得不得了，捧着首乌回到观里，叫小道士连夜点起火来蒸。首乌精要连蒸七七四十九天。蒸到最后一天时，老道想：让我到澡堂里去洗个澡，换件新衣裳，好干干净净吃了首乌精成仙去。便对小道士说：“我上街去一趟，你蹲在家里好好烧火。”说完，挟着衣包出门去了。

一会儿锅里透出一阵阵香气，小道士馋得口水都流出来了，不管三七二十一，把锅盖一拎，伸手拗一块蒸熟的首乌塞到嘴里，一尝，又肥又鲜。越吃越要吃，拗了一块又一块，勿知勿觉把首乌精吃个精光。这时院中小毛驴在哼吭哼吭地叫起来，小道士心想：小毛驴也想吃首乌吧，何不将锅中汤给它喝点。小毛驴也把锅中汤喝了个精光。

正在这时候，小道士听见外面路上响起了脚步声。啊呀勿好！老道士绝不会饶过我，赶快逃命！正当小道士要去开后门的辰光，小毛驴又叫了起来。小道士手搭驴背，翻身骑了上去。驴子放开四蹄跑起来，差一点把小道士甩了下来，小道士低头一看，原来自己倒骑在毛驴上。那边老道龇牙咧嘴追上来，这边小道士也就顾不得倒骑不倒骑，只管吆喝驴子快跑。小毛驴跑了几步，突然四蹄腾空向天上飞去，不见踪影了。这位倒骑毛驴的小道士从此成了仙，他就是八仙之一的“张果老”。

据说张果老成仙后还常到洞灵观旁的一个山洞里来隐居，把这个洞叫做“张公福地”，还把其他七仙请到洞里来游玩、修炼。因此，后人就把这个山洞叫做“张公洞”。