斯時，槺榔山一片荒塚，向來為「囝仔公」所佔領，囝仔公生前是一個牧童，死後葬在這裡，因得到靈氣而成神。囝仔公知道五王要在這裡建廟，馬上提出抗議，說：「這塊地是我生前所有，埋有銅針為證」。五王反駁說：「我們早在渡海來台時，就已經看中此地，並埋有銅錢為記 」。雙方會同土地公相驗，結果：「銅針」插在「錢」孔之中，無法公斷。

雙方由爭吵轉為武鬥，囝仔公召集陰兵陰將和五王展開一場「神鬼大戰」。每到夜晚，刀槍相擊之聲遠及數里，連月不休，五王以三王爺為主將，大戰囝仔公的猛將「掃帚精」，雙方互有勝敗。後來，赤山嚴佛祖知道這件事，就請天上聖母和保生大帝出面協調，雙方訂下契約：
        一、五王代囝仔公建小廟。
        二、大廟來進香，小廟必有敬。
        三、有福同享，光大南鯤鯓香火。

現在三王吳府千歲的神像額頭有一道傷痕，就是當年那場大戰所留下來的英勇標幟，廟方曾經多次請工匠來修補，都無法成功。