南鯤鯓代天府落成後，五王依約，為「囝仔公」立祠廟於南鄰，即今萬善堂之地址。日據時期，廟後的急水溪常常氾濫成災，嚴重影響到廟地的安危，並使得廟和北槺榔山幾乎隔離斷絕，往來只能依靠排筏。沒多久 ，「囡仔公」首當其衝被洪水沖垮，後來只好遷徙到代天府東北處暫住。

民國六年，廟宇距離支流僅十來步，南鯤鯓廟岌岌可危。這時，五王起駕，畫了七張「犁頭符」，然後命人購買犁頭七個、大鑼二面，前往祭溪。作法完後，廟南尖地逐漸浮復。隔年，廟方奉五王指示，發動善信二萬餘人築堤護廟，不出數月，堤防築成，稱之為「五王堤」。

五王堤完成後，南鯤鯓已沒有後顧之憂，「囝仔公」於是遷回原地重建小廟，廟稱「萬善堂」，神稱「萬善爺」，並雕造金身和鎮殿金身各一尊。