關于土佛的由來傳說也很多。相傳，三國時期，諸葛亮西征擒孟獲，來到永德駐扎在忙令河北岸。這里長期受戰亂所擾，諸葛亮見狀，覺得此地龍脈太硬，需破它龍穴之處，取寶鎮壓并朝拜侍奉之，方可保一方平安。當晚他并率兵來到山脈龍穴處，把戰死的士兵用坡上的黃土塑起來，并告誡當地百姓要經常燒香朝奉，這樣不但破了龍穴之土，還用戰死的士兵鎮壓住這里以守衛邊疆。從那以后這里就過上太平祥和的日子，這個龍穴就是今天我們的土佛群所在地。從此，地方百姓們燒香朝拜、磕頭祈愿，就逐漸形成了每年農歷正月十五和三月十五的土佛盛會，每到這個傳統的日子，當地群眾和游人都會自發到土佛山趕集、旅游和祭拜，大家殺牛、宰豬、殺雞敬奉心中的神靈，許下心中的愿望，祈求來年健康、平安、富裕發達和幸福。 沒有峰的挺拔，沒有山的夯厚，更沒有“小橋、流水、人家”的景致，就是這群最普通的土柱，穿破山的枝節，拔地而起，在觀閱峰的挺拔，在分享山的夯厚，于是半睡半醒間，被賦予了新的生命。 一柱柱“土佛”究竟是風雨剝削而成，還是時間碉刻而成？人們不得而知。只是由于對自然的敬仰，這里便成為無數朝拜者的圣地。
