忆德祖师刚好独立修建一座寺院，就主动提出去永安寺。虽然忆德祖师不算是少林寺正式弟子，但是忆德祖师的请求得到了少林寺高层的默许。忆德祖师是英国公，再说他自愿去修建一个寺院，这本身就死一个天大的好事。少林寺为忆德祖师开出证明，任命忆德祖师为永安寺代理主持。忆德祖师当着大家的面接手了这个任务，没想到这么一接手耗费了他后半生的心血。
忆德祖师自从开悟后，就已经决定放弃英国公职务，反正家里有好几个弟弟，谁都可以代替他接任英国公职务。他以为建造一个并不大的寺院很容易，只要有钱只要自己亲自监督，用不了多久就可以建造一个不错的寺院。到时候忆德祖师就算不是寺院的当家师傅，也可以做一个普通僧人，一直留在这个寺院里面修佛学佛。
忆德祖师回到家里找来了几个弟弟说粗自己的想法。对于忆德祖师自愿放弃地位，几个弟弟没有意见反而心里很开心。但是忆德祖师说要英国公全力资助营造一个寺院时，几个弟弟都觉得为难。最后忆德祖师拍板，以自己放弃继承权的代价，获得英国公家三分之一财产作为建造永安寺的资金。忆德祖师亲自写下自愿放弃爵位，把爵位顺延给弟弟的奏折。等到朝廷批准之后，得到修建永安寺的资金就会离开。
不久之后朝廷同意了，新任的英国公也爽快地把钱交给了忆德祖师。忆德祖师低着几个自愿和自己一起修行的下人连夜赶到了永安寺。虽然永安寺的破旧令大家大吃一惊，但是忆德祖师依然决定住下来。也就在这个晚上，忆德祖师在破旧的永安寺大殿许下了一个大愿。当永安寺修建完成的时候，就是忆德祖师正式出家的日子。
忆德祖师以为资金够了，忍受总会好办的，材料可以花大价钱买，没想到事情没有这么简单，永安寺不但破旧了而且欠着许多人的钱。永安寺想要打工必须先把欠着的钱补上，还债用去了总资金的一成。忆德祖师私下一打听才知道材料和人手问题也很严重。由于海上不太平，山路难走，就算有材料也运不进来，何况现在材料价格一天一个价格老贵了。人手的问题主要是大家都不愿意白干活。这里的老百姓太穷了，让她们干活不好意思让他们白干。老百姓信佛的不多，当然不愿意上山干活。要是忆德祖师利用衙门的力量逼打击干活的话，是会让大家更加不愿意信佛失去了在这里建立寺院的最初目的。要是话大家前倾老百姓干活的话，光是工钱就会一年过去总资金的三成，忆德祖师的钱看来远远不够。
忆德祖师决定一边购买材料，一边由她亲自去化缘，请求有钱人出资建造永安寺。忆德祖师首先在福|建本地化缘，没想到他不但没有说服一个有钱人帮助，反而被人当做骗子抓进了衙门。虽然最后衙门的人确认了忆德祖师的身份放了忆德祖师，但是忆德祖师一个堂堂的英国公传人做了一个化缘和尚的事情令大家唏嘘。忆德祖师见当地要不到钱，就回家说服弟弟们捐钱。可是这一次忆德祖师没有要到太多的钱，弟弟们躲瘟疫一样躲着他。忆德祖师索性进京向勋贵们化缘，希望大家看在自己的面子上，看在做善事的目的上，帮助永安寺渡过难关。
忆德祖师终于感受到了悲哀，这些勋贵宁愿醉生梦死也不愿意做一件有意义的事情。勋贵们喜欢看见忆德祖师落魄的样子，希望看见忆德祖师低三下四，但是就是不愿意粗浅。以前对忆德祖师十分客气的大家，指挥笑话或者讽刺忆德祖师。更有几个被忆德祖师选不中小姐现在的贵妇人，为了羞辱忆德祖师，说出十分难听的话。为了永安寺，为了让大家捐钱，忆德祖师忍受了一切。所得到的结果也不过是区区数百两银子，忆德祖师却成为了整个贵族的笑柄。
最后还是忆德祖师的妻子薛家小姐的弟弟得知这件事情后，说服他的父亲拿出一半家产帮助忆德祖师。忆德祖师拿着这笔钱回到了永安寺，开始了她下一步的计划。知道这些钱来之不易后，忆德祖师不敢大手大脚花钱。材料他亲自选，价格他亲自商量，运费计算到一分一厘。为了节省人工，他带着大家亲自抬材料上山。短短几年之间当初那个英俊潇洒的贵公子不见了，在大家眼前的是一个结实又精打细算的居士。
忆德祖师一边修建寺院，一边用空余时间帮助老百姓，尽量用大家听得懂的粗浅道理论述佛法。在忆德祖师的努力下，越来越多的当地老百姓开始信仰佛教。这些人成为了永安寺心得信仰者，自愿自发过来帮忙，他们也是忆德祖师的第一批弟子。那一年忆德祖师二十七岁了，可是不知道他正是年纪的人都以为他已经过了中年。
忆德祖师十四岁成家，十八岁那一年失去了父母妻儿。十九岁在武夷山第一次接触到了佛经《地藏菩萨本愿经》。二十一岁在九华山开悟。二十三岁在嵩山少林寺醒悟，并承担起建造永安寺的任务。二十四岁脱离英国公府，放弃英国公爵位。在永安寺许下大愿兴建新永安寺。二十五岁忆德祖师进京化缘，成为勋贵的大笑柄。二十七岁忆德祖师第一次正式收徒。三十五岁的忆德祖师正式宣布在原有的永安寺基础上兴建新的永安寺。忆德祖师六十七岁那一年，永安寺终于建成了。新永安寺根据当时嵩山少林寺的格局一比一建造，除了方位和地点之外，几乎和嵩山少林寺一模一样。
永安寺建成的那一天可能是忆德祖师最开心的那一天，但是也是忆德祖师觉得最空虚的那一天。大愿完成了，任务做完了，心事了结了，忆德祖师反而无事可做了。忆德祖师也在寺院正式开光的那一天，正式剃度出家完成了她最后一个心愿。为了这个承诺和心愿，忆德祖师整整用了四十四年时间和精力，付出的心血和精力是外人难以理解和承受的。忆德祖师的法号并没有按照少林寺的排行论述，法名是忆德祖师自己给自己取的。他要记住和永远怀念过去，特别是他的亲人和家人。本来这个“德”应该是“得”的，后来忆德祖师自己用自己的感悟改成了这个“德”。
如今南少林有三宝，第一是忆德祖师留下的《地藏菩萨本愿经》，第二是小山方丈留下的禅武合一心得，第三是南少林的“少林寺僧兵”军旗。这面军旗是南少林帮助朝廷对付倭寇的最好证明，也是当时戚家军首领戚继光的亲笔题字。可是南少林的弟子都知道军旗还有一面，比戚继光题字的军旗更珍贵的军旗在铁血堂供奉着。铁血堂听名字就和这个的南少林格格不入，但是那个地方是南少林的一个禁地，一般的弟子也不允许随便进去。里面不但供奉着当年在对倭寇反击中牺牲的少林寺弟子，而且还有几个当年亲身经历过战争伤残回来的法师。他们自愿留在铁血堂照顾已经不在的战友，他们自愿留在铁血堂守护英灵。