王维在所撰的《六祖能禅师碑铭》中述：惠能以“众生为净土，杂居止于人；世事是度门，混农商于劳侣。”在这宁静致远之地，樵夫出身的惠能为他以后的禅学更贴近生活，更具“平民化”特征积淀下不寻常的思想基础。
怀集冷坑一带有几条卢姓的大村。中国自古以来有“同姓三分亲”的传统思想。按那些传统俗例，卢姓的村民见惠能是同宗同族，对他视为兄弟一样，平日更加关心，大家情如手足。
惠能在家乡新州时是靠上山打柴来瞻养母亲，现在也正值年轻力壮，有的是力气。在上爱岭与村民上山砍柴他是驾轻就熟；与猎人上山打猎，爬山越岭是他的看家本领；耕地种田，他又有丰富的经验。加上惠能干起活来，从不吝惜自己的力气，只是一个劲儿地埋头苦干。故此，大家都很喜欢惠能前来帮忙干活。
白天，惠能下山来，帮村民们干活，还经常把自己学到的耕种技术教授给附近的山民；傍晚，他孤身一人，带着满身的汗水，攀爬返回山巅的龟咀岩。寒冬炎酷，风雨无阻，从不间断。
在连绵不断的群山中，不少山民以狩猎为生，经常在动物活动之地布网装甲。
在山上，惠能如果见到有猎物落网或被铁夹夹住，他就会前去解网松夹，放猎物逃生。
每到吃饭时，惠能将放一把蔬莱寄煮在肉锅里。
有山民问道：“你为什么这样吃饭的？”
惠能笑着说：“这是我一直以来的习惯，我只吃肉边的蔬菜，这对身体更有益处。”
惠能平日常常劝导山民们多种五谷、蔬菜、少杀猎物，多做善事积善德，摒除暴戾野蛮之习气，多做善事以积阴德。
因此，周围的山民，对惠能都十分敬重，改掉了暴戾的性格与不少不良的习俗。
惠能以龟咀岩石室为住地，辗转于怀集、四会的大山之间，跟山民们一道种地、采药、观赏山林景色，聆听深谷流泉，领略大自然的野趣，修悟自己的心性。
平日，惠能继续自我修禅，领会佛经的真谛，此行此举，矢志不渝。
惠能靠着非凡的毅力与坚定的信仰，在怀集、四会那一带的深山密林里，虽是幽遁山林，不食草衣，却是在韬光养晦，自我修禅。他的禅学思想的创立大大地受惠于容纳了这一带的世情影响，山水灵气鉴照和文化启迪。他以矢志不渝之精神，修悟了整整十五个年头。
无论是三伏炎夏，还是数九严冬，惠能或对闲适恬静的绿水青山，或仰望浩渺迷离的星汉银河，思路在有形的物与无形的心之间徘徊，苦苦地思索着五祖所传顿教与西方《金刚经》中“应无所住而生其心”的妙诣与转承关系。
世间万物都在变，西方的佛法来大唐中土也该变。恒河之水如何融汇到中土的江河？这是佛门中的大问题。达摩祖师所传的如来禅，万变不离其宗，其要旨是“藉教悟宗”，修行开悟的特点。而祖师所传的“直指人心，见性成佛，不立文字，教外别传”的法门，强调的是直指心源，应机接物，当下默契，即心是佛，这当是佛法的源头活水。
惠能在怀集与四会山林这清净之地十五年的隐遁修悟，开始构思体现中国化、平民化的《坛经》，立志创立禅学“南宗”。“众妙会心”，使惠能的佛理禅机升华到了一个新高度，他修悟出的心性之学，在贯通大乘佛法基础上无形中融摄了中国传统文化的儒道之学，实现了天竺禅在中国的彻底转换，形成了一个“适合中国国情”的禅宗思想体系。这为他日后在曹溪大开法门，张扬中国化的佛教－－曹溪禅奠定了厚实无比的思想基础。
后来，怀集县令蒋航登六祖岩，感慨赋诗，其中有“峭壁悬崖叩上宫，慈悲救世释儒同，如何十载修真地，一任嚣尘历劫红。”此诗刻在六祖岩壁上，长140厘米，现仍清晰可见。
古人将惠能在怀城南溪饮水之事与智药饮曹溪水之事相联，称：“南溪与曹溪何分高下，则顿悟之门已可近取。”
古怀阳十六景之一就有“南溪古渡”一景。而上爱岭被后人称为“六祖岭”，岭上的龟咀岩被后人称为“六祖岩”。
后来，冷坑的人们知道曾在龟咀岩上避难的竟是禅宗六祖惠能，在深感荣幸之余，在熔炉村东面，也就是惠能经常帮村民干农活的地方建起了一座寺院－－双禄寺。