王阳明热情地向他阐述心学要旨。他说，人人心中都有个圣人，但有人的圣人之心被物欲遮蔽，只需在心上用功，把物欲扫除，做到这一点，就能成为尧舜那样的圣人。
黄绾充满疑虑地问：“怎么个心上用功？”
王阳明回答：“你的心能知是非善恶，一个恶念发动时就克掉它，一个善念流行时就保持它。”
黄绾吃了一惊，说：“您这不就是禅宗吗？禅宗说，人人都有佛性，佛向心头做，莫向心外求。禅宗说顿悟，您说狠斗私心一念间，没有任何区别啊。”
王阳明拼命摇头，说：“不一样。禅宗说了‘人人都有佛性’后就枯坐，什么都不管了。说了‘佛向心头做’后就真的在心头做，不去实践。而我说了‘在心上用功’后，必须去实践。”
黄绾又吃了一惊，说：“这还是朱老夫子的‘去万事万物上格真理’啊。”
王阳明又大摇其头，说：“朱熹说是去实践中寻找真理。而我认为，真理已在我心中，我去实践，只是去验证这个真理，其实最终目的就是磨炼我们的心。”
黄绾恍然大悟。据说他当时茅塞顿开，从此死心塌地地跟随王阳明，并且经常在反对王阳明的人面前为王阳明辩护，成了王阳明最忠实的信徒之一。不过，黄绾年老后，有一天早上醒着躺在床上思考。不知他想到了什么，突然大叫一声，吼道：“王阳明心学就是枯禅！”说完这句话后，他把余生的光阴都用在反对王阳明心学上了。
把王阳明心学视为枯禅，是当时反王学的一个主流。王阳明对反对派曾多次反驳，他说他的心学和禅学的区别就在于实践。他说，我们每个人的心像一面镜子，你只需要时刻保持着它的一尘不染。如何保持呢？禅宗说要勤擦，也就是在心上擦。而王阳明也说勤擦，但要以实践为指导，不能枯坐在那里，认为我心没有恶念了，认为我内心强大了。是否有恶念，是否内心强大，非得去实践中验证一下。如果不去实践，就会流入枯禅的境地。
用儒家语境来说，禅宗注重的是修养（尊德性），而几乎没有学问（道问学）。而他的心学是既有修养又有道问学的。禅宗没有进取，而他的心学就是一门要人进取的学说。这是王阳明心学和禅宗最灵魂的区别。
王阳明对佛道的态度很有点“忘恩负义”，佛道二教为他的思想供给了充沛的源头活水。但创建心学后，他对佛道给予他的帮助闭口不言。有人向他请教道教长生之术时，他劝对方不要沉迷于此，因为即使你明白了长生术，也不过修个不死的肉身。接着他推销他的心学：心学却能让人有一个超越生死的精神境界。
他的弟子王嘉秀喜欢谈仙佛，并且以独到的见解对王阳明说：“佛教以超脱生死来劝人信奉，道教以长生不老劝人信奉，其本意也不是干坏事，究其本质，也是看到了圣人的上一截，但非入道的正途。今天谁要做官，可经科举考试，可由乡里推举，可借大官绿荫，同样可做大官。如果不是仕途的正道，君子是不会接纳的。道、佛到终极点，和儒学大致相同。后世儒生，往往只注意到圣人下一截，因而上下分裂，失去了圣人的本意，从而使儒学变为记诵、辞章、功利、训诂之学，到底不免发展为异端。从事记诵、辞章、功利、训诂之学的人，终身辛苦劳碌，毫无收益。看到佛徒道士清心寡欲，超然世外，反而感到自己有所不及。今天的学者不必先去排挤佛、道，而当笃志学习圣人之学。”
王阳明很不赞同：“你所讲的大体正确，但说上一截、下一截，也是人们理解有失偏颇。至于说到圣人大中至正的道，上下贯穿，首尾相连，怎会上一截、下一截？”他警告王嘉秀，“我年轻时在圣学上不用功，转而去佛道上求取，偶然有所得，但很快就觉悟不对。后来在龙场终于发现圣学，懊悔错用了二十多年工夫。佛道之学和圣学只是一张纸的距离，所以不容易辨别，只需要立志于圣学，将来必能看透。”
那么，一张纸的厚度到底是什么呢？
王阳明极力指责佛教：“佛教徒担心父子连累他，就离开父子；担心君臣连累他，就离开君臣；担心夫妻连累他，就离开夫妻。佛教徒总说自己不执着于‘相’，其实这些都是执着于君臣、父子、夫妻的‘相’，所以他才逃避。我们儒家，有个父子，就给他仁爱；有个君臣，就会对他忠义；有个夫妻，就给他礼节。什么时候执着于父子、君臣、夫妻的‘相’呢？”
由此可知，这张纸的厚度就是责任心和使命感。儒家有，佛道没有。简洁地说，王阳明心学是一门要人去外面建功立业的学说，而佛道是龟缩避世的学说。
但是，他虽然对佛道二教如此恩断义绝，可他思想的灵魂书《传习录》中到处能看到佛道二教的影子。比如佛家的“明觉”“无善无恶”，道家的“圣胎”，特别是下面这句话：“良知就是易，其为道也屡迁，变动不居，周流六虚，上下无常，刚柔相济，不可谓典要。”这简直就是把道家的语境生吞活剥过来的。
问题是，从一头老虎的胃里发现了几块狗肉，你能说老虎是狗吗？
1515年农历八月，皇帝朱厚照心血来潮，准备举行隆重的佛事接引佛祖。王阳明就写了一道奏疏《谏迎佛疏》。他说，佛是夷狄的圣人，我们中国的圣人是孔子，佛在夷狄教化万民正如孔子在我中国教化万民一样。但陆地行走要用车，水上行走要用船，把船放到陆地上，寸步难行，把车推进水中，必然下沉。我担心佛来到中国会水土不服。您既然有尊敬佛的心，就必有尊孔子的心。何必舍近求远？他又说，佛固然有不惜身体拯救世人的心，但修成佛，可是要苦行的。而我们儒家的圣人，诸如尧舜什么都不用做，只是端坐那里垂拱而治就是了。皇上您何必放弃完美的先贤，去追求夷狄的圣人呢？
这封奏疏并未呈递朱厚照，王阳明写完后就把它收了起来。与其把这封奏疏看成是他向皇帝的建议书，倒不如看作是他对佛教的看法。在他眼中，佛教既然不适合中国，也就不可能是圣人之道。
