在佛陀的弟子中，大迦叶一向是安心修习他的头陀苦行。说起他的修行苦行，直到老年，无论在什么情形之下，或是什么人劝说，他都不肯中断他的苦行。
凡是修习头陀苦行的人，第一，要选择空闲的地方。第二，要过托钵的生活。第三，要常居一处。第四，要一日一食。第五，要乞食不择贫富。第六，要守三衣钵具。第七，要常坐树下思维。第八，要常在露地静坐。第九，要穿着粪扫衣。第十，要住于坟墓之处。修学头陀苦行，就要过如此简单的生活，也是清净的生活。
除了佛陀，与外道辩论、教化僧团中诸比丘的大弟子，就是舍利弗和目犍连二位尊者，大迦叶是当佛陀与二大弟子在世时的时期专心修道，期间或是对在家的居士说法。当佛陀灭度后，能够代佛陀统理大众的实力，就是在这期间养成的。他如同巨钟一样，沉默的时候就沉默，但一遇到因缘，他就可以发出响亮的洪声。
当初舍利弗和目犍连二位尊者也曾劝过他忘去自我，发菩提心来从事弘法利生的真理运动，大迦叶总是坚定地回答他们说：关于弘扬正法、教化众生，我实在是不行，忘去自我，多么不容易啊。教导没有信心或是恶智的人，我实在没有那种勇气和毅力。我愿意在自己的生活中，树立起更艰苦的修行榜样，让后来者对于少欲知足的头陀苦行知道、尊重与实行。弘法利生的艰巨任务，全赖你们担当了。听了大迦叶的话，舍利弗和目犍连尊者并不感到失望，反而称赞道：长老能够在这方面树立法幢，也是非常难得，佛法是多方面的，各人可以依自己的志趣实践自己的理想，我们为长老祝福。一次，佛在鹿母讲堂为众说法，迦叶身穿粪扫衣，蓬头垢面，蹒跚走来。佛陀劝他：“迦叶，你年纪大了，不要继续苦行，脱下粪扫衣，换上整洁轻软的衣服，不要过于疲劳。”迦叶拒绝说：“我以头陀行为乐事，不为衣愁、不为食忧，没有人间的得失，我的内心感到清净解脱的喜悦。”佛陀听了迦叶的话，意味深长地说：“将来我的正法，不是毁于天魔外道，而是毁于僧团的腐化与堕落。若要正法久住，僧团巩固，一定要像迦叶那样过严肃的生活。迦叶，我不勉强你，你就走自己要走的路吧。”
大迦叶最不喜欢住竹林精舍，或是祇园精舍过团体的生活，他甚至厌恶那里和乐的环境，他喜欢的是在露天静坐、 冢间观尸、树下补衣。他认为尸臭或骸骨，对于修无常、苦、空、无我、不净观等，才更合适。大迦叶不怕狂风暴雨，不惧日晒夜露，他枯瘦的老年之身，总是住在深山丛林的树下，或是白骨遍野的墓间，对于他的头陀苦行，任何人劝说，他都不停止。
佛陀称赞他是未来佛法的真正住持者，而且佛陀十分信任他，最后把衣钵传授给他。
迦叶得到世尊传法在佛教禅宗史上非常有名。有一次佛陀受邀到灵鹫山说法。佛陀升座之后，一句话不讲，手里拿着一朵波罗花给大家看。在座的所有人都不理解，这时唯有迦叶尊者见佛示花，破颜微笑。佛陀随即当众宣布：“我有正法眼藏，涅槃妙心，实相无相微妙法门付嘱摩诃迦叶。”佛陀把平日所用的袈裟和钵给了迦叶，迦叶因此成了佛陀的继承人。