在《西游记》中，孙悟空有三次离开唐僧，分别是：

第一次：孙悟空刚拜唐僧为师的时候，因为他杀了六个强盗，唐僧不满，责怪于他，悟空一气之下离开唐僧，前往东海龙宫。后来被东海龙王劝回去，结果被唐僧戴上了紧箍咒。

第二次：唐僧师徒取经路上，孙悟空打死了一群草寇，唐僧赶他走，孙悟空苦求不成，离开后又回来向师父求饶，被拒后，向观音菩萨求助。

第三次：孙悟空打死了白骨精幻化成的小姑娘，唐僧认为他滥杀无辜，逐他回花果山。

希望以上回答可以帮助你。