留楚的来历有两种说法。

一种说法是，该村原名元香，位于今留楚西南角，后来在明成化年间，在该村东北角修建了一座留众寺，元香居民每求神拜佛，常降香于留众寺，后居民迁居大寺旁，元香遂与大寺连成一片，有留众庙之称。该村现为留楚乡政府驻地，有集市。

另一种说法是，相传楚汉相争时期，楚太子曾战死在该村西北角，并葬于此。人们为了纪念楚太子，村名留楚。