如果刮到别人车但没掉漆，理论上是可以直接离开的，但这取决于具体的情况和法律规定。在某些地方，即使没有造成明显的损害，也需要留下联系信息或报告给警方。因此，最好的做法是查看当地的法律和规定，以了解正确的做法。

即使没有法律要求，也应该考虑道德和责任感。如果你知道自己刮到了别人的车，即使只是轻微的，也应该主动与车主联系并道歉。这不仅可以避免潜在的纠纷和误解，还可以维护自己的良好品德和声誉。

总之，在决定是否离开之前，请务必了解当地的法律规定，并考虑道德和责任感。如果你不确定该怎么做，最好咨询当地的法律专业人士或警方。