物理rigidbody 不能被禁用么?

我们需要做一个效果,就是拖动一个物体的时候让它没用刚体,仅仅是只有碰撞。
rigidbody enable属性代码禁用后会出现奇怪的效果
请问如何实现?

点击拖动的时候可以重叠只要变色,不要物理效果,放开的时候才需要物理效果。
试了禁用rigidbody也试了禁用physicsManager,都不行。