需要去畜牧行政管理部门解除。兽医资格证，是在畜牧行政管理部门注册登记领取的，是兽医的从业资格证明，按照管理权限，注册登记机关即是注销登记机关，兽医资格证的注销，应该还是去畜牧行政管理部门去办理注销登记，兽医的管理机构是畜牧行政管理部门，兽医资格证的领取和注销就归畜牧行政管理部门办理，因此，去畜牧行政管理部门注销兽医资格证。