责任人应该是决定虚开和直接参与虚开的人员。根据刑法关于单位犯罪的规定，单位犯罪，对其直接参与人员和法定代表人进行处罚。如果是虚开，那么可以认定法定代表人和参与虚开的人为责任人。