退休返聘人员签署的是劳务协议或者退休返聘协议，不是劳动合同，不适用于《劳动合同法》中经济补偿的规定。如果单位与该退休返聘人员签署的用工协议里面有关于经济补偿金的约定，是需要遵守协议的约定，进行赔偿。反之没有约定是不需要赔偿的。