根据《劳动法》、《劳动合同法》及劳动部相关规定，此时退休人员不应认定为劳动者，他与用人单位之间的纠纷不在劳动法调整范围之内。

退休人员与用人单位之间的反聘关系应认定为劳务关系而不是劳动关系。

退休人员在反聘期间因工死亡可参照工伤的赔偿标准予以赔偿。