没有房产证,有合同管用吗您好,我家在…

没有房产证,有合同管用吗您好,我家在老家买了一户人家的房子,是乡下的的老房子,大概二十的房龄了。买完后没有给房产证,当时说找不到了,但合同写注明是房产证以丢,以后找到作废。现在那户人家常拿房产证说事说要收回去他收的回去吗,收回去了有钱退吗?房子是04年买的望给建议不甚感激