单位市场运作建房买卖纠纷2005年我…

单位市场运作建房买卖纠纷2005年我把单位市场运作建房指标卖给别人,到2011年4月房子建好,买家装修后入住,但房产证还没有办下来。现在我要反悔,终止转让,并按原先协议规定进行赔偿,然后把房子收回可以吗(协议规定有反悔应负的责任),如果对方不愿意不退房我该怎么办?