土地是谁的我们四家有六分地，一九八0…

土地是谁的我们四家有六分地，一九八0年分田到户时因地上是牛栏，年久失修后变成空地，一九九六年因有人在此地上建房，当时四家都去说过，房主说拿地换，到现在都没有换还说地是他的了，请问现在我们四家要的回来吗。