碰到无赖怎么办,事情是这样的,2013年通过别人买了一套拆迁安置房,

碰到无赖怎么办,事情是这样的,2013年通过别人买了一套拆迁安置房,这套房子没有房产证,在有律师陪同下签了买卖合同,因为没有房产证,在协议上写了扣了几万钱,并写明等房产证下来,过户后把这几万给卖方,当初没有异议,现在房产证还没下来,担心房产证下来找不到卖方所以扣了几万,现在整天骚扰,影响生活和工作,卖房是无父无母的人,,该怎么办!