本人在银川永泰城公积金贷款买的房,他们借的首付款十万17年4月30到期,当时我手里只有二万元不够交首

本人在银川永泰城公积金贷款买的房,他们借的首付款十万17年4月30到期,当时我手里只有二万元不够交首他们顾问主动借给我二万一千元作为首付,借到16年7月丨日并且他承诺只要我交了首付3O天就能提出公积金卡的钱再还他(公积金有五万多),结果我交完首付去银行办代款工作人员告知我们公积金办代款钱就取不出来,我就打电话给顾问说明情况他说让我先办代款完了分期还钱,结果银行刚审批通过打电话让我们签合同,职业顾问打电话让我还不了钱就退房时间是七月二十六号左右,我就好话跟他说代款都办了我赶八月十号左右给还一部分钱结果他同意了(八月十一号)还了五千,就这样又到八月二十五他两次要求我给银行打电话让别办贷款了要求我退房,我没办法给银行就打电话说明情况贷款就不办了,第二天去售楼部退房他们又不退了还说我违约要退房必须扣违约金我该怎么办 收起