我是XX的村民,因家里没有学历,家里宅基地少,把几十年辛苦种田的钱建了四层楼房请问政府有责任吗?

我是XX的村民,因家里没有学历,家里宅基地少,把几十年辛苦种田的钱建了四层楼房,但高度和别人建的三层一样高度,但在建房期间没有任何的土地管理和村干部来通知,说不能建四层楼房,现在建好了乡管理来通知罚款,或拆掉,请问政府有责任吗