事實經過：
家父十年前買了塊鄉下的地，地上建築物為早在民國84年前的既有建築，此地被法拍後是經過三手買賣才到家父手上。
誰知買到是非之地，某男因沒能力買此地（原為家產），就懷恨一直想盡辦法找我們麻煩（一天到晚找名目告我們，雖然都沒被告成，但看家父跑法院也是心力憔悴）
近期檢舉我們的建築物農牧地沒有農用，屬於違建，因此要改善（拆除）或罰款。
複雜的地方是：
建築物內部約有3坪屬於他的地，但先前法院判既有建築所以我們有使用權，除非我們進行建築變更才要歸還（有主動要跟他付租賃的錢但他不接受）
問題：
1. 請問如果違建罰款，按照他持有的土地坪數，他是否也須按比例被罰呢？
2. 若是他執意把他的坪數部分的建築拆掉，是否有構成破壞呢？
先感謝各位幫 小弟/小妹 解惑或提出建議，如內容尚有不足，盼請提出需補充之處。