违章建筑由县级以上人民政府城市规划行政主管部门管。法条依据：《城市规划法》第四十条：在城市规划区内，未取得建设工程规划许可证件或者违反建设工程规划许可证的规定进行建设，严重影响城市规划的;由县级以上人民政府城市规划行政主管部门责令停止建设，限期拆除或者没收违法建筑物、构筑物或者其他设施。
拆除违章建筑的程序是怎样的?
(一)查明事实阶段
即查清违章建筑形成的时间、原因、结构、面积、用途，是否存在民事纠纷，是否存在同时违反两个以上的行政法律规范的情形，是否已经行政执法机关查处等。对已经查处的按查处的结论办理，对未经查处的，进入下阶段。
(二)处理和处罚阶段
第一步按时间分类分流。 根据各地城市规划的具体时间合情合理地确定违法建筑的时间界限。具体可采取两段式或三段式。两段式即划定一个时间点，在此时间点之前形成的违章建筑可补办手续作合法建筑处置，在时间点后的作违章建筑处理。三段式是划定两个时间点，在第一个时间点前的一律补办手续，不予处罚，作合法建筑处置：在第一个时间点之后，第二个时间点之前的，从宽处理，能不拆除或没收，一律不处以拆除或没收;可以不予行政处罚的，一律不予行政处罚：在第三个时间点之后的要从严处。其中，多数学者建议采取三段式，理由是城市规划是一个复杂的过程，应当有一个过渡期。对可以直接补办手续的，直接进入补办手续阶段;对需进一步处理的则进入下一步。
第二步，按是否存在违章建筑的行为同时违反了两个以上的行政法律规范的情形为标准分类分流。
若不存在这一情形，则一般是只违反建设规划的，则交由建设规划行政主管部门处理;若存在这一情形的，则由一个行政主管部门牵头处理。
第三步，作出处理或处罚决定。 然后根据处理或处罚决定分别处置，对补办手续的，进入补办手续阶段;对处以没收或限期拆除的，进入执行阶段。
(三)补办手续阶段
对依法应当直接补办手续或经过处罚后要求补办手续的，由违章建筑的当事人到相关行政部门补办手续。需要特别说明的是：无论当事人是否补办了手续，其对建筑物的相应权利已得到有权行政机关的认可，故当事人享有相应的物权，从而成为拆迁法律关系的当事人，其享有被拆迁人的权利，并承担相应的义务。当事人在补办手续后进入签定安置补偿协议阶段;当事人不补办手续的，可经拆迁人申请，进入行政裁决阶段。
在此阶段，相关行政部门应将当事人补办手续的情况及时通报给税务部门，由税务部门根据当事人建筑物的实际用途、时间等决定是否追缴营业税、所得税。
(四)签定安置补偿协议阶段
在此阶段，由拆迁双方自行确定安置补偿方案。对协商不成的，经一方当事人申请可进入行政裁决阶段;对达成协议后，被拆迁人拒不履行的，经拆迁人申请，可进入强制拆迁阶段，由人民法院依法强制执行。
(五)行政裁决阶段
对拆迁当事人经协商未能达协议，经一方当事人的申请行政裁决的，行政机关应予受理。行政机关在受理后，应及时将申请人的申请书及证据发送给对方当事人，并告知其权利与义务。行政机关在查明事实的基础上，在法定期限内就安置补偿作出行政裁决决定，并明确当事人搬迁的期限。
(六)强制执行阶段
对于被拆迁人(即违章建筑的当事人)不履行安置补偿协议或安置补偿裁决的，经申请，可由人民法院依民事司法强制执行程序或行政司法强制执行程序强制执行，亦可由人民政府责成相关行政部门组织行政强制拆迁，强制被拆迁人搬迁，并拆除其建筑物等。
