员工旷工了4天，公司规章制度规定：员工旷工3天及以上，公司有权与员工解除劳动合同关系。有工会组织的，人事部要将解除劳动合同关系通知书给到工会，以示告知。但是，我公司是规模较小，没有工会组织，请问，还需要告知工会吗？没有这一步，直接与员工解除劳动合同，是否合理合法？如果员工去仲裁，是否算公司违约解除？