회사동료랑 연 끊고 싶어요

카테고리에 맞는 얘기인지는 모르겠지만 많은 사람들의 의견을 듣고싶어서요..
제목처럼 직장동료랑 연 끊고 싶어요.저보다 나이 차이가 좀 나는 남성분입니다.친해서 서로 반말하고 이름부르는 사이에요 회사에서도 친한거 다 알구요.둘 다 20대인데 회사에 기본 30중후반이 많으니깐 더 가까워진것도 사실이에요.
근데 다름이 아니라 이 분 성격이 너무 직설적이에요.그냥 본인 기준에 맞지 않으면 상대방을 깎아 내리고 말을 툭툭뱉어요.어떻게 예시를 들어야할지는 모르겠는데일단 이 분 사적 친구들도 그냥 불쌍하니깐 놀아준다는 소문이 들려오고(본인은 모름)실제로 회사 다른 여성 동료랑도 연을 끊었어요,
저는 사람들이 다 멀리하거나 안 좋은 얘기가 돌고 있는 사람은무조건 이유가 있겠거니라고 생각하거든요.근데 그걸 저도 이젠 느끼고 있어요. 그냥 싫어요, 맞춰주기도 싫고,,
근데 연을 끊으면 회사에서 말이 돌고본인이 다른 사원들한테 제 얘기 안 좋게 하고 다닐까봐 걱정이에요(지금 다른A 사원 거의 인간 말종으로 소문나서 같은 나이대는 다 멀리하는 중)이런 일이 있다보니깐 저도 똑같이 말 나올까봐 걱정이고사실이 아닌데 아니라는 걸 또 말하고 다니면 해명하는 거 같아서 그냥 이것도 싫고이 사람이 퇴사하면 좋겠을정도로 머리가 복잡해요 ㅠ
사회생활을 많이 못해봐서 그런지 어떻게 해야할지 모르겠어요..