남자친구의 대답이 무슨뜻으로 해석되시나요..?

안녕하세요
이혼남과 사내연애중인 여자입니다
남친말고 사무실에서 친한 유부남 동료가 있는데 이 동료와 휴가가 겹친적이 몇번 있어요
그걸 상사가 둘이 무슨 관계인줄 오해하고 제 남친한테 털어놓은 상황입니다
그얘기를 남친이 저한테 전달하는 과정에서
나 : 나랑 오빠관계 부장님이 아시면 배신감 장난아니겟다
남친 : 상관없지 나는 유부남이 아니니까
이 말이 저는 '니가 누굴만나던 상관없어, 나만아니면되' 로 해석되는데.. 무슨뜻으로 들리세요?