일주일에 한번 팀회식(개인돈)있는 회사 다니실건가요?

회사 총인원수는 많으나 저희 팀만 다른 층수에 동떨어져있다보니 서로서로 친한 분위기입니다(왜 떨어졌는지는 모릅니다)
그래서 회사에서 시키지도 않았으나 친목 느낌으로 매주 팀끼리 모여서 저녁을 같이하고 2차도 갑니다당연히 시킨게 아니니 각 개인 사비로 결제해서 먹고 놀아요
근데 저는 이게 너무 피곤하고 힘들고 돈 아깝습니다.... 그럼 안 가면 되는거 아니냐? 싶겠지만 팀 분위기란게 있잖아요.... 작은 팀이지만 그래도 실장님 팀장님도 가신다하고 모두가 같이 만나는데 저만 가기 싫다하기가 힘들어요약속있다고 말하니 n명이 다 저한테 시간 맞춰준다하니 일주일 평일 내내 안 되는데요? 하기도 뭐하고 ㅠㅠㅠㅠㅠㅠ 
그냥 솔직하게 팀회식 힘들다하고 안 가는게 맞을까요? 아니면 차라리 퇴사하는게 맞을까요? 팀을 옮기는건 불가합니다. 제 전공이 이 팀에만 해당돼서요....업무가 각자 자기 일만 하는게 아닌 서로 회의해가며 협업하는 업무라 업무시간 중에도 종종 팀회식때 있었던 일에 대해 꺼내 떠들고 그러는 편이라 더욱 고민되네요