다른 분야로 도전하는게 나을까요?

예전에 신입사원으로 중견기업 회계팀에서 회계직으로 입사를 했었는데 사수와 팀장이 두달정도 지났을 떄 
저보고 너무 못한다고 숫자적 감각이 없다. . 넌 이분야와 맞지 않는다 라고 계속 화를 내서 두달만에  퇴사를 하게되었습니다.

그리고 다른 직무 (총무) 로 몇년정도 근무를 해서 연봉도 높아지게 되었고 , 승진도 했습니다.근데 자꾸 전에 하던 회계를 하는게 미래를 위해 좋을 거 같다는 생각이 듭니다.
총무는 해봤자 비전이 없고, 회계를 하는게 나이먹고도 오래 다닐 수 있을거 같다는 생각이 듭니다.총무를 해도 현재 회사를 다니는데는 큰 문제는 없음 (연봉도 일하는 수준에 비해 많음)

이런 경우 그냥 지금 하던걸 버리고 새로운 곳으로 다시 재입사하는게 나을까요?