육아휴직 중 동료직원의 업무 지시

육아휴직 중인 남 공무원입니다.
육아휴직 중인걸 아는 같은 팀 동료가 저와 관련된 업무가 있다고 주말에 나와서 업무처리를 하라고 하는데...
육아휴직 전부터 '육아휴직 하면 편하게 쉬고 좋겠네요. 남자는 육아휴직하면 할게 별로 없다고 하는데..'라고 말으루해서 눈치 아닌 눈치를 주더니...
주말에 나와서 사무실에 나와서 업무 처리를 해야하는건가요??
조언 부탁드립니다.