집값 대줬다고 자주 오시는 시어머니

저는 30대 중반 여성입니다.
결혼 5년차구요. 아이도 한명 있습니다.
결혼할때 시댁에서 집값으로 4억 주셨구요
제 남편이 모은 돈도 5천만원 정도 되었구요.
물론 혼수비용은 제가 마련했습니다. 5천만원 정도 되더군요.
그때 4억5천이랑 남편 회사 대출금 1억정도 해서 5억5천짜리 집을 샀었어요. 그리고 그 집값은 현재 10억 정도 되구요.
물론 시부모님이 돈을 보태주신 것은 고맙지만 문제는 시댁에서 손주 보고 싶어서 너무 저희집에 자주 오신다는 거에요.
최소 2주에 한번 정도는 오셔서 오래 있다 가세요.
제가 남편한테 뭐라고 했더니 "너희 엄마는 더 자주오지 않냐"고 하는데 저희 엄마는 저
산후조리 도와주러 오시는 거거든요. 시부모님이 손주얼굴 보려고 오는 거랑은 다릅니다.
제가 남편한테 또 뭐라고 했더니 남편은 "우리 부모님이 집값으로 4억이나 주셨고 그 덕에 우리가 좋은 집에 살고 있는데 그정도 이해못해주냐"고 하더군요.
집값 보태준 시부모는 언제 놀러오더라도 이해해야하는 건가요?
돈 없으면 이렇게 호구처럼 살아야하는 건지 억울합니다.
다들 어떻게 생각하세요? 제가 더 강하게 나가야하는 건가요?