시아버지 앞에서 여보야 라고 하는게 잘못한건가요?

일정이 있어서 시부모님과 저희 엄마와 남편을 제 차로 태우고
가는길에 네비상 헷갈린 길이 나와 당황해서 저도모르게
여보야! 이쪽으로 가는 거 맞아? 라고 했어요.

근데 저희엄마가ㅜ 시아버지도 계신데 여보야가 뭐냐고 둘이 있을 때 써야지 라며 뭐라하더라구요.. ㅜㅠ

제가 실수한걸까요ㅠ