Главной страстью его жизни были женщины. Когда у него однажды спросил журналист, от чего у него екает сердце, Ефремов ответил, что когда выпьет, ему хорошо, а если рядом еще и женщина, то просто замечательно. Под чары обаятельного Ефремова попали десятки актрис, однако Олег никогда не ставил семью на первое место и был занят работой. Возможно, только поэтому все его романы заканчивались также внезапно, как и начинались.