Einstein heeft ook tegenover vrouwen altijd een eigenwijs karakter gehad. Slechts 2 vrouwen heeft hij altijd liefgehad: zijn moeder en zijn zuster Maja.

Alle andere vrouwen in zijn leven zijn veroveringen geweest, want zijn enige echte liefde was de theoretische fysica. Daar ging al zijn tijd naartoe.
Toch is hij tweemaal getrouwd geweest.De eerste maal met zijn studiegenoot Mileva Maric, met wie hij 3 kinderen had. Lieserl (waarvan we alleen weten dat ze geboren is) en zijn 2 zonen Hans Albert en Eduard. Tussendoor heeft hij vele minnaressen gehad, een precies aantal is bijna niet te geven.

Een tweede maal is hij getrouwd met zijn nicht Elsa Einstein. Hoewel Albert liever met de 19-jarige dochter van de gescheiden Elsa was getrouwd is hij met de moeder getrouwd. Elsa heeft haar hele verdere leven over Albert gewaakt om hem te vrijwaren van pers en fans. Eenmaal in Amerika in de 30-er jaren deed ze dat samen met Maja en Alberts assistente Duval.