I 1909 døde Stalins første kone, Ekaterina Svanidze. Dette dødsfald var et stort tab for ham. Ikke tilbøjelig til at udtrykke følelser, og endnu mere til farverige talevendinger, t alte den ikke længere unge revolutionær om den kolde sten, der kom ind i hans hjerte. Hvem ved, hvordan verdenshistorien ville have udviklet sig, hvis ikke denne iskolde og hårde genstand havde knust brystet på den fremtidige leder af det største land i verden? De konjunktive stemninger er dog fremmede for denne videnskab.
Fra hans elskede kone var Jakobs søn, kun en baby. Min far havde ikke tid til at passe sin opvækst, han havde andre ting at lave. Drengen voksede op hos sin bedstemor, mor Ekaterina (Kato) i Tbilisi, og studerede derefter i Moskva - først i skolen og derefter på et kollegium i elektroteknik. Det er svært at beskrive forholdet mellem sønnen og faderen, og der er meget få materialer, der vidner om dem. Fakta taler om et mislykket selvmordsforsøg på grund af ulykkelig kærlighed. Skuddet i brystet blev vredt fordømt af Jacobs far, han blev effektivt nægtet huset.
Om den sovjetiske diktator elskede sin ældste søn er svært at sige. Hele landet beundrede Stalins mod, som nægtede at redde seniorløjtnant Dzhugashvili, som blev fanget nær Vitebsk, og praktisk t alt dømte ham til døden. På den anden side altår efter sin søns død bar lederen af den verdenskommunistiske bevægelse en sort T-shirt under sin tunika som et tegn på sorg, skjult, som så meget i hans liv.
Stalins anden kone, Nadezhda Sergeevna Alliluyeva, var femten år yngre end sin mand. Datteren af en professionel revolutionær, hun blev betaget af billedet af en romantisk fighter, der vendte tilbage fra eksil efter februarrevolutionen. Hun var kun seksten dengang, og den fremtidige generalsekretær for Centralkomiteen for Bolsjevikkernes Kommunistiske Parti var 38.
Aktiv livsposition, uerfarenhed, naivitet og en hang til revolutionær romantik irriterede hendes mand og stræbte efter magt og magt.
Hendes personlige beskedenhed nåede det yderste - mange kolleger og ledere af organisationer, som Nadezhda Alliluyeva arbejdede i, vidste ikke engang, at hun var Stalins kone. De ville endda udelukke hende fra partiet i 1921 og anklage hende for passivitet og anarkosyndikalisme (dengang var det moderne at hænge alle mulige "ismer" på en person), men hendes mand rejste sig. Og Nadyusha arbejdede ikke bare hvor som helst, men i Lenins sekretariat, Pravda og redaktionen for Revolution og Kultur, og studerede endda på Industriakademiet. Heller ikke dér vidste hverken lærere eller elever, at Stalins kone var ved siden af dem.
De fik to børn, sønnen Vasily i 1921 og datteren Svetlana i 1926. Meget mere er kendt om livet for den anden familie af Joseph Vissarionovich end om den første. Dette blev muligt takket være bogen "Twenty Letters to a Friend", udgivet i 1967 i Vesten. Kreml-diktatorens datter afslørede mange hemmeligheder og i detaljerbeskrev hendes liv.
Stalins anden kone begik selvmord under mystiske omstændigheder efter en banket i Voroshilovs i anledning af 15-årsdagen for oktoberrevolutionen. Ved bordet opførte manden sig uforskammet, og det kan have fremkaldt selvmord. Der var flere versioner af begivenhederne, fra involveringen af Nadezhda Alliluyeva i en anti-regeringssammensværgelse til konstant smertefuld migræne, men sandheden er ikke længere kendt.
Et monument blev rejst på Stalins kones grav, meget smukt og udtryksfuldt. Ud over navn, efternavn og datoer er partitilhørsforholdet angivet på det: "medlem af CPSU (b)".