Во время беременности Сванидзе провела шесть недель в тюрьме за то, что вышла замуж за Сталина. Когда она родила, его не было рядом. Наконец, когда Сталину предъявили обвинения в грабеже в Тбилиси, он увез жену и сына подальше от её семьи. В Баку Сванидзе прожила всего около пяти месяцев, после чего вернулась к своей семье. Вернувшись домой, она тяжело заболела. Хотя точная причина её смерти неизвестна. Сталин был расстроен её смертью, но снова уехал, бросив сына более чем на десять лет.