A l'origine du roman, il y a cette image dans sa tête «d'un homme qui regarde une très grosse femme étendue morte sur un lit», et qu'elle a complètement oubliée pendant les six années où elle a écrit. «Je ne m'en suis souvenue qu'après avoir fini», dit Siri Hustvedt. L'image ne se trouve nulle part dans Tout ce que j'aimais. Mais on en retrouve les éléments dispersés dans le roman : une grosse femme dans un tableau, une jeune fille obèse enfermée dans une chambre, un homme mort allongé par terre, une femme sur un lit, un voisin qui regarde. «C'était une image obsédante, comme le sont certains rêves, qui a généré des pensées et des histoires qui se sont développées très lentement.»

On pourrait dire que Tout ce que j'aimais raconte la naissance d'un artiste. Ou une amitié entre un peintre et un critique d'art. Leur rencontre dans le New York des années 70, leurs vies jumelles dans un immeuble du Village, leurs femmes, leurs enfants, leurs aspirations et leurs créations. Leo, le narrateur, est critique d'art et écrit Une brève histoire du regard dans la peinture occidentale. Lucille est poète, Violet fait une thèse sur l'hystérie, Erica travaille sur Henry James, Bill peint, et le narrateur se pose des questions sur les influences réciproques de la vie et de l'art. On le voit, ce roman est autant peuplé d'idées que de personnages. Certains ont vu là une affectation de culture et d'intelligence. Siri Hustvedt explique que «les romanciers écrivent sur ce qu'ils connaissent. Pour c