Bob Marley était un grand amoureux. Toute sa vie, il a aimé les femmes, toutes sortes de femmes. Il a eu dix enfants de sept mères différentes, sans compter ceux que l'héritage Marley a refusé de prendre en compte (on parle de vingt-cinq). Dans les ruelles de Trench Town, où Bob commença à chanter, ses premières copines furent ses voisines. Le père de l'une d'entre elles, fier de sa peau très noire, s'opposa violemment à la relation de sa fille avec Bob parce qu'il était métis. Sa mère dit qu'il n'oublia jamais cette réaction raciste, et peut-être sa toute première chanson, Judge not, s'adresse-t-elle à ce père intolérant.

Les premières compositions des Wailers étaient pour la plupart des chansons d'amour et de déception. Certaines, comme One Love et There You Are, furent inspirées par une jolie chanteuse de l'âge de Bob, Rita Anderson, du groupe des Soulettes. Ils devinrent amis en 1965 (Rita avait déjà un bébé, Sharon, que Bob adopta plus tard). «Bob était très beau, dit Rita en riant. Au début, il ne m'attirait pas, c'était plutôt de la sympathie, mais il n'a pas mis longtemps à me faire changer d'avis.» Ils se marièrent en février 1966, alors que Bob s'apprêtait à partir travailler en usine au Delaware. C'est Coxsone, son premier producteur, qui paya la fête. A son retour, un an plus tard, ils s'installèrent à Trench Town ; leur premier garçon, David, plus connu sous le nom de Ziggy, y naquit en 1968. Rita n'abandonnera jamais sa place d'épouse malgré les nombreuses liais