Le choix visuel Mais qui a choisi cette sculpture pour orner la pochette de ce 17e album studio ? Les versions divergent. Selon le manager Rieley, c'est lui qui a apporté au groupe une gravure représentant End of the Trail après l'avoir vue en vitrine d'un magasin d'antiquités sur Sunset Boulevard. Frappé par la similitude avec le logo de Brother Records, la maison de disques montée par les Beach Boys en 1966 (un Indien sur un cheval), il montre l'image pour approbation à chaque membre du groupe, Dennis Wilson étant le plus enthousiaste. Si l'on écoute Ed Thrasher, crédité sur le disque pour la direction artistique de la pochette, l'idée serait la sienne. La paternité de cette pochette qui détonne radicalement avec l'esthétique naïve des Californiens reste donc indéterminée, mais elle a tout cas rempli son office : Surf's Up étant aujourd'hui considéré comme l'un des disques les plus remarquables des Beach Boys.
Le contexte 1971, annus horribilis. Dix ans après leurs débuts, les garçons de la plage d'Hawthorne remplissent péniblement des salles de 300 personnes en Californie et leur surf rock ensoleillé ne passe plus dans une Amérique déchirée par la guerre du Vietnam et la contestation sociale. Du côté de leur leader dépressif Brian Wilson, obsédé par la mort et l'insignifiance de son existence, tout va pour le mieux. Il ordonne à son jardinier de creuser sa tombe dans l'arrière-cour de la maison familiale et menace de se jeter dans la mer au volant de sa Rolls-Royce. Effaré par ce spectacle, leur manager Jack Rieley décide qu'il est temps de quitter la plage pour entrer dans les années 70 avec un disque un peu diffèrent, musicalement autant que visuellement.
La statue Pour refléter au mieux cette perte de l'innocence, illustrée par des textes matures (le poignant Till I Die), un visuel sombre, reproduisant une des plus célèbres sculptures américaines, s'impose comme une évidence. Représentant un guerrier indien priant le grand esprit pendant que son cheval se repose après une longue chevauchée, la sculpture End of the Trail est l'une des plus célèbres aux Etats-Unis. Œuvre majeure du sculpteur américain James Earle Fraser, elle fut d'abord une sculpture de jeunesse de 40 cm réalisée à 17 ans en 1893, puis un plâtre dévoilé en 1915 à l'exposition internationale Panama-Pacific de San Francisco et enfin un bronze installé dans la ville californienne de Visalia en 1929… Mais elle existe aussi en une multitude de cartes postales, miniatures et autres gravures.