Le club représente l’île de Gorée, située dans la baie de Dakar. Découverte en 1444 par des marins portugais, elle passa sous possession hollandaise, anglaise puis française. Bénéficiant d’une position stratégique, proche des côtes, et offrant un mouillage sur, l’île fut prospère, notamment avec la traite négrière. Avec la fondation de Dakar en 1857, l’activité économique et la population s’y déplaça, entrainant le déclin de l’île. Aujourd’hui, moins de 2.000 habitants y résident. Avec une superficie de seulement 0,182 km², la place est rare et un seul terrain de football y existe. Or, cet unique terrain est célèbre car un baobab sacré y trône (les défunts de l’île y résideraient). Les joueurs, souvent les étudiants de l’école adjacente, utilisent cet arbre comme un « douzième homme ». Bien qu’un tournoi soit organisé annuellement par la fédération sénégalaise, le terrain n’était pas digne pour l’US Gorée, qui doit donc évoluer sur le continent, au Stade Demba-Diop, à Dakar.