В 2005 году появилась интернет-публикация Зеева (Владимира) Гейзеля с обширным исследованием вопроса авторства данного произведения — как музыки, так и текста, — в котором достаточно убедительно показано, что автором музыки является Владимир Вавилов (1925—1973), советский гитарист и лютнист, прибегший по определённым причинам к мистификации. Пластинка Вавилова получила значительную известность в Советском Союзе и выдерживала несколько переизданий. Первая часть сочинения «Канцона и танец» легла в дальнейшем в основу знаменитой песни.

Мелодия ещё одной композиции с той же пластинки, «Павана и гальярда», автором которой был указан Винченцо Галилей, легла в основу другой песни на слова Анри Волохонского, исполнявшейся Алексеем Хвостенко — «Конь унёс любимого».

В ноябре 1972 года поэт Анри Волохонский сочинил на мелодию с пластинки Вавилова стихотворение «Над небом голубым…», озаглавленное в его сборнике произведений как «Рай».
В стихотворении использованы библейские образы из ветхозаветной Книги пророка Иезекииля (Иез. 1:10), на эту книгу, как на источник, указывает и сам А. Г. Волохонский.
Другие видят в тексте описание Небесного Иерусалима из Откровения Иоанна Богослова (Апокалипсиса) (Отк. 21:1—3, 21:11—22:2), в христианской традиции считающегося образом рая, и четырёх животных из Апокалипсиса (Отк. 4:6—9) — тетраморфа.
Возможно, произведение было навеяно также мозаичным панно «Небо» в мастерской ленинградского художника Бориса Аксельрода, где нередко бывал поэт.

    Аксель делал тогда это самое «Небо на земле»… А мы делали вид, что помогаем Акселю — кололи смальту и составляли куски мозаик по его росписям, впрочем довольно бездарно. Акселю приходилось нас поправлять. А я вообще по большей части лодырничал. В прямом смысле слова он мне ничего не говорил и не советовал, но атмосфера была та самая.
    — А. Г. Волохонский

Первым исполнителем песни стал Алексей Хвостенко, многолетний друг и соавтор Анри Волохонского. Песня стала известной в бардовской среде, её включали в свой репертуар многие исполнители. В 1975 году песня использовалась в спектакле «Сид» ленинградского театра-студии «Радуга», где её и услышал Борис Гребенщиков. Он впервые исполнил песню в марте 1984 года на концерте в Харьковском государственном университете, при этом извинившись за то, что даже не знает, кто написал это произведение.

Песня была записана группой «Аквариум» в январе 1986 года в Ленинградском Доме Радио. Под именем «Город» она вошла в альбом «Аквариума» «Десять стрел», исполнялась на множестве концертов и стала «визитной карточкой» Гребенщикова.

В варианте Гребенщикова имеется несколько отличий от оригинального текста, главное из которых, по большому счету — замена в первой строчке «Над небом голубым…» на «Под небом голубым…».

Всесоюзную популярность песня обрела после того, как прозвучала в исполнении «Аквариума» в фильме Сергея Соловьёва «Асса».

«Царь Борис Годунов очень любил слушать музыку. Однажды он услышал мелодию композитора Франческо да Милано. С тех пор он всё время пел её и выдавал за свою. А люди стали называть его просто — Борис Годунов или коротко Б. Г. или просто Б. или Г.» — так в юмористической телепередаче «Городок» Юрия Стоянова и Ильи Олейникова в рубрике «ЖЗЛ» обыгрывается история песни.

Певица Елена Камбурова исполняла песню в собственной редакции, со значительно переработанным текстом и начинающейся словами «Над твердью голубой есть город золотой…». Спустя несколько лет, в 1978 году, уже от Камбуровой услышал песню известный бард В. А. Луферов. Он стал исполнять её (по существу, камбуровский вариант, изменено только одно слово) в бардовской манере. В 2008 году немецкая поп-группа Highland записала песню «Under Blue Sky», в основу которой легла песня «Город золотой» (опорная часть мелодии и лирика на русском языке).