Сын польского посланника при дворе Екатерины II Юрия Михайловича Виельгорского от брака с фрейлиной императрицы Софьей Дмитриевной Матюшкиной. Императором Павлом был произведен в рыцари Мальтийского ордена. Долгие время служил по ведомству Министерства Народного просвещения, занимался попечительскими и опекунскими делами.
Был знаком с Л.Бетховеном и популяризировал его сочинения. В его имении Луизино в Курской губернии были исполнены первые семь симфоний композитора.
Крупнейший российский музыкальный деятель. Музыкальное образование получил у тогдашних известных педагогов В.Мартин-и-Солера и Вильгельма Тауберта. Прекрасно владел скрипкой, альтом. Вместе с отцом, который был замечательным скрипачом и братом Матвеем — виолончелистом составил блестящее трио, пользовавшееся большим успехом на домашних концертах.
В его доме в Санкт-Петербурге бывали Гектор Берлиоз и Ференц Лист. Последний с большим успехом исполнил с листа партитуру «Руслана и Людмилы М.И.Глинки. Поэт Д.Винифитинов называл дом графа «академией музыкального вкуса», Гектор Берлиоз «маленьким храмом изящных искусств». Из композиторского наследия Виельгорского отметим оперу «Цыгане» на сюжет Отечественной войны 1812 г. (либретто В.А.Жуковского и В.А.Сологуба), две симфонии, фортепианные миниатюры, романсы.
Женат был дважды, от второго брака имел пять детей. Сын Иосиф Михайлович был большим другом Н.В.Гоголя.
Брат — Матвей Виельгорский также был известным музыкантом, виолончелистом и композитором (похоронен в Благовещенской усыпальнице).
