Вышеприведеный отзывъ гр. Ѳ. В. Ростопчина основанъ, какъ можно предполагать, на личныхъ отношеніяхъ его къ кн. Г‑ну, въ которомъ онъ видѣлъ опаснаго для себя соперника въ расположеніи Императора Павла. Въ первое время царствованія Павла гр. Ростопчинъ былъ весьма близокъ къ императору, но подъ конецъ попалъ въ опалу.
Мнѣнія о кн. Г‑нѣ въ высшихъ кругахъ были самыя разнорѣчивыя, какъ можно судить по тѣмъ отрывочнымъ свѣдѣніямъ, которыя сохранились напр. въ перепискѣ разныхъ лицъ съ кн. А. Б. Куракинымъ и графами С. Р. и А. Р. Воронцовыми. Въ 1777 г. гр. Алексѣй Сем. Мусинъ-Пушкинъ письменно просилъ А. Б. Куракина передать кн. Г‑ну «увѣреніе въ самой искренней дружбѣ». Въ 1800 г. гр. Завадовскій писалъ гр. А. Р. Воронцову: «Съ кн. Г. П. Гагаринымъ, я знаю отъ его, ты въ перепискѣ. Онъ мнѣ сдѣлалъ чувствительное благодѣяніе. Молви при случаѣ, я тебя прошу, и отъ себя за то ему спасибо; я ему благодаренъ на весь мой вѣкъ». На ряду съ такимъ благорасположеніемъ нѣкоторыхъ лицъ мы знаемъ, что гр. Алексѣй Гр. Орловъ-Чесменскій относился къ кн. Г‑ну не только недружелюбно, но даже всячески старался вредить ему въ глазахъ Императрицы Екатерины II. Нелестные слухи, распространяемые о кн. Г‑нѣ въ публикѣ, нашли откликъ и въ письмахъ кн. В. П. Кочубея (лично съ нимъ незнакомаго) и А. Я. Протасова къ графамъ Воронцовымъ. Также и графъ Ѳ. Г. Головкинъ говоритъ, что Г. отличался умомъ и глубокой безнравственностью.
Кн. Г. любилъ заниматься богословскими вопросами и находился въ общеніи съ духовными лицами изъ высшей іерархіи; такъ онъ былъ близокъ и въ перепискѣ съ митрополитомъ Платономъ, который очень цѣнилъ его благочестіе и одобрялъ его литературные труды; ему посвящались разныя книги, между прочимъ сочиненіе архіепископа Тверского и Кашинскаго Ѳеофилакта Лопатинскаго, написанное на латинскомъ языкѣ: «Зерцало горячайшаго ко Господу Богу духа М. 1787 г.». Старецъ Ювеналій Воейковъ, игуменъ Корниліева монастыря, поднесъ ему свои два стихотворенія, напечатанныя въ 1779 г. и 6 дворянскихъ родословныхъ, напечатанныхъ въ 1792 г.; все это переплетено въ одну книгу, на лицевой сторонѣ которой вытиснуты золотомъ государственный гербъ и слова: «Его сіятельству князю Гавріилу Петровичу Гагарину, милостивому государю, подноситъ старецъ Ювеналій Воейковъ». Существуетъ одна изъ рѣдчайшихъ масонскихъ книгъ, которая только одинъ разъ была обозначена въ антикварномъ каталогѣ. Это «Рѣчь, говоренная при открытіи въ Москвѣ провинціальной ложи въ присутствіи высокопросвѣщеннаго брата князя Гавріила Петровича Гагарина».
Вотъ списокъ сочиненій самого кн. Г‑на: 1) Служба преп. Ѳеодосію Тотемскому съ житіемъ и чудесами. М. 1798 г. in folio и 1806 in — 4; 2) Акаѳистъ св. апостолу и евангелисту Іоанну Богослову. М. 1798; 3) Акаѳистъ, со службою, житіемъ и чудесами, Св. Дмитрію, митроп. и чудотв. Ростовскому. М. 1798. in — 8; 4) Забавы уединенія моего въ с. Богословскомъ; оставшееся твореніе кн. Г. Гагарина. Спб. 1813 г. in — 8. (нравственныя разсужденія), издано его сыномъ. Г. сочинилъ для себя эпитафію, сдѣлавшуюся потомъ ходячей въ «Кладбищенской литературѣ» (она начинается словами: «Прохожій! Ты идешь, но ляжешь такъ, какъ я»). Сохранились рукописи рѣчей, которыя Г. произносилъ въ ложѣ Лабзина «Умирающій сфинксъ» (основана въ 1800 г.), которой онъ былъ ревностнымъ членомъ.
Кн. Гагаринъ прекрасно владѣлъ французскимъ языкомъ, какъ и всѣ люди высшаго круга конца XVIII в., и обладалъ повидимому юморомъ и изящнымъ вкусомъ. Въ альбомѣ Антинга (уроженца Германіи, пріѣхавшаго съ Суворовымъ изъ Польши, въ качествѣ его адъютанта) сохранилось около 200 силуэтовъ, нарисованныхъ самимъ Антингомъ; изъ этого количества болѣе трети русскихъ, въ томъ числѣ и силуэтъ кн. Гагарина, подъ которымъ онъ написалъ слѣдующее четверостишіе:
L' ombre de son objet atteste la presence.
Ce principe si sur quelquefois nous seduit;
Car l'ombre du bonheur que tout mortel encense
Au bonheur ici bas ne l'а jamais conduit.
