Александър Нелидов е роден на 11 юни 1835 г. в Смоленска губерния. Завършва Кишиневската гимназия със златен медал (1851). Висше образование завършва във факултета по източни езици и юридическия факултет със златен медал.
Започва дипломатическата си кариера в Азиатския департамент на Министерството на външните работи. Работи като младши секретар на мисията в Гърция и Османската империя (1856-1864), старши секретар на мисията в Османската империя и Австрия (1864-1874). Камер-юнкер от 1862 г., статски съветник от 1871 г. и камерхер от 1872 г. Участва в Руско-османската война (1877 – 1878). Като в мисията в Османската империя е изпратен с тайна мисия в Букурещ, където води успешни преговори с румънския министър-председател Йон Братиану. Сключено е споразумение, разрешаващо на руските войски безпрепятствено преминаване през територията на Румъния, в случай на война с Османската империя. Назначен за началник на дипломатическата канцелария на главнокомандващия на Действуващата Руска армия на Балканския полуостров княз Николай Николаевич. През ноември 1877 г. съставя „Записка относно условията за мир“ – предварителни условия за сключване на примирие с Османската империя. Одобрена е от канцлера Александър Горчаков и император Александър II с наименованието „Основи на мира“ и заляга в основата на Одринското примирие и Санстефанския мирен договор между Русия и Османската империя.
След войната в периода 1879 – 1882 г. е дипломат с ранг посланик в Кралство Саксония и херцогство Саксония-Алтенбург. След работата в Германия отново е изпратен на дипломатически пост в Османската империя. Първоначално е управляващ на посолството, а от 15 юли 1883 г. е посланик. През 1897 г. е назначен за посланик в Рим. От 1903 г. живее в Париж, където е посланик от 1907 г. до смъртта си през 1910 г.