Родился Брусилов в Грузии, в семье генерал-лейтенанта, которому на момент рождения первенца было 66 лет. Следом в семье родились братья Борис и Лев – будущий первый начальник Морского генерального штаба России. Когда детям было шесть, четыре и два года соответственно, умер отец, а вскорости и мать. Воспитанием детей занялись тётя и дядя.
В 1872 году Алексей был принят прапорщиком в 15-й драгунский Тверской полк. Участвовал в Русско-турецкой войне 1877–1878 годов, где за храбрость получил орден Святого Станислава III степени и орден Святого Станислава II степени.
В 1920 году Брусилов стал служить уже Красной Армии: участвовал в работе Военно-исторической комиссии, руководил кавалерийской допризывной подготовкой. В 1924 году вышел в отставку, в 1926-м умер в Москве.
Отдельного упоминания достоин и племянник генерала – лейтенант флота Георгий Львович Брусилов, который в 1912 году возглавил экспедицию, ставящую целью впервые пройти Северным морским путём под российским флагом. Но судно застряло во льдах, и судьба отважного морехода после 1914 года неизвестна.
