Родился в Харькове в семье рабочего. Окончил начальную школу, затем работал на стекольном заводе в посёлке Выгошь ныне Брянской области: рассыльный, канцелярист, счетовод.
В Красной Армии с сентября 1924 года. В 1927 году окончил Вторую Московскую пехотную школу, в 1937 году - Военную академию имени М.В. Фрунзе, в 1938 году - Военно-политические курсы.
С августа 1927 года командовал взводом, с августа 1930-го - помощник командира и с октября 1931 г. - командир роты в 44-м стрелковом полку 15-й Сивашской стрелковой дивизии, затем командир учебной команды 40-го пулеметного батальона той же дивизии. С июля 1933 года - инструктор физической подготовки 11-й тяжелой бомбардировочной бригады, затем на такой же должности в 14-й кавалерийской дивизии. С 1937 года на партийно-политической работе - военный комиссар 24-й Самаро-Ульяновской Железной стрелковой дивизии.
С июля 1939 года - член Военного совета Приволжского военного округа. В феврале - августе 1941 года - член Военного совета Дальневосточного фронта.
На фронтах Великой Отечественной войны корпусной комиссар Желтов - с сентября 1941 года. Был членом Военного совета Карельского фронта, с июля 1942 года - 63-й армии, с сентября 1942 года - Донского, с октября 1942 года - Юго-Западного и с октября 1943 года до окончания войны - 3-го Украинского фронта.
Генерал Желтов участвовал в обороне Советского Заполярья, подготовке и проведении операций по разгрому фашистских войск под Сталинградом, по освобождению Украины и Молдавии, Румынии, Болгарии, Венгрии, Югославии и Австрии. Возглавляя партийно-политическую работу фронтов, А.С. Желтов внёс большой вклад в обеспечение успешного выполнения боевых задач, укрепление воинской дисциплины, примерности коммунистов и комсомольцев в бою, в политическое воспитание личного состава.
После победоносного окончания войны, с июля 1945 года по июль 1950 года - член Военного совета Центральной группы войск и заместитель Верховного комиссара от СССР в Союзнической комиссии по Австрии. С июля 1950 года он был членом Военного совета Туркестанского военного округа, с января 1951 года - начальник Главного управления кадров Советской Армии.
С апреля 1953 года - начальник Главного политического управления Советской Армии и Военно-Морского Флота. В 1957 году - один из руководителей кампании по дискредитации снятого с поста Министра обороны СССР Маршала Советского Союза Г.К. Жукова.
С января 1958 года - заведующий отделом ЦК КПСС, с июня 1959 года начальник Военно-политической академии имени В.И. Ленина. С декабря 1971 по ноябрь 1987 года - военный консультант Группы генеральных инспекторов Министерства обороны СССР.
За умелое руководство войсками, личное мужество и отвагу, проявленные в борьбе с немецко-фашистскими захватчиками в годы Великой Отечественной войны, большой вклад в подготовку и повышение боевой готовности войск в послевоенный период Указом Президиума Верховного Совета СССР от 21 февраля 1978 года генерал-полковнику Желтову Алексею Сергеевичу присвоено звание Героя Советского Союза с вручением ордена Ленина и медали "Золотая Звезда".
С 1971 года - заместитель председателя, а в 1981-1988 годах - председатель Советского комитета ветеранов войны. С ноября 1987 года - в отставке.
Скончался 29 октября 1991 года. Похоронен в городе-герое Москве на Введенском кладбище (участок 29).
Награждён шестью орденами Ленина, Октябрьской Революции, четырьмя Красного Знамени, Суворова 1-й степени, двумя Кутузова 1-й степени, Отечественной войны 1-й степени, Красной Звезды, "Знак Почёта", медалями, а также иностранными орденами.
Депутат Верховного Совета СССР 2-го (1946-1950) и 4-5-го (1954-1962) созывов. Депутат Верховного Совета Узбекской ССР 3-го созыва (1951-1955).
Сочинение:
Операции "Уран" и "Малый Сатурн". - В кн.: Битва за Сталинград. 4-е изд. Волгоград, 1973.
Послужной список
С 22.06.1941 г. по 15.08.1941 г. корп. комиссар в ДВФ
С 01.09.1941 г. по 04.07.1942 г. корп. комиссар в КарФ
С 10.07.1942 г. по 30.09.1942 г. корп. комиссар в 63 А
С 30.09.1942 г. по 23.10.1942 г. корп. комиссар в ДонФ
С 25.10.1942 г. по 06.12.1942 г. корп. комиссар в ЮЗФ
С 06.12.1942 г. по 20.10.1943 г. генерал-лейтенант в ЮЗФ
С 10.10.1943 г. по 13.09.1944 г. генерал-лейтенант в 3 УкрФ
С 13.09.1944 г. по 15.06.1945 г. генерал-полковник в 3 УкрФ