Ученый и общественный деятель, академик АН Казахстана. Родился в Баянаульском районе Павлодарской области, в семье крестьянина-скотовода. Начальное образование получил в аульной школе, учился в русской школе в с.Баянауле. В 1919 г. поступил на учительские курсы в Павлодаре, после окончания которых работал в родном районе.

В 1921-1929 гг. учился в Семипалатинском педагогическом техникуме и в Ленинградском Восточном институте. С 1938 г. вся его дальнейшая деятельность связана с г.Алма-Атой, с Институтом, истории и этнографии Академии наук Казахстана, где он занимается археологией и этнографией.

Еще в 30-е гг. он подготовил для школ казахской рабочей молодежи программу и другие методические материалы, занимался переводом на родной язык произведений Чернышевского, Мамина-Сибиряка, Серафимовича, Куприна и т. д. В соавторстве с Х.Джумалиевым написал учебник «Казахская литература».

В течение многих лет А.Маргулан занимался исследованием и подготовкой к публикации научного и литературного наследия выдающегося казахского просветитеш-демократа Чокана Валиханова. Под его руководством и редакцией в 1962-1972 гг. было издано Полное академическое собрание сочинений Валиханова в 5 т. Большое значение в педагогической жизни республики имели также исследования А.Маргулана по фольклору. Он первым фундаментально изучил легенды, сказки, эпические поэмы казахского народа, где сконцентрированы шедевры народной педагогики. Несомненна заслуга А.Х.Маргулана в развитии археологической и этнографической науки Казахстана. Богатство и разнообразие источников, добытых ученым, позволили ему выдвинуть и аргументировано обосновать принципиально важное положение о существовании и развитии в степях Центрального Казахстана своеобразной древней и самобытной культуры, уходящей корнями в конец 2-го – начало  1-го тысячелетия до нашей эры.

Он является одним из авторов пятитомной «Истории Казахской ССР».