В 1865 г. вышла первая книга А. Я. Гаркави на русском языке "Об языке евреев, живших в древнее время на Руси, и о славянских словах, встречаемых у еврейских писателей", в которой он выдвинул теорию о том, что еврейская община в России была образована евреями, переселившимися с берегов Черного моря и с Кавказа, где жили их предки после ассирийского и вавилонского пленений. Их разговорным языком с IX в. был один из славянских диалектов, и только в XVII в. его сменил идиш. Данная теория происхождения российских евреев побудила автора заняться исследованием истории хазар, результаты которого он изложил в книге "Сказания еврейских писателей о хазарах и Хазарском царстве" (1874). Он также публиковал со своими комментариями еврейские рукописи из Императорской публичной библиотеки, в числе которых были произведения еврейских поэтов средневековой Испании. А. Я. Гаркави много занимался научно-организационной и общественной деятельностью, был членом известных научных обществ в России и за рубежом, в том числе Русского археологического общества (секретарь востоковедческого отделения).