А. П. Котельников заложил основы для построения векторного исчисления и механики в неевклидовых пространствах, а также исследовал связи геометрии Лобачевского с теорией относительности. Разработанный им математический аппарат винтового исчисления позволил обосновать исходные положения механики независимо от типа неевклидова пространства и найти важные геометрические приложения. Также им написаны работы по вопросам кинематики и динамики твердого тела, по теории гироскопов. Его труды оказали значительное влияние на развитие геометрии и теоретической механики.