И. Г. Малкин внес значительный вклад в развитие второго метода Ляпунова в теории устойчивости. Им были рассмотрены сложные вопросы теории критических случаев устойчивости; результатом этих исследований стала монография «Теория устойчивости движения». Свои научные исследования он органически связывал с техническими приложениями, чем и объясняется его интерес к теории нелинейных колебаний, время обращения к которой совпало с началом внедрения результатов этой теории в практику. Автор около 40 научных работ, в том числе трех монографий по теории устойчивости движения и теории нелинейных колебаний: «Методы Ляпунова и Пуанкаре в теории нелинейных колебаний», «Теория устойчивости движения» и «Некоторые задачи теории нелинейных колебаний» (все три книги были переизданы в URSS). Он также перевел на русский язык фундаментальный курс П. Аппеля по теоретической механике.