Служа много лет в Харьковском полку, Е. А. Альбовский постепенно собирал исторические сведения о его прошлом, ибо, как он сам вспоминал, «к стыду своему, не имел ровно никакого понятия о слободском казачестве и об обстоятельствах, при которых зародился Харьковский полк». Интерес молодого офицера именно к этому периоду истории объяснялся еще тем, что он сам был уроженцем Валковского уезда Харьковской губернии, где располагалось родовое имение Альбошевка, а предки Альбовского служили в Харьковском слободском казачьем полку.

В процессе своих изысканий в архивах Москвы и Харькова Альбовский знакомится с Дмитрием Ивановичем Багалеем. Известный ученый, знаток прошлого Слободского края не только поддержал начинающего историка, но и предоставил в его распоряжение бесценные архивные материалы и собственную библиотеку с богатым собранием старинных книг. Через всю жизнь пронес Евгений Александрович чувство глубокой благодарности к «почтенному историку, перед авторитетом которого нужно преклониться».

В 1895 году в Харькове выходит первая книга Е. А. Альбовского «История Харьковского слободского казачьего полка 1651–1765». Труд Евгения Альбовского выгодно отличался от произведений подобного жанра прежде всего тем, что в отличие от многих собратьев по перу он сумел подняться до уровня подлинно научного исторического исследования. Тщательно отбирая и проверяя факты, сравнивая разнообразные, порой противоречащие друг другу источники, отвергая недостоверные сведения, вводя в текст обнаруженные в архивах новые документы, он воссоздает реалистическую картину военной и гражданской жизни Слободской Украины в XVII–XVIII веках. Когда пришли в «дикое поле» первые поселенцы, кем и когда основан город Харьков, как возник Харьковский полк, ответы на эти и другие вопросы дает Альбовский в своем сочинении, выступая нередко в роли первооткрывателя.

Через два года, в 1897 году, в Минске выходит вторая часть истории Харьковского полка, где она прослежена до конца XIX века. И в этой работе поражает легший в ее основу колоссальный объем свежего архивного материала, освоенный в столь сжатые сроки. С присущим ему мастерством Альбовский восстанавливает на страницах книги не только детальную фактографию полка, но и рисует красочное полотно быта и нравов русской армии за два века.

История Харьковщины и Харьковского полка остались главными темами в творчестве Евгения Альбовского на многие годы. На равных с профессиональными историками он выступает с краеведческими сюжетами на страницах сборника Харьковского историко-филологического общества и газеты «Южный край». В 1914 году выходит новая книга «Харьковские казаки», задуманная как первая часть фундаментальной истории Харьковского полка, значительно дополненной и во многом переосмысленной. Это последняя из известных нам печатных работ Альбовского.

О жизни Евгения Альбовского вне его исследовательского и писательского труда мы знаем очень мало. Некоторые страницы «Истории Харьковского полка», посвященные войне 1877–1878 годов, позволяют предположить, что их автор был участником описанных событий. Известно, что после службы в Харьковском полку Е. Альбовский был ротмистром в Иркутском драгунском и написал историю последнего. Изучал историю тех мест, где протекала служба, занимался литературными переводами с польского, кое-что из них напечатал. Во время революции 1905 года принужден был выступить в роли «усмирителя латышей», о чем оставил записки «6 месяцев в Курляндии». В том же году вышел в отставку и вернулся в родную Альбошевку. После начала мировой войны был снова призван в армию.

Последнее известие о нем датируется по письмам отправленным с территории Польши в мае 1917 года. Дальнейшая его судьба неизвестна.

Автор книг «История Харьковского слободского казачьего полка. 1651-1765» (Харьков, 1895), «История Иркутского полка (50-й драгунский Иркутский полк)» (Минск, 1902), «Харьковские казаки» (СПб., 1914).