Формирование библиотеки музея началось в 90-х годах XIX столетия. Комплектование библиотеки проходило одновременно со сбором предметов для экспозиции. Библиотека, по замыслу войскового атамана, должна была быть размещена на первом этаже здания музея как публичная, с читальным залом, но на деле получилась закрытого типа. Часть книг была приобретена в книжных магазинах, часть получена в дар от частных лиц, с дарственной надписью, часть от общественных и государственных учреждений, таких как Академия наук, Геологический комитет, Императорское Географическое общество.
Сейчас коллекция «Редкий книжный фонд» насчитывает больше 10 тысяч экземпляров. Сюда относятся книги о донском казачестве, литература по казачьим войскам, казачьему самоуправлению, по истории Новочеркасска, различных казачьих полков, военного костюма. Это труды донских историков и краеведов В. Д. Сухорукова, А.А. Кириллова, Х. И.Попова, И. М.Сулина, Е. П. Савельева и др. Особую ценность представляет то обстоятельство, что многие книги были изданы в Новочеркасске, в Областной типографии и многочисленных частных. Особо стоит выделить книги гражданской печати XVIII века, среди которых «Скифская история» А.И. Лызлова, «История о донских казаках» А.И. Ригельмана; написанная за 30 лет до Карамзина «История о донских казаках», в которой исторические факты причудливо сочетаются с легендами и преданиями, остается примечательным памятником русской историографии XVIII века.
Интерес вызывают книги гражданской печати первой четверти XIX века, как, например, Географический словарь Российского государства в 6 частях, 1801-1808 годов, из библиотеки отпрысков войскового атамана Данилы Ефремова, или «Самоучебные произведения» донского казака Евлампия Никифоровича Кательникова, изданные в Варшаве в 1814 году «в военно-походной типографии, при главной квартире генерал-фельдмаршала графа Барклая-де-Толли состоящей».
Уникально и собрание книг кириллической (церковно-славянской) печати — более 150 таких редких книг разного времени.
Комплектование «Редкого книжного фонда» проводилось и в советское время: музей хранит довоенные издания «Тихого Дона» М.А. Шолохова, в том числе с иллюстрациями Королькова С.Г. Коллекция комплектуется и в настоящее время.