老圖書館占地呈“工”字形，由壹座主樓和前後兩翼的四座附樓聯結而成，整體外觀為中國傳統殿堂式風格，飛檐畫角，龍鳳卷雲，完整地體現了中國宮殿式建築的威武和莊嚴，內部則采用了西式的回廊、吊腳樓、石拱門、落地玻璃等，將“中西合璧”的建築風格發揮得完美而極致
由於圖書館地基不敷使用，設計師凱爾斯便大膽地將主樓後移，采用基柱托起主樓後部，用環廊與地面相接，使圖書館的前方平坦寬闊，背面更加高峻宏偉。
老圖書館主樓第壹層正面采用厚重的水泥臺基和西式雙立柱托起中式歇山頂；主入口為三開間單洞門，使用四對方立柱形成高大寬闊的門廊，既用了西式雙聯廊柱，又用了中國古典建築中的雀替、額枋。 老圖書館的外部裝飾極具中國傳統特色，頂部塔樓為八角重檐、單檐雙歇山式，形似皇冠，跨度達18米；上立七環寶鼎，除起到裝飾作用外，還兼有排氣之功用；屋頂上有采暖煙囪，裝飾為通靈寶塔狀，處處體現出實用性與藝術性的完美結合。南屋角立有粗大的隅石，稱為“雲紋照壁”，北屋角立有小塔，其間護欄以左右的勾闌和中央的雙龍吻背，造成“圍脊”的效果。前部兩座附樓的歇山頂屋脊與大閱覽室相連，稱為“歇山連脊”
老圖書館正門上方鑲有中國圖書館的祖師爺——老子的全身鏤空鐵畫像，基本造型為老子手持竹簡，目光深邃地凝視前方。由於老子是中國自有文字記載以來的最早的壹位“圖書館館長”（周“守藏室史”），故特在老圖書館門前鏤刻此“抽象簡筆畫”壹幅，以紀念其弘揚華夏文化之功，並頌揚其治學與文獻收藏之勤。老子畫像兩側的雲紋圖案，寓意“青燈伴書卷”，象征著莘莘學子刻苦讀書、治學之意境。 四面通風與采光，能滿足240余人同時閱覽和借閱的需要，還兼有學術報告廳之功用。廳內整齊老圖書館壹樓中部的閱覽大廳，層高9.6米，與歐洲19世紀早期大廳式圖書館的格局陳列的黑褐色欖木桌椅都是當年的，古樸而美觀，並壹直沿用至今
老圖書館主附樓側後面連接處還建有西式吊腳樓，是洗拖把的地方，細節的考究頗值玩味和借鑒。
值得壹提的是，老圖書館不僅外形頗似北京故宮，其內部的取暖方法也與故宮極其相似：在壹樓大廳閱覽室的木地板下設有取暖道，寒冬時節，燒上烤火爐，熱氣進入取暖道而使地板發熱，閱覽室內便溫暖如春。可惜的是，因年代久遠，這套取暖系統已不能使用。