非法儲存槍支罪應該追究的刑事責任是：非法儲存槍支的，處三年以上十年以下有期徒刑；如果當事人的犯罪情節嚴重，應該判處十年以上的有期徒刑、無期徒刑或者死刑。

《中華人民共和國刑法》第一百二十五條非法制造、買賣、運輸、郵寄、儲存槍支、彈藥、爆炸物的，處三年以上十年以下有期徒刑；情節嚴重的，處十年以上有期徒刑、無期徒刑或者死刑。非法制造、買賣、運輸、儲存毒害性、放射性、傳染病病原體等物質，危害公共安全的，依照前款的規定處罰。單位犯前兩款罪的，對單位判處罰金，并對其直接負責的主管人員和其他直接責任人員，依照第一款的規定處罰。