公司不可以停保，用人單位不辦理社會保險登記的，由社會保險行政部門責令限期改正；逾期不改正的，對用人單位處應繳社會保險費數額一倍以上三倍以下的罰款，對其直接負責的主管人員和其他直接責任人員處五百元以上三千元以下的罰款。

《中華人民共和國社會保險法》

第八十四條 用人單位不辦理社會保險登記的，由社會保險行政部門責令限期改正；逾期不改正的，對用人單位處應繳社會保險費數額一倍以上三倍以下的罰款，對其直接負責的主管人員和其他直接責任人員處五百元以上三千元以下的罰款。

第八十六條 用人單位未按時足額繳納社會保險費的，由社會保險費征收機構責令限期繳納或者補足，并自欠繳之日起，按日加收萬分之五的滯納金；逾期仍不繳納的，由有關行政部門處欠繳數額一倍以上三倍以下的罰款。