根据《国务院关于修改〈中华人民共和国发票管理办法〉的决定》（国务院令第587号）第二十九条的规定， 开具发票的单位和个人应当按照税务机关的规定存放和保管发票，不得擅自销毁。已经开具的发票存根联和发票登记簿，应当保存5年。保存期满，报经税务机关查验后销毁。

税务部门提醒，纳税人遇到上述情况时，除了对正在开据的发票应按规定保管外，对所用完的发票也仍应按税法规定的期限保管，尤其是涉及销毁发票存根时应主动向税务部门报告，否则极有可能对自己造成不必要的麻烦。

因此，该公司应将前5年开具的发票存根联单独存放，并查清发票的种类、数量，然后向主管税务机关请示销毁，待税务机关查验后再统一销毁。