新公司不开票就不用进行税务登记吗？

不是的。不办理税务登记除了无法开票外，还有可能无法开立银行账户，面临行政罚款。
根据税务登记管理办法（国家税务总局令第48号）第一章之有关内容，纳税人在办理下列事项时，必须提供税务登记证件：（一）开立银行账户；（二）领购发票。纳税人办理其他税务事项时，应当出示税务登记证件，经税务机关核准相关信息后办理。
根据第二章之有关内容，企业从事生产、经营的纳税人领取工商营业执照的，应当自领取工商营业执照之日起30日内申报办理税务登记，税务机关发放税务登记证及副本。
根据第九章之有关内容，纳税人不办理税务登记的，税务机关应当自发现之日起3日内责令其限期改正；逾期不改正的，可以处二千元以下的罚款；情节严重的，处二千元以上一万元以下的罚款。

另外说明：新注册公司一定要进行税务登记，每月需要按时向税局纳税申报。
若没有进行经营可以做零申报，而零申报就是企业纳税申报的一种方式，是指当纳税人在纳税申报所属期间内没有发生应税收入，也没有应纳税额，就可以向税务机关申请税务零申报，并标明当期无应税事项。
注册的初创企业，在无收入无成本的情况下可以在开业三个月内办理零申报，而如果企业连续三个月以上都是零申报，就会被税务系统列入重点关注对象，也会影响公司的信用等级，若因此被税务机关认定为“非正常户”的话，情节严重者也会被吊销营业执照。