建設業許可を取得すると、事業年度（決算）終了後4ヵ月以内に「事業年度終了届」と称して、工事履歴、財務諸表、事業計画書などを所定の書式で届出る必要があります。
期限は4ヶ月以内とありますが、税理士さんなどから決算書ができてくるのが２～３ヶ月くらいとすると、実質的には猶予は1か月程度なのが殆どです。

全然出してないのですが、出さずにいるとどうなりますか？

確かに公共工事を手掛けていない場合などは、経審も発生しないので、義務感として希薄になりがちです。
ただ、建設業許可の有効期限は５年です。許可取得から５年後に許可の更新手続きが必ず発生します。
その際に、過去５年分の事業年度終了届の履歴を確認されます。そこで届出の履歴がなければ、許可の更新手続きが受理されません。要するに建設業許可が更新できずに期間満了によって失効します。

更新のときに５年分まとめて持っていけば大丈夫ですか？

本当にやむを得ない事情があれば別ですが、その際は窓口の土木事務所などに相談した方がよいでしょう。
実際に５年も放置していれば、それなりに指導、勧告がなされている可能性があります。
その勧告を無視し続けたというのであれば、５年を待たず業法違反で罰則が適用される可能性もあります。

【届出義務違反】
建設業法第50条によって、6月以下の懲役または100万円以下の罰金が科される恐れがあります。

万一、業法違反で処罰されてしまうと、建設業許可の取消処分となる可能性もあります。
そもそも、事業年度終了届は建設業法第11条によって、毎年提出することが義務付けられています。忘れず、サボらず、きちんと提出しましょう。
時間や手間でお悩みでしたら、当職にご相談くださいませ♪