根据《中华人民共和国刑事诉讼法》第七十三条的规定，如果犯罪嫌疑人或被告人在取保候审期间未违反该法第七十一条规定的行为，那么在取保候审结束时，他们可以凭借解除取保候审的通知或者相关的法律文书到银行领取退还的保证金。这意味着，保证金的退款通常发生在取保候审被正式解除之后。具体的时间可能会因案件的具体情况和司法机关的工作流程而有所不同。

正常情况下：如果取保候审期间没有重新故意犯罪，或者具有《刑事诉讼法》第一百八十三条规定的情形之一，那么在解除取保候审、变更强制措施的同时，公安机关应当制作退还保证金决定书，通知银行如数退还保证金。被取保候审人或者其法定代理人可以凭退还保证金决定书到银行领取退还的保证金。特殊情况：如果取保候审期间有违反规定的行为，公安机关可能会根据具体情况决定是否退还保证金。如果决定不退还，会出具相应的法律文书说明理由。

LFA小编建议及时了解案件进展：密切关注案件的进展情况，了解取保候审是否会被解除或变更。保存相关文件：保存好取保候审的相关文件，特别是解除取保候审的通知或相关法律文书，这些文件是领取保证金的重要凭证。咨询法律专业人士：如果有疑问，建议咨询负责案件的公安机关或法律专业人士，以获取详细的指导和帮助。关注银行通知：如果已经收到退还保证金的决定书，及时关注银行的通知，确保保证金能够顺利退还。

相关法条1.《中华人民共和国刑事诉讼法》第七十三条

2.《中华人民共和国刑事诉讼法》第七十一条

3.《中华人民共和国刑事诉讼法》第一百八十三条