Die SIM-Karte kann ganz einfach ein- und ausgesteckt werden (der Slot ist von aussen zugänglich und nicht irgendwo im Inneren versteckt), die kannst Du also problemlos zwischen Handy und FritzBox hin- und herzügeln.
Dass man mit der SIM-Karte telefonieren könnte, wäre mir nicht bekannt. Soweit ich gesehen habe, präsentiert sich die FritzBox als "normale" Telefonzentrale, egal auf welchem Weg die Internetanbindung hergestellt wurde (DSL, WAN-Port oder 4G). Zum Telefonieren brauchst Du also einen Festnetzanschluss oder VoIP-Account und entweder ein "normales" Telefon (per Kabel oder DECT angeschlossen), ein VoIP-Phone oder einen VoIP-Client auf dem Handy oder Computer.
Ich würde die Frage mal dem AVM-Support stellen, die sind sehr hilfsbereit und können das vielleicht noch präzisieren.