Sobald openvpn auf deiner Kiste rennt, bekommt sie wahrscheinlich ein anderes Default-Gateway und Pakete werden über dieses beantwortet... dadurch entsteht der Eindruck (was auch mehr oder weniger richtig ist), dass die Box (oder der openVPN-Client allgemein) nicht mehr über die öffentliche IP-Adresse erreichbar ist. Das ist aber abhängig vom openVPN-Server, ob er seine Clients zwingt den ganzen Traffic durch den Tunnel zu jagen.
Mit was für einem Server verbindest du dich denn und was versprichst du dir davon? Wenn du "von außen" erreichbar sein willst, musst du den openVPN-Server "ansprechen" und so einrichten, dass er die Ports an deinen Client weiterleitet... deine heimische FritzBox ist dann quasi aus dem Rennen.