Correcto. Los números, strings, tuplas, etc., son inmutables. No puedes cambiar su valor "por dentro". Si dentro de una función haces mi_numero = mi_numero + 1, en realidad estás creando un nuevo objeto número y haciendo que la variable local apunte a él. La variable original de fuera no se entera.
Este concepto de mutabilidad vs. inmutabilidad es una de las cosas más importantes que hay que entender bien en Python.