La opción A es a mano desde la BDD de MySQL, exporta el script de la bdd y sustituir la url y volver a importar este fichero.

La opción B es con un plugin que facilite el trabajo, el más sencillo y efectivo: Better Search Replace by Delicious Brains

Una vez instalado lo lanzamos desde Herramientas:

Escribes la cadena de búsqueda y sustitución, y reemplazas, así de sencillo, seleccionas primero todas las tablas de la bbdd