Vous avez voulu trop bien faire ! Si le lancement de Sweet Home 3D de la version DMG vous indique de télécharger Java 6, il ne fallait pas essayer d’installer Java 9, mais plutôt de bien installer la version de Java 6 proposé à la page https://support.apple.com/kb/DL1572
Si vous voulez absolument utiliser une version de Java plus récente, ne prenez pas Java 9 mais plutôt Java 8, et lancez Sweet Home 3D avec Java Web Start.