Olá.
Depois de várias pesquisas, o problema é o openfire no windows. Mesmo sendo windows 64bits, pela pesquisa, consegue gerenciar no máximo 1.5gb por processo.
Então, preparei outro servidor com Linux Centos e java 64bits. Movi a pasta jre do /opt/openfire para jre.old e alterei o parametro OPENFIRE_OPTS=Xmx4096 que fica no /etc/sysconfig /openfire, porque foi instalado o .RPM. Lembrando que deixei com banco mysql.
Fiz teste com 6Gb e funcionou normalmente.
Em resumo: É restrição do openfire com windows.
Atenciosamente,
Antonio