Allan,
Você já experimentou utilizar o componente Modal do Fluig?
Ele é um componente do Style Guide do Fluig que já facilita a criação de modais (popups) em formulários/widgets. Acho mais viável utilizar esse componente do que implementar algo do zero.
Dá uma olhada na documentação de como implementar depois:
https://style.fluig.com/javascript.html#modals
