Be-leuh. There's a video so you can hear it clearly in the Related Links below.
You would say "maison bleue" in French to mean blue house.
Bleu (masc.) Bleue (fem.)
"une fille bleue" (literally speaking...)
bleu/bleue
bleu (masc.), bleue (fem.)
une mésange bleue
peinture bleue.
l'heure bleue
a blue dress in french is " une robe bleue".
The blue house is "la maison bleue" in French.
une robe bleue
bleu (masc.), bleue (fem.)