#explorebycreative Episode 6 : Complétion, idéalisation du maillage

Les reconstructions à partir d'images de caméra, de mouvement ou de profondeur sont généralement incomplètes, contiennent des artefacts et sont inutilisables dans des applications 3D, comme les jeux vidéo ou la visualisation en réalité virtuelle.

La résolution de ce problème nécessite une étape supplémentaire qui consiste en la simplification, la complétion et/ou l'idéalisation du Mesh.

Dans un premier temps, on a développé un algorithme de complétion de la Mesh en utilisant une version modifiée de "Poisson Surface Reconstruction" [1]. Notre algorithme assure que les nouvelles surfaces générées sont parallèles à l'axe Z en se basant sur l'heuristique que la majeure partie de la surface manquante est une surface plane (généralement due à l'occlusion par un objet de la scène). Le résultat n'était pas satisfaisant, car les surfaces ajoutées ne correspondaient pas toujours à la réalité. Cependant, on pense que cette méthode sera utile ultérieurement pour compléter les surfaces des petits objets, et non pas de toute la scène.

Conséquemment, on a adopté une autre approche pour aborder le problème de complétion des grandes surfaces. Notre nouvelle méthode sert à détecter les structures planes générales à partir des surfaces 3D intérieures telles que les murs, le sol et le plafond, qui sont remplacées par des surfaces à faible nombre de polygones, similaire à ce qui était proposé par [2] ou [3]. Cela se fait par une segmentation des primitives des plans, suivie d'une détection et d'un filtrage des murs, puis d'un échantillonnage ascendant et d'une estimation des intersections afin de permettre la détection des pièces.

Références

[1] Kazhdan, Michael, Matthew Bolitho, and Hugues Hoppe. "Poisson surface reconstruction." Proceedings of the fourth Eurographics symposium on Geometry processing. Vol. 7. 2006.

[2] Chauve, Anne-Laure, Patrick Labatut, and Jean-Philippe Pons. "Robust piecewise-planar 3D reconstruction and completion from large-scale unstructured point data." 2010 IEEE computer society conference on computer vision and pattern recognition. IEEE, 2010.

[3] Zhang, Yizhong, et al. "Online structure analysis for real-time indoor scene reconstruction." ACM Transactions on Graphics (TOG) 34.5 (2015): 1-13.

N'oubliez pas, abonnez-vous ! #explorebycreative sur la page LinkedIn du groupe