Под "некорректным" может быть скорее еще случай, когда координаты X и Y узлов совпадают.
Может еще на это стоит проверять?
Речь о контуре для Editor.SelectCrossingPolygon? Если да, то несколько соображений на вскидку:
1. Точки должны передаваться в UCS (ПСК), а не в WCS (МСК).
2. Не думаю что совпадающие вершины будут мешать, но нужно проверять экспериментально. Возможно разное поведение в разных версиях AutoCAD.
3. Вершины должны быть в одной плоскости.
4. Не должно быть самопересекающихся сегментов.