В плоской геометрии, не учитывая миллион проблем, которые могут возникнуть (т.е. для случая на картинке) все просто: получаешь все точки обеих полилиний и из них берешь четыре - самую верхнюю левую, самую нижнюю левую, самую верхнюю правую и самую нижнюю правую. Отсеять, сравнивая Х и Y не так сложно. Потом по этим точкам строишь новую полилинию