pset - это resbuf, содержащий имя набора (ads_name).
1) При помощи acedSSLength получаешь количество элементов в наборе.
2) При помощи acedSSName получаешь ads_name для имени примитива в наборе для каждого из элементов набоа.
3) При помощи acdbGetObjectId получаешь AcDbObjectId для примитива.
4) Проверяешь что AcDbObjectId соответствует полилинии (AcDbPolyline), т.е id.objectClass() == AcDbPolyline::desc()
5) Открываешь полилинию для чтения: AcDbObjectPointer<AcDbPolyline> pPoly(id, AcDb::kForRead);
6) Получаешь количество вершин: int n = pPoly->numVerts()
7) Получаешь координаты AcGePoint3d p вершины для каждой i от 0 до n-1: pPoly->getPointAt(i, p);