Editor.SelectXXX работает только с чертежами, открытыми в редакторе AutoCAD. Причем они должны быть активными в момент вызова Editor.SelectXXX. Для чертежа, прочитанного через Database.ReadDwgFile никакие методы класса Editor не работают! Соответственно нужно придумывать свой алгоритм для поиска объектов внутри полилинии - готового метода нет.