1. Какой формат файла справки нужно использовать для своих команд в AutoCad (в приведенных примерах используется .chm).
Если в примерах используется .chm, то может стоит попробовать его?
2. Какой механизм для вызова лучше использовать (атрибуты, отдельный процесс или acedSetFunHelp).
Лучше или хуже - понятие относительное. Каждый из обозначенных способов имеет свои преимущества и недостатки. Исходи из того, какой функционал тебе нужен
по факту. Если возможностей, предоставляемых стандартным способом (т.е. через
CommandMethodAttribute) тебе достаточно, то лучше использовать его.
3. Есть ли возможность использовать интерфейс справки AutoCad (например такой же, ка для AutoCad 2015 при вызове справки для встроенных команд)
я не пробовал указывать html файлы, но ничто тебе не мешает самому попробовать это сделать и сообщить о результатах.