в папке ..\ObjectARX 2012\samples\database\ents_dg
взял пример. Скопилил его и на выходе получил файл ents.arx
Какой версией Visual Studio компилировал? Годится только VS 2008 SP1 (во всяком случае он должен быть установлен) или VS 2010 и выше, но с Platform Toolset = v90 (что означает необходимость установленного VS 2008 SP1). Ну и при компиляции нужно указать, что компилируешь x64, а не Win32.
А вообще на выходе проекта Object ARX
должно быть что: dll или arx или оба?
Может быть что угодно - расширение файла роли не играет. Принято, что расширение arx используется для обычных arx-файлов, dbx - для файлов поддерживающих Custom Object/Entity, dll - для mixed ObjectARX (т.е. использующих .NET), crx - для AcCoreConsole.