Pourriez-vous préciser sur quel type de document vous tentez d'implémenter cette recherche ?
En gros cette restriction descendantOfInstance dans la recherche backoffice et les information sur lesquelles elle fait son test ne sont indexées que pour le backoffice (cf la méthode buildBackIndexedDocument sur indexer_IndexService).
Cela dit, si votre recherche porte sur un modèle donné, rien n'empêche de rajouter cette information. Ça peut se faire dans le getIndexDocument sur la classe finale du document via la méthode setDocumentAncestors définie sur indexer_IndexedDocument en lui passant les identifiants qui vous arrangent.