Поток управления

Оптимизируйте свои подборки Сохраняйте и классифицируйте контент в соответствии со своими настройками.

Начиная с Android 11, NNAPI включает две операции потока управления, IF и WHILE , которые принимают другие модели в качестве аргументов и выполняют их условно ( IF ) или многократно ( WHILE ). Это позволяет создавать модели, которые выполняют различные операции на основе входных значений или выполняют операции несколько раз без развертывания. Это важно для таких вариантов использования, как динамический RNN и seq2seq.

В NN HAL 1.3 модель включает несколько подграфов, включая основной подграф, который используется для указания входов и выходов выполнения. Подграф может ссылаться на другие подграфы, используя операнды типа SUBGRAPH . Фреймворк может отправлять операцию потока управления ускорителю, только если ускоритель поддерживает все операции во всех подграфах, на которые ссылается эта операция потока управления.

HAL-интерфейсы

В NN HAL 1.3 определения, связанные с потоком управления, находятся в types.hal .

• Типы операций IF и WHILE
• Тип операнда SUBGRAPH и соответствующее время жизни операнда SUBGRAPH
• Структура Model , которая содержит основной подграф и список связанных подграфов
• Структура Capabilities , содержащая ifPerformance и whilePerformance

IDevice.hal содержит IDevice , метод getSupportedOperations_1_3() которого должен обрабатывать IF и WHILE иначе, чем другие операции.

IPreparedModel.hal содержит IPreparedModel , методы которого execute_1_3() , executeSynchronously_1_3() и executeFenced() принимают необязательный аргумент loopTimeoutDuration .

Реализация драйвера

Для примера реализации операции см. CpuExecutor::executeIfOperation и CpuExecutor::executeWhileOperation . Для примера логики проверки операции см. validateIfOperation() и validateWhileOperation() .

Обратите внимание, что важно поддерживать арифметические и сравнительные операции над операндами TENSOR_INT32 формы 1 , поскольку они могут использоваться как счетчики циклов. Аналогично, операции, создающие операнды TENSOR_BOOL8 формы 1 следует использовать с условиями IF и WHILE .

Истекло время ожидания выполнения цикла WHILE

Чтобы предотвратить бесконечные циклы, выполнение должно быть прервано, если цикл WHILE длится дольше, чем значение loopTimeoutDuration , переданное в вызов IPreparedModel::execute_1_3() , IPreparedModel::executeSynchronously_1_3() или IPreparedModel::executeFenced() (или значение по умолчанию, если оно пропущено).

Проверка

Тесты потока управления являются частью тестовых наборов CTS и VTS. Для получения дополнительной информации см. Проверка .