Як можна використовувати POMDP для вирішення проблем ШІ?

Реальні приклади та застосування pomdp в AI Використовуючи дані датчиків і історичні спостереження, роботи можуть орієнтуватися в складних ситуаціях і адаптувати свої дії, забезпечуючи ефективну та безпечну роботу.24 грудня 2023 р

Визначення. Частково спостережуваний марковський процес прийняття рішень (POMDP) ​​стосується клас послідовних проблем прийняття рішень в умовах невизначеності. Цей клас включає проблеми з частково спостережуваними станами та невизначеними ефектами дії.

Структура POMDP є достатньо загальною для моделювання різноманітних послідовних процесів прийняття рішень у реальному світі. Програми включають проблеми навігації роботів, обслуговування машини та планування в умовах невизначеності в цілому.

Марковський процес прийняття рішень (MDP) є математична основа, що використовується для моделювання проблем прийняття рішень, де результати є частково випадковими, а частково контрольованими. Це структура, яка може вирішити більшість проблем навчання з підкріпленням (RL).

По-перше, POMDP потребують багато обчислень, тому вони можуть не підходити для програм реального часу. по-друге, POMDP може бути важко налаштувати, і може знадобитися багато спроб і помилок, щоб вони добре працювали.

– Значення функції є оцінка політики на основі довгострокової цінності, яку агент очікує отримати від виконання політики. s Rsa T sas V s ! " Політика — це (можливо, стохастичне) відображення між "станами" та діями (де стани можуть бути переконаннями або векторами інформації).

Функції винагороди Якщо винагорода в задачі стохастична, функція винагороди реалізована в POMDP. jl має повернути середню винагороду. Є два можливих сигнатури аргументів функції винагороди, які автор проблеми міг би розглянути щодо реалізації для MDP: (s, a) і (s, a, sp) .