Разработан интегрированный «нейрон», который может одновременно «видеть» и «осязать»

Ученые университета Пенсильвании разработали «нейрон», который успешно интегрирует сенсорную информацию как визуальную так и тактильную. Робот, снабженный таким «нейроном», может одновременно видеть и осязать.
Разработан интегрированный «нейрон», который может одновременно «видеть» и «осязать»
Группа исследователей из Университета штата Пенсильвания разработала искусственный нейрон, способный обрабатывать визуальные и тактильные сенсорные сигналы одновременно. Tyler Henderson/Penn State

В мозге человека информация обрабатывается не последовательно — сначала визуальная, потом тактильная — а сразу. Такую схему смогли реализовать ученые в новом «нейроне».

Ощупывание кошачьей шерсти может дать некоторую информацию, но увидеть животное — это решающий момент: кто же перед нами? Домашняя кошка или лев? Наши органы чувств взаимодействуют друг с другом для получения полного представления, особенно если отдельные сигналы очень слабые. Информация от всех сенсоров значит больше, чем их простая сумма. Роботы, как правило, следуют более простому принципу сложения, но исследователи из Университета Пенсильвании использовали биологическую концепцию, разработав первый искусственный мультисенсорный нейрон.

РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

Соавтор работы Саптарши Даса говорит: «Роботы принимают решения в зависимости от окружающей среды, но их датчики, как правило, не взаимодействуют друг с другом. Решение может быть принято с помощью блока обработки данных от всех датчиков, но является ли такой подход эффективным? В человеческом мозге одно чувство влияет на другое и позволяет лучше оценивать ситуацию».

Например, в автомобиле один датчик сканирует препятствия, а другой определяет освещенность, чтобы регулировать интенсивность света фар. По отдельности эти датчики передают информацию на центральный блок, который затем дает команду автомобилю затормозить или отрегулировать свет фар. По мнению Даса, если позволить датчикам напрямую взаимодействовать друг с другом, это будет более эффективно с точки зрения энергопотребления и скорости работы, особенно если входные сигналы от обоих датчиков слабые.

РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ
РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

«Биология позволяет маленьким организмам процветать в условиях ограниченных ресурсов, минимизируя при этом потребление энергии», — говорит Дас. — «Требования к различным датчикам зависят от условий — в темном лесу вы будете больше полагаться на слух, чем на зрение, но мы почти никогда не принимаем решений, основываясь только на одном чувстве. Мы полностью ощущаем окружающую обстановку, и принятие решений основано на интеграции того, что мы видим, слышим, осязаем, обоняем и т.д. В биологии органы чувств развивались вместе, а в искусственном интеллекте — по отдельности. В данной работе мы стремимся объединить датчики и имитировать работу нашего мозга».

Схема работы нейрона, объединяющего визуальный сенсор и тактильный.
Схема работы нейрона, объединяющего визуальный сенсор и тактильный.
https://www.nature.com/articles/s41467-023-40686-z
РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

Исследователи изготовили мультисенсорный нейрон, соединив тактильный датчик с фототранзистором на основе монослоя дисульфида молибдена — соединения, обладающего уникальными электрическими и оптическими характеристиками. Такой нейрон генерирует электрические импульсы, обрабатывающие информацию, которая интегрирует как визуальные, так и тактильные сигналы.

Дас пояснил, что искусственная система мультисенсорных нейронов может повысить эффективность сенсорных технологий, открывая путь к более экологичному использованию ИИ. В результате роботы, беспилотники и самоуправляемые автомобили смогут более эффективно ориентироваться в окружающей среде, потребляя при этом меньше энергии.

Соавтор работы Эндрю Панноне говорит: «Мы рассматривали только два органа чувств. Мы работаем над тем, чтобы определить подходящий сценарий для включения остальных и посмотреть, какие преимущества это дает».