Контакты | История Компании | Вакансии | Наши партнёры

Система обработки мультиканальной сенсорной информации для лиц с нарушенным слухом и зрением (СОМСИ)

Перепись слепоглухих в России, проведенная при активном участии фонда поддержки слепоглухих Со—единение, выявила более 3000 таких граждан. С учетом того, что эта категория граждан, в силу объективных причин, не проявляет высокой социальной активности и является сложно-достижимой в ходе переписи, а также опираясь на данные мировой статистики (1 слепоглухой на 10 тысяч граждан), можно смело утверждать, что людей с одновременным нарушением слуха и зрения в стране значительно больше – около 12–15 тыс.

Из них только 4% являются тотально слепоглухими. Остальные имеют остаток зрения и/или слуха в той или иной мере.  Три из четырех способны воспринимать устную речь на слух (с использованием слуховых аппаратов, кохлеарных имплантатов или без них). Небольшая часть владеет языком жестов, дактильной азбукой и шрифтом Брайля.

Цель нашего проекта – это разработка и создание системы способной помочь инвалидам с одновременным нарушением слуха и зрения максимально интегрировать в социальную жизнь общества, и расширить возможности по самостоятельному ориентированию и независимому проживанию.

Данную систему слепоглухие люди смогут использовать для решения целого ряда задач, например, для распознавания текста, людей, объектов (и дома, и на работе, и на улице), графики и изображений (получая текстовое описание). Система также позволит инвалидам с нарушенным слухом и зрением в ориентировании на улице и в помещениях, предупреждать и информировать их в условиях чрезвычайных ситуаций.

Система, которая будет разработана в результате НИОКРа остоит из 2-ух взаимосвязанных компонентов: блока захвата мультиканальной сенсорной информации, оснащенный видеокамерой и микрофоном; и блока обработки данных (вычислительная платформа). 

Мы выделяем три основных функционала системы:

  • Навигация и ориентирование

  • Распознавание объектов

  • Распознавание звуков

А потенциальные пользователи разделены на три группы в зависимости от основного канала коммуникации СЛУХ, ЗРЕНИЕ и ТАКТИЛЬНЫЙ.
Во всех случаях, поступающая информация перерабатывается и перекодируется в осмысленный текст.

  • В случае, когда основной канал коммуникации — это СЛУХ, осмысленный текст переводится в ОЗВУЧИВАНИЕ и передается в наушники, слуховой аппарат или кохлеарный имплант.

  • В случае, когда основной канал коммуникации это ТАКТИЛЬНЫЙ, информация переводиться в тактильные сообщения и/или «тревожные» вибрации.

  • В случае со ЗРЕНИЕМ, осмысленный текст переводится в ВИЗУАЛЬНЫЕ ПРИМИТИВЫ и передается на зрительный (или РЕТИНАЛЬНЫЙ) имплант.

Если тактильные мониторы (типа дисплея Брайля или коммуникатора Морзе), слуховые аппараты и, даже, кохлеарные импланты уже давно и прочно вошли в нашу жизнь, то применение ЗРИТЕЛЬНЫХ ИМПЛАНТОВ можно отнести к новейшим вызовам современности.

Система, которая будет разработана в результате НИОКРа состоит из 2-ух взаимосвязанных компонентов: блока захвата мультиканальной сенсорной информации, оснащенный видеокамерой и микрофоном; и блока обработки данных (вычислительная платформа). 

Система анализирует получаемую видео- и аудио-информацию, производит очистку сигнала с использованием цифровых алгоритмов устранения естественных помех, передает данные на вычислительную платформы для последующего перекодирования видео- и аудио-информации в символьную форму (осмысленный текст). В последующем данный текст может быть представлен в одной из форм, доступных для слепоглухих – отображение визуальных примитивов, озвучивание текста или вывод в тактильной форме. 

Реализация проекта проходит в тесном сотрудничестве c:

Фондом поддержки слепоглухих «СО-ЕДИНЕНИЕ»
ЦЕНТРОМ РАЗВИТИЯ СОЦИАЛЬНЫХ ИННОВАЦИЙ «ТЕХНОЛОГИИ ВОЗМОЖНОСТЕЙ»
Ассоциацией Участников Рынка Ассистивных Технологий АУРА-Тех
Лабораторией СЕНСОР-ТЕХ
при финансовой поддержке ФОНДА СОДЕЙСТВИЯ ИННОВАЦИЯМ

Руководитель проекта: Сарафасланян Арташес Хачатурович