СОМСИ

Система обработки мультиканальной сенсорной информации для лиц с нарушенным слухом и зрением (СОМСИ)

Для кого этот проект

Большинство людей с нарушениями слуха и/или зрения имеют остаток слуха и/или зрения в той или иной мере и способны воспринимать устную речь на слух, с помощью слуховых аппаратов и кохлеарных имплантатов, а иногда и без них. СОМСИ – решение, призванное помочь инвалидам с нарушением слуха и/или зрения интегрироваться в социальную жизнь общества и расширить возможности по самостоятельному ориентированию и независимому проживанию.

Задачи

Навигация и ориентирование в помещениях и на улице

Распознавание базовых объектов (например: стол, стул, человек...)

Распознавание звуков (например: сигнал тревоги)

Установка слуховых и зрительных имплантов – это одно из наиболее интересных и перспективных направлений в современной медицине. СОМСИ - это инновационное решение, которое формирует "технологический задел" для будущей интеграции с имплантируемыми сенсорными системами – слуховыми и зрительными имплантами, что позволит существенно увеличить эффективность их использования.

Над реализацией проекта СОМСИ работает группа специалистов компании Бизнес Бюро, в которую вошли консультант-офтальмолог, инженер-проектировщик, специалисты в области нейросетей и искусственного интеллекта, инженер-технолог, программисты и др.

Принцип работы

СОМСИ СОМСИ

Система получает изображения и звуки окружающей обстановки и передает данные на вычислительную платформу. Вычислительная платформа с помощью нейросети анализирует и преобразует поступающую информацию в осмысленный текст. Осмысленный текст переводится в одну из доступных для восприятия форм – озвучивание, отображение визуальных примитивов или вывод в тактильной форме.

Проводимые в рамках проекта СОМСИ НИОКР направлены на разработку аппаратно-программного комплекса, состоящего из 2-ух взаимосвязанных модулей: сенсорного модуля для захвата мультиканальной информации, оснащенного видеокамерой и микрофоном, и блока обработки данных (вычислительной платформы).

Система является сложным техническим устройством, в основе работы которого лежат методы обработки больших массивов данных, алгоритмы искусственного интеллекта для распознавания образов и звуков, в том числе человеческой речи.

Программное обеспечение

СОМСИ: Мобильное приложение-клиент

СОМСИ: Мобильное приложение-клиент

Программа предназначена для управления Системой обработки мультиканальной сенсорной информации для лиц с нарушенным слухом и зрением (СОМСИ). Она реализует сбор информации с датчиков устройства, вывод информации на экран устройства и взаимодействие с сервером обработки собираемых данных по HTTP протоколу. В качестве датчиков программа использует видео камеру, стерео микрофон, ультразвуковой дальномер. В качестве устройств вывода используются сенсорный дисплей, динамик, вибромотор, дисплей Брайля, слуховой аппарат.

СОМСИ: Сервер обработки данных

СОМСИ: Сервер обработки данных

Программа реализует сервер обработки данных, получаемых от устройств Системы обработки мультиканальной сенсорной информации для лиц с нарушенным слухом и зрением (СОМСИ) через интернет по протоколу HTTP. Программа предназначена для анализа фото и аудио данных на предмет обнаружения событий, важных для слепых и слепоглухих людей в процессе их бытовой деятельности.

СОМСИ: Алгоритмы преобразования аудио- и видео- информации в осмысленный текст

СОМСИ: Алгоритмы преобразования аудио- и видео- информации в осмысленный текст

Программа реализует сервер обработки данных, получаемых от устройств Системы обработки мультиканальной сенсорной информации для лиц с нарушенным слухом и зрением (СОМСИ)через интернет по протоколу HTTP. Программа предназначена для анализа фото, аудио и видео данных на предмет обнаружения событий и предметов, важных для слепых и слепоглухих людей в процессе их бытовой деятельности, и дальнейшего преобразования этих данных в осмысленный текст.

По вопросам приобретения программного обеспечения СОСМСИ пишите нам по адресу rehab@bizb.ru или звоните по телефону: +7 (495) 956-6622.