Костанайские студенты могут сделать научный прорыв, который поможет людям с нарушениями слуха.
Прошлое
В прошлом году в Казнете появился новый портал. Событие, казалось бы, рядовое, если бы не содержание сайта – казахский алфавит в жестах, базовые наборы слов для ежедневного общения, сказки, пословицы, поговорки (все тоже в жестах).
Сайт создали студенты и магистранты кафедры математики и информатики КГУ им.Байтурсынова под руководством заведующей этой кафедры, кандидата технических наук Сауле Кудубаевой («Математика – это азарт. А азарт – это жизнь», «КН» от 5 марта 2015 г.).
Но нет уравнений, которые бы описывали процесс движения руки».
Принято считать, что язык жестов на весь СНГ один, но это не так. И в русском, и в казахском, и в украинском языках есть такие жесты, которых нет в других. И один неточный поворот пальца – это уже другое слово. В казахском языке много слов, которых нет в русском. Или же много синонимов: то же слово «человек» можно перевести, как «адам» и как кici, и это будут разные жесты.
В 2013 году кафедра математики взялась за эту тему в сотрудничестве с Московским институтом управления и начала социально-технический проект. Потому что, как оказалось, в Казахстане есть только один (!) вариант книги жестов на казахском языке. Выпущен он очень давно и в наличии далеко не в каждой библиотеке. По сути, казахский жестовый язык на современном этапе развития до создания сайта surdo.kz нигде систематизирован не был.
Костанайские разработчики обратились к сурдопереводчикам телеканала «Хабар», потому что правильные, грамотные и незаписанные нигде жесты знали только они.
Тогда в разговоре с корреспондентом «КН» Сауле Альжановна рассказывала о проекте, который они со студентами после создания сайта мечтают реализовать.
– Допустим, рука человека – это, если выражаться математическим языком, граф, – говорила Сауле Кудубаева. – Когда человек говорит на языке жестов, он поворачивает руки под разными углами по отношению к лицу. И каждое изменение положения пальцев – это математическая формула. Значит, таких формул столько же, сколько слов в каждом языке. И ученые всего мира хотят создать такую программу, чтобы с помощью этих формул устная речь, произносимая, допустим, диктором на экране, преобразовывалась в жестовую, которую показывает аватар в углу экрана. Тогда эту программу можно было бы загрузить на компьютер, и с помощью нее, человек, например, смотрел бы фильм.
После этого разговора прошел год. В направлении аватара уже сделаны конкретные шаги...
Настоящее
– Прежде чем программа сумеет преобразовать речь в жесты, нужно ее этим жестам обучить, – говорит магистрант Дмитрий Рюмин. – На данном этапе она у нас умеет распознавать цифры и буквы, потому что это статика. Слова, словосочетания и тем более предложения – это уже динамика, которая, в свою очередь, означает множество чередующихся кадров...
– Просто то, что в науке принято называть математическим аппаратом, несколько опаздывает, – добавляет Сауле Альжановна. – Математическая модель движения рук еще не вычислена. Есть математическая модель развития экономической системы, модель движения спутника земли, химической реакции... Но нет уравнений, которые бы описывали процесс движения руки. Уравнения должны находить центр точки на фаланге каждого пальца, вычислять, как изгибается палец. Это очень много «Х», «Y», «Z». Мы пока не можем сказать, как эти буквы должны взаимодействовать, чтобы показать жест.
– Этими вычислениями мы сейчас и занимаемся, – продолжает Дмитрий.
С помощью камеры Kinect можно показать компьютеру жест-букву или жест-звук, и программа выдаст, с каким процентом точности был показан этот жест, и тут же 3D-модель руки на экране воспроизведет это движение. Это уже немало. Скоро они придут к тому, что программа будет реагировать на звук и воспроизводить в жесте указанную букву.
А там последует работа со словами, словосочетаниями и предложениями...
Будущее
Электронный словарь жестового казахского языка инициативная группа уже запатентовала. Планируют запатентовать и программу, но нужен еще как минимум год до того, как разработки начнут приближаться к конечной цели.
– Такого нет нигде в мире, – говорит Сауле Кудубаева. – Кто знает, может, слабослышащие казахстанцы станут первыми, кому программа будет доступна?! И это станет прорывом в нашей науке. Для нас это пока – как поиск дороги в темноте. И мы найдем правильный путь.
