Зачем компьютеру азбука жестов?
Как вам название – «РУКО_ВОДСТВО»? Тем не менее в этом издевательстве над грамматикой, которую продемонстрировали авторы, все правильно по сути. Ведь «РУКО_ВОДСТВО» – это состоящая из трех версий компьютерная программа, которая буквально помогает «водить руками», то есть дает возможность переводить жесты, которыми пользуются глухие, в обычные слова, и наоборот.
Как вам название – «РУКО_ВОДСТВО»? Тем не менее в этом издевательстве над грамматикой, которую продемонстрировали авторы, все правильно по сути. Ведь «РУКО_ВОДСТВО» – это состоящая из трех версий компьютерная программа, которая буквально помогает «водить руками», то есть дает возможность переводить жесты, которыми пользуются глухие, в обычные слова, и наоборот.
Кроме иллюстрированного толкового словаря она включает в себя автоматизированный сурдоперевод с русского языка на русский жестовый и с русского – на американский жестовый. Причем то, что на языке инвалидов по слуху выглядит причудливой комбинацией слов и понятий, блок семантического анализа программы превращает в литературно правильные фразы и предложения. Создали новинку ученые Белорусского государственного медицинского университета, и это действительно новинка, без всякого преувеличения. Аналогов этой белорусской компьютерной аналитической системе коммуникации и реабилитации людей с врожденной патологией слуха в мире нет, что и подтверждает полученный авторами патент США.
В идеале было бы здорово, если бы компьютер, «увидев» через объектив жесты своего глухого хозяина, тут же озвучивал их для собеседника. Но компьютерное распознавание 5 тысяч жестов, выполняемых каждым инвалидом немного по-своему, задача пока непосильная для науки, хотя такие попытки, в том числе и белорусскими учеными, делаются. Поэтому авторы «РУКО_ВОДСТВА», среди которых ключевую роль играла известный в республике специалист по проблемам жестового языка, доцент кафедры реабилитологии Белорусского государственного университета, кандидат педагогических наук Лидия Димскис, пошли более простым путем. Они разработали графическую версию языка глухих, где специальными знаками, обозначающими положение пальцев, направление и характер их движения, место использования каждой комбинации и другие особенности, описали структуру жестов. Из нескольких знаков такой «азбуки» можно с помощью виртуальной клавиатуры изобразить на экране монитора любой жест.
Конечно, диалог происходит не в темпе речи, но все же достаточно быстро. Допустим, если глухой хочет о чем-то спросить своего говорящего собеседника, он набирает вопрос символами языка жестов, и в тот же момент на экране появляется соответствующая фраза на русском языке. Ответ собеседник наберет обычными словами, а на экране в это время появится изображение сурдопереводчика, который продублирует написанное на языке жестов.
– Когда мы начинали эту работу, мне представлялось, что проще будет дать в руки каждому собеседнику по карандашу, и пусть они переписываются, – признается заведующий лабораторией информационных компьютерных технологий Белорусского государственного медицинского университета, кандидат технических наук Григорий Карапетян. – Но выяснилось, что это вовсе не проще. Ведь глухие от рождения люди обучаются по очень сложной технологии владению вовсе не русским языком, а языком символов, эквивалентных значению слов. При этом многие слова, элементарные для нас, слышащих, для них совершенно непонятны. Например, для многих глухих, даже находящихся в недетском возрасте, не наполнены никаким смыслом слова «значительный», «удовлетворяет», «раздражительный», «дефицитный», «застенчивый», «отделаться», «избегать», «пустяки», «придираться» и множество других. Не лучше обстоит дело и с такими, например, выражениями, как «отношения не клеятся», «подходящая тема» или «одолевают мрачные мысли». К тому же глухой совершенно иначе строит фразы, так как его слова-жесты не склоняются, не имеют времен. Например, фраза «у меня болит голова» у него прозвучит «я болит голова есть». Поэтому грамотно изъясняться на бумаге ему очень трудно. И в такой ситуации лучший выход – предоставить ему возможность выражать свои мысли комфортным для него способом.
Здесь, кстати, надо заметить, что речь идет о жестовом разговорном языке, которым преимущественно пользуются глухие. Как версия жестового языка существует еще так называемая калькирующая речь, полностью повторяющая грамматику устной, а также адаптивная речь, то есть отображение слова жестами по буквам. Но эти альтернативы на практике отвергаются, так как они неудобны и доступны только тогда, когда человек хорошо знает русский язык и умеет читать.
По большому счету, носителями русского или белорусского языка наши глухие граждане не являются, равно как и лишенные от рождения слуха англичане не могут считаться носителями английского. А язык жестов у разных народов очень похож. И это помогло авторам «РУКО_ВОДСТВА» наделить свою программу функцией перевода не только с языка жестов на вербальную речь, но и перевода с национального жестового языка на иностранный жестовый. Самый распространенный в мире жестовый язык – американский, поэтому его первым делом и заложили в программу. Таким образом, лишенный слуха белорус может с помощью компьютера легко общаться с иностранцами, причем не только со своими товарищами по несчастью, но и со слышащими. Такую возможность белорусские разработчики успешно проверили, участвуя в зарубежных выставках научно-технических достижений.
Эта система уже используется в Беларуси во всех специальных образовательных школах для детей с нарушением слуха, куда компьютерная программа была поставлена бесплатно. Там она помогает не только общаться посредством компьютера, но и активно используется для обучения, так как содержит многофункциональный мультимедийный толковый словарь жестового языка. Как показала практика, дети с ее помощью легко устанавливают прочную связь между словом и жестом и в итоге гораздо быстрее осваивают все премудрости такой грамоты. Помогают в этом хорошая база поясняющих картинок, шутливая анимация, выполненная в современной «примитивной» манере.
Кстати, обнаружилось, что, вопреки ожиданиям, мультики в стиле 50-х годов, то есть реалистические, ученикам специальных школ не понравились, как, впрочем, не приняли они и попытки ученых сделать сурдопереводчиком забавного мультяшного лягушонка. Ведь глухие от рождения дети все же немного не такие. Недуг лишает их возможности мыслить образами и метафорами, делает их слишком конкретными, что ли. Для них лягушка, изъясняющаяся жестами, – это абсурд, а потому верить ей нельзя.
И все же дети есть дети. Глухими школьниками, так же как и здоровыми, движет огромная жажда познания, помноженная еще и на стремление быстрее избавиться от ущербности и почувствовать себя полноценным человеком. Это и помогает им осваивать программу буквально с восторгом, в считаные минуты, в то время как взрослые испуганно отказываются от такой возможности.
Разумеется, освоив в школе компьютерный перевод «на нормальный» язык, они захотят и во взрослой жизни пользоваться этим средством общения с миром слышащих. Но обычную персоналку с собой носить не будешь, нужен ноутбук, а еще лучше планшетный компьютер, купить который не каждому инвалиду по карману. Поэтому им остается надеяться, что службы социального обеспечения республики и Белорусское общество глухих помогут инвалидам по слуху решить проблему. Это, кстати, будут не такие и большие расходы, так как осваивать новую технику готовы только дети и подростки, а взрослые инвалиды, смирившиеся со своей бедой и боящиеся компьютеров, потребности в таких переводчиках, увы, уже не испытывают. Что же касается ученых, то они готовы пройти свою часть пути и обещают, что, как только возникнет необходимость, версия программы для планшетного компьютера будет подготовлена.
Дмитрий ГОМЕЛЬСКИЙ
Кроме иллюстрированного толкового словаря она включает в себя автоматизированный сурдоперевод с русского языка на русский жестовый и с русского – на американский жестовый. Причем то, что на языке инвалидов по слуху выглядит причудливой комбинацией слов и понятий, блок семантического анализа программы превращает в литературно правильные фразы и предложения. Создали новинку ученые Белорусского государственного медицинского университета, и это действительно новинка, без всякого преувеличения. Аналогов этой белорусской компьютерной аналитической системе коммуникации и реабилитации людей с врожденной патологией слуха в мире нет, что и подтверждает полученный авторами патент США.
В идеале было бы здорово, если бы компьютер, «увидев» через объектив жесты своего глухого хозяина, тут же озвучивал их для собеседника. Но компьютерное распознавание 5 тысяч жестов, выполняемых каждым инвалидом немного по-своему, задача пока непосильная для науки, хотя такие попытки, в том числе и белорусскими учеными, делаются. Поэтому авторы «РУКО_ВОДСТВА», среди которых ключевую роль играла известный в республике специалист по проблемам жестового языка, доцент кафедры реабилитологии Белорусского государственного университета, кандидат педагогических наук Лидия Димскис, пошли более простым путем. Они разработали графическую версию языка глухих, где специальными знаками, обозначающими положение пальцев, направление и характер их движения, место использования каждой комбинации и другие особенности, описали структуру жестов. Из нескольких знаков такой «азбуки» можно с помощью виртуальной клавиатуры изобразить на экране монитора любой жест.
Конечно, диалог происходит не в темпе речи, но все же достаточно быстро. Допустим, если глухой хочет о чем-то спросить своего говорящего собеседника, он набирает вопрос символами языка жестов, и в тот же момент на экране появляется соответствующая фраза на русском языке. Ответ собеседник наберет обычными словами, а на экране в это время появится изображение сурдопереводчика, который продублирует написанное на языке жестов.
– Когда мы начинали эту работу, мне представлялось, что проще будет дать в руки каждому собеседнику по карандашу, и пусть они переписываются, – признается заведующий лабораторией информационных компьютерных технологий Белорусского государственного медицинского университета, кандидат технических наук Григорий Карапетян. – Но выяснилось, что это вовсе не проще. Ведь глухие от рождения люди обучаются по очень сложной технологии владению вовсе не русским языком, а языком символов, эквивалентных значению слов. При этом многие слова, элементарные для нас, слышащих, для них совершенно непонятны. Например, для многих глухих, даже находящихся в недетском возрасте, не наполнены никаким смыслом слова «значительный», «удовлетворяет», «раздражительный», «дефицитный», «застенчивый», «отделаться», «избегать», «пустяки», «придираться» и множество других. Не лучше обстоит дело и с такими, например, выражениями, как «отношения не клеятся», «подходящая тема» или «одолевают мрачные мысли». К тому же глухой совершенно иначе строит фразы, так как его слова-жесты не склоняются, не имеют времен. Например, фраза «у меня болит голова» у него прозвучит «я болит голова есть». Поэтому грамотно изъясняться на бумаге ему очень трудно. И в такой ситуации лучший выход – предоставить ему возможность выражать свои мысли комфортным для него способом.
Здесь, кстати, надо заметить, что речь идет о жестовом разговорном языке, которым преимущественно пользуются глухие. Как версия жестового языка существует еще так называемая калькирующая речь, полностью повторяющая грамматику устной, а также адаптивная речь, то есть отображение слова жестами по буквам. Но эти альтернативы на практике отвергаются, так как они неудобны и доступны только тогда, когда человек хорошо знает русский язык и умеет читать.
По большому счету, носителями русского или белорусского языка наши глухие граждане не являются, равно как и лишенные от рождения слуха англичане не могут считаться носителями английского. А язык жестов у разных народов очень похож. И это помогло авторам «РУКО_ВОДСТВА» наделить свою программу функцией перевода не только с языка жестов на вербальную речь, но и перевода с национального жестового языка на иностранный жестовый. Самый распространенный в мире жестовый язык – американский, поэтому его первым делом и заложили в программу. Таким образом, лишенный слуха белорус может с помощью компьютера легко общаться с иностранцами, причем не только со своими товарищами по несчастью, но и со слышащими. Такую возможность белорусские разработчики успешно проверили, участвуя в зарубежных выставках научно-технических достижений.
Эта система уже используется в Беларуси во всех специальных образовательных школах для детей с нарушением слуха, куда компьютерная программа была поставлена бесплатно. Там она помогает не только общаться посредством компьютера, но и активно используется для обучения, так как содержит многофункциональный мультимедийный толковый словарь жестового языка. Как показала практика, дети с ее помощью легко устанавливают прочную связь между словом и жестом и в итоге гораздо быстрее осваивают все премудрости такой грамоты. Помогают в этом хорошая база поясняющих картинок, шутливая анимация, выполненная в современной «примитивной» манере.
Кстати, обнаружилось, что, вопреки ожиданиям, мультики в стиле 50-х годов, то есть реалистические, ученикам специальных школ не понравились, как, впрочем, не приняли они и попытки ученых сделать сурдопереводчиком забавного мультяшного лягушонка. Ведь глухие от рождения дети все же немного не такие. Недуг лишает их возможности мыслить образами и метафорами, делает их слишком конкретными, что ли. Для них лягушка, изъясняющаяся жестами, – это абсурд, а потому верить ей нельзя.
И все же дети есть дети. Глухими школьниками, так же как и здоровыми, движет огромная жажда познания, помноженная еще и на стремление быстрее избавиться от ущербности и почувствовать себя полноценным человеком. Это и помогает им осваивать программу буквально с восторгом, в считаные минуты, в то время как взрослые испуганно отказываются от такой возможности.
Разумеется, освоив в школе компьютерный перевод «на нормальный» язык, они захотят и во взрослой жизни пользоваться этим средством общения с миром слышащих. Но обычную персоналку с собой носить не будешь, нужен ноутбук, а еще лучше планшетный компьютер, купить который не каждому инвалиду по карману. Поэтому им остается надеяться, что службы социального обеспечения республики и Белорусское общество глухих помогут инвалидам по слуху решить проблему. Это, кстати, будут не такие и большие расходы, так как осваивать новую технику готовы только дети и подростки, а взрослые инвалиды, смирившиеся со своей бедой и боящиеся компьютеров, потребности в таких переводчиках, увы, уже не испытывают. Что же касается ученых, то они готовы пройти свою часть пути и обещают, что, как только возникнет необходимость, версия программы для планшетного компьютера будет подготовлена.
Дмитрий ГОМЕЛЬСКИЙ
вк
ок
youtube
telegram
ru–by
