Cheap but smart glove translates American Sign Language into text
LAST UPDATED ON JULY 12TH, 2017 AT 8:29 PM BY TIBI PUIU 
0
SHARES
Overview of the gesture-decoding glove. Credit: Timothy O’Connor et al (2017).
People with speech impairments will be able to communicate better with the rest of the world thanks to an experimental glove packed with bendable electronics. The glove translates gestures corresponding to the American Sign Language alphabet and then wirelessly transmits the information in text form to electronic devices that can show it on a display. The whole cost less than $100 to build — and could become way cheaper in a series production — and has a low power requirement.
언어손상(speech impairments)이 있는 사람들은 구부릴 수 있는 전자소자가 포함된 장갑 도움으로 세계와 조금 더 소통할 수 있게 될 것 같다. 이 장갑은 미국 수화(Sign language) 알파벳에 상응하는 제스쳐를 통역하여, 이 정보를 텍스트 형태로 만들어서 무선송신하며 이 정보는 디스플레이 창을 통해서 나타내지게 되어있다. 제작비용은 불과 100달러에도 못 미치며 계열 생산(=대량 생산)될 경우 가격은 더욱 저렴해질 수 있고 필요한 전력소모량 역시 줄어들 것이다.
Talk to the hand
There are many ways to track the movement of the human body and most methods rely on optical systems involving cameras or infrared emitters/receivers. These yield good results but the drawback is that they consume a lot of power. Moreover, these systems can be cumbersome and even immovable. On the other hand, wearable electronics overcome these constraints, especially if the tracking system is integrated inside a glove which can be used intuitively — you just have to move the hand and digits.
Gloves that track people’s gestures are already proving very useful in applications from virtual reality to telesurgery to military applications involving piloting drones. Now, researchers from the University of California, San Diego, are toying with the idea of reading American Sign Language (ASL) gestures through a similar glove.
몸의 동작을 추적인지하는 방식은 다양하지만 대부분 카메라 또는 적외선 통신망을 포함한 광학적 방식에 의존한다. 물론 이는 좋은 결과를 내지만 단점(drawback)이 있는데 많은 전력을 소모한다는 것이다. 더구나 크고 무거워 다루기 힘들고(cumbersome;규격외 소포라는 의미로 많이 쓰임) 탈착이 불가능하다. 반면 착용하는 전자제품(wearable electronics)은 이런 한계점을 극복할 수 있다. 특히 모션 추적장치가 부착된 장갑의 경우는 매우 직관적이어서 사용이 편리하다. 그냥 손과 손가락을 움직이기만 하면 된다.
제스쳐를 추적하는 장갑은 이미 가상현실이나 원격수술(telesurgery), 또는 드론 조종과 같은 군사적인 응용에서도 유용함이 입증되었다. UC San Diego의 연구자들은 비슷한 방식을 응용해 수화를 해독하는 장갑을 연구하고 있다.
Their glove has nine flexible strain sensors, two for each finger and one for the thumb. These sensors are responsible for registering motion by detecting knuckle articulation. An embedded microprocessor interprets the data from the sensors to translate each gesture into ASL letters. Finally, a Bluetooth radio transmits the meaning of the gestures in text format to a device for display, such as a smartphone.
During experiments, the UCSD team proved they could determine all 26 letters of the ASL alphabet accurately. After the knuckles bend for more than 1,000 times during a session, the system loses accuracy, as reported in the journal PLOS ONE.
What’s more, the researchers demonstrated their accuracy by modeling a virtual hand that mimicked real ASL gestures made with the smart glove. Not bad for a $100 prototype.
이러한 장갑은 아홉개의 구부릴 수 있는 선형(strain) 센서로 이루어져 있는데 엄지손가락에 한 개가 다른 손가락에는 두 개의 센서가 들어간다. 센서들은 손가락 관절운동을 감지하여 움직임을 기록한다. 내재된(embedded) 칩은 센서의 데이터를 해석하여 각각의 동작을 수화 철자로 나타낸다. 블루투스를 통해서 동작은 디스플레이 장치, 이를테면 스마트폰에 텍스트 형태로 나타나게 된다.
실험을 거쳐서 샌디에이고 대학팀은 수화의 26철자를 완전히 구분할 수 있다는 것을 입증했다. 하지만 관절이 1000회 이상 구부림을 반복하자 시스템의 정확도는 떨어졌다. 이러한 내용은 Plos one이라는 저널에 기재되었다.
여기에다가 연구자들은 스마트 글러브를 통해서 수화동작을 흉내낸 가상 손(virtual hand)을 모델링하여 정확도를 입증해냈다. 이 정도면 100달러짜리 프로토타입으로는 썩 나쁜 결과는 아니다.
--------------------------------------
언어장애인(요즘에는 성대수술로 인해서도 많이 생김. 후두암 등)이 장갑을 낀 채 수화를 하면 그 내용이 스마트폰으로 나타난다는 것인데..
그냥 스마트폰으로 타자를 치면 되지 않나..이런 생각이 들긴 하는군.
근데 철자 하나하나를 인식한다면 시간이 엄청 오래 걸릴 듯. 어쩐지 좋은 제품인 거 같기도 하고 아닌 듯도 한 발명품인 듯.
