[바이오토픽] 멋진 신세계: 생각이 글자와 단어와 문장으로 되는 세상
인공지능이 (뇌의 표면에 이식된 장치에서 보내 온) 데이터를 해석하여, 마비 또는 심각한 사지손상 환자들로 하여금 텍스트로 의사소통을 하게 해 준다.
그것을 "마음으로 글쓰기(mindwriting)"라고 부르자. '정신적 노력(mental effort)'과 '최신기술(state-of-the-art technology)'이 결합하여, 사지를 움직일 수 없는 남성으로 하여금 '몸 성한 동료들이 스마트폰으로 문자를 주고받는 것에 비견되는 속도'로 텍스트를 이용한 의사소통을 가능하게 했으니 말이다.
스탠퍼드 대학교의 연구자들은 「인공지능 소프트웨어」와 전신마비 환자의 뇌에 이식된 「뇌-컴퓨터 인터페이스(BCI: brain-computer interface)」라는 장비를 결합했다. 그 소프트웨어는 BCI에서 전송된 정보를 해독하여, 그 남성의 「손글씨에 대한 생각(thoughts about handwriting)」을 신속히 텍스트로 전환하여 컴퓨터 화면에 띄웠다.
그 남성은 이 접근방법을 이용하여, 종전에 스탠퍼드의 연구자들이 개발한 방법─2017년 《eLife》에 보고되었다(참고 1)─보다 두 배 빠른 속도로 글씨를 쓸 수 있었다.
팔을 사용할 수 없는 사람들에게 희망을
"5월 12일 《Nature》에 실린 새로운 발견(참고 2)은, 수십만 명의 미국인과 수백만 명의 지구촌 주민들이 받는 혜택을 더욱 증가시킬 것으로 보인다. 그들은 위팔을 사용할 수 없거나, 척수손상·뇌졸중·ALS(amyotrophic lateral sclerosis, 일명 루게릭병)으로 인해 언어능력을 상실한 사람들이다"라고 스탠퍼드의 제이미 헨더슨(MD, 신경외과 교수)은 말했다.
"이 접근방법은 마비 환자로 하여금 '몸 성한 동년배 성인들이 스마트폰에 문자를 입력하는 속도'에 맞먹는 속도로 문장을 작성하게 한다"라고 헨더슨은 말했다. "우리의 목표는 텍스트를 이용한 의사소통 능력을 회복시키는 것이다."
이번 연구에 참석한 사람은 '분당 약 18 단어'의 속도로 텍스트를 만들어 냈다. 그와 대조적으로, 몸 성한 동년배들은 '분당 약 23 단어'를 스마트폰에 입력할 수 있다.
T5라고 불리는 참가자는 2007년 척수손상으로 인해 '목 아래의 운동'을 모두 상실했다. 그로부터 9년 후, 헨더슨은 두 개의 「뇌-컴퓨터 인터페이스 칩」(둘 다 어린이용 아스피린만 한 크기)을 T5의 좌뇌(左腦)에 이식했다. 각각의 칩에는 100개의 전극이 있어서, 손의 움직임을 관장하는 운동피질(motor cortex)─뇌의 가장 바깥쪽 표면에 존재하는 영역─에서 발화하는 뉴런에서 신호를 포착한다.
그 신경신호들은 전선을 통해 컴퓨터에 전송되고, 컴퓨터에서는 인공지능 알고리즘이 그 신호를 해독하여 (T5가 의도한) 손과 손가락의 움직임을 추정한다. 그 알고리즘은 헨더슨과 크리슈나 세노이(PhD, 전기공학 및 공학 교수)가 공동으로 운영하는 스탠퍼드의 신경보철학번역연구실(Neural Prosthetics Translational Lab)에서 개발한 것이다.
2005년 이후 공동으로 BCI를 연구해 온 셰노이와 헨더슨은 이번 연구의 선임 공저자이고, 주 저자(lead author)는 신경보철학번역연구실과 하워드 휴즈 의학연구소(Howard Hughes Medical Institute)의 연구원으로 일하는 프랭크 윌렛(PhD)이다.
"우리는 이번 연구를 통해, 신체가 운동 실행능력을 상실한 지 10년이 지난 후에도, 뇌(腦)는 미세한 움직임을 처방할 수 있는 능력을 보유하고 있다는 사실을 알게 되었다"라고 윌렛은 말했다. "또한 우리가 사용한 인공지능 알고리즘을 이용하면, (속도의 변화와 굴곡진 궤적을 수반하는) 복잡한 수의운동(이를테면 손글씨)을 간단한 수의운동(이를테면, 커서를 직선경로를 따라 일정한 속도로 움직임)보다 쉽고 빠르게 해석할 수 있다는 사실도 알게 되었다. 알파벳 문자들은 서로 다르기 때문에 구별하기가 더 쉽다."
2017년의 연구에서, 연구팀은 세 명의 사지 마비 환자들(T5를 포함한)에게 "팔과 손을 이용해 컴퓨터 화면에 뜬 키보드 상에서 '하나의 키'에서 '다른 키'로 커서를 이동하는 데 집중하라"고 요구한 후 '그 키를 클릭하는 데 집중하라'고 요구했다.
정신적 손글씨(mental handwriting) 속도 신기록
이번 연구에서, T5는 사상 최고기록을 세웠다. 연구팀이 보여준 문장들을 분당 약 40문자의 속도로 베껴 쓴 것이다. 또 한 명의 여성 참가자는 즉흥적인 글쓰기를 할 수 있었는데, 자신이 원하는 단어를 분당 24.4문자의 속도로 선택했다.
2017년 연구의 패러다임이 타이핑(typing)과 유사하다면, 이번에 《Nature》에 실린 연구의 모델은 손글씨(handwriting)와 유사하다고 할 수 있다. T5는 자신의 팔이나 손을 움직일 수 없음에도 불구하고 '상상 속의 리갈 패드(legal pad)' 위에 '상상 속의 펜'을 이용해 알파벳 문자를 쓰는 데 집중했다. 그는 각각의 문자를 열 번씩 반복하여, 소프트웨어로 하여금 '특정한 문자를 쓰려는 노력'과 관련된 신경신호를 인식하는 법을 학습하게 했다.
심화된 세션에서, 연구팀은 T5에게 '알고리즘이 노출됐던 적이 없는 문장을 베껴 쓰라'고 요구했다. 그는 궁극적으로 분당 90문자(약 18단어)를 쓸 수 있었다. 나중에 개방형 질문(open-ended question)에 응답하라─그러려면 생각하기 위해 약간의 시간이 필요하다─고 요구했더니 분당 73.8문자(평균적으로 15단어에 가깝다)를 생성했는데, 이는 2017년 연구에서 참가자가 수립한 자유작문(free-composition) 기록의 세 배에 해당한다.
T5가 문장 베껴 쓰기에서 오류를 범할 확률은 '18~19문자당 하나'꼴이고, 자유작문에서 오류를 범할 확률은 '11~12문자당 하나'꼴이다. 연구팀이 사후 자동수정 기능(after-the-fact autocorrect function)─스마트폰 키보드에 탑재된 기능과 비슷하다─을 사용하여 문제를 해결한 결과 오류율은 현저하게 감소하여, 베껴 쓰기의 경우 1%이고 자유작문의 경우 2%였다.
"우리 BCI의 오류율은 다른 BCI에 비해 상당히 낮은 편이다"라고 하워드 휴즈 의학연구소의 연구원이기도 한 셰노이는 말했다.
"손글씨 속도는 분당 20단어에 근접할 수 있지만, 우리는 분당 약 125단어의 속도로 말하는 경향이 있다. 말하기(speaking)는 글쓰기(writing)를 보완하는 또 하나의 흥미로운 접근방법이다. 만약 글쓰기와 말하기를 결합한다면, 그 시스템은 '효율적인 의사소통'을 위한 환자의 선택권을 대폭 향상시킬 수 있을 것이다"라고 셰노이는 덧붙였다.
이번 연구에 사용된 BCI는 관련법에 의해 연구용으로 제한되며, 아직 상업용으로 승인받지 않았다. 스탠퍼드 대학교의 기술 라이선싱 부서(Office of Technology Licensing)는 윌렛, 헨더슨, 셰노이의 연구와 관련된 지적재산권에 대해 특허를 신청했다.
이번 연구결과는 5월 13일자 《Nature》에 커버스토리로 실렸다.
☞ 타이핑을 위한 뇌-컴퓨터 인터페이스(BCI: brain–computer interface)
스탠퍼드 대학교의 Willett et al.이 개발한 BCI는 타이핑 능력을 상실한 사람의 '상상 속의 손글씨'에서 생성된 신경활성을 번역하여 컴퓨터 화면에 텍스트로 띄워 준다. 그 과정을 간단히 기술하면 다음과 같다(참고 3). ① 유저가 각각의 문자에 대한 글쓰기를 상상하는 동안, 뇌 속에 이식된 전극들이 수많은 뉴런들의 활성을 측정한다. (1, 2, 3 뉴런에 수직막대로 표시된 것은, 각각의 뉴런이 발화하는 시점을 의미한다) ② 순환신경망(RNN: recurrent neural network)이라는 딥러닝 모델이 각각의 알파벳 문자에 대한 신경활성패턴을 학습하여, 그런 활성패턴이 여러 번의 시도에서 어떤 관련성을 보이는지 분석한 다음, ③ 군집플롯(cluster plot)을 생성한다. ④ 이 정보를 이용하여, 컴퓨터 알고리즘이 유저가 상상한 문자를 예측한다. ⑤ 예측된 결과는 타이포그래픽 아웃풋(typographic output)으로 번역되어 컴퓨터 화면에 표시된다.
※ 참고문헌
1. https://elifesciences.org/articles/30233
2. https://www.nature.com/articles/s41586-021-03506-2
3. https://www.nature.com/articles/d41586-021-00776-8
※ 출처: Standford Medicine News Center https://med.stanford.edu/news/all-news/2021/05/software-turns-handwriting-thoughts-into-on-screen-text.html
바이오토픽 양병찬 (약사, 번역가)
서울대학교 경영학과와 동대학원을 졸업하고, 은행, 증권사, 대기업 기획조정실 등에서 일하다가, 진로를 바꿔 중앙대학교 약학대학을 졸업하고 약사면허를 취득한 이색경력의 소유자다. 현재 서울 구로구에서 거주하며 낮에는 약사로, 밤에는 전문 번역가와 과학 리...
생명과학 양병찬 (2021-05-14)
https://www.ibric.org/myboard/read.php?Board=news&id=330832 )