얕은 구문 분석

얕은 구문 분석, 부분 구문 분석, 섈로 파싱(shallow parsing) 또는 청킹(chunking) 또는 경량 구문 분석은 문장의 구성 요소 (명사, 동사, 형용사 등)를 먼저 식별한 다음, 이들을 이산적인 문법적 의미를 가진 상위 단위 (명사 그룹 또는 명사구, 동사 그룹 등)에 연결하는 문장 분석 기법이다. 가장 기본적인 청킹 알고리즘은 기본적인 검색 패턴 (예: 정규 표현식으로 지정된 패턴)을 기반으로 구성 요소를 단순히 연결하는 반면, 기계 학습 기술 (분류기, 토픽 모델링 등)을 사용하는 접근 방식은 문맥 정보를 고려하여 기본 구성 요소 간의 의미 관계를 더 잘 반영하는 방식으로 청크를 구성할 수 있다.^[1] 즉, 이러한 고급 방법은 기본 구성 요소의 조합이 문장의 맥락에 따라 다른 상위 수준 의미를 가질 수 있다는 문제를 해결한다.

이것은 자연어 처리에 널리 사용되는 기술이다. 컴퓨터 언어의 낱말 분석 개념과 유사하다. "얕은 구조 가설"이라는 이름으로, 제2언어 학습자가 복잡한 문장을 올바르게 구문 분석하지 못하는 이유에 대한 설명으로도 사용된다.^[2]

각주

인용

↑ Jurafsky, Daniel; Martin, James H. (2000). 《Speech and Language Processing》. Singapore: Pearson Education Inc. 577–586쪽.
↑ Clahsen, Felser, Harald, Claudia (2006). 《Grammatical Processing in Language Learners》. 《Applied Psycholinguistics》 27. 3–42쪽. doi:10.1017/S0142716406060024. S2CID 15990215.

출처

“NP Chunking (State of the art)”. 계산언어학회. 2016년 1월 30일에 확인함.
Abney, Steven (1991). “Parsing By Chunks | Principle-Based Parsing” (PDF). 《www.vinartus.net》. 257–278쪽.

외부 링크

아파치 오픈NLP OpenNLP는 청커를 포함한다.
GATE General Architecture for Text Engineering GATE는 청커를 포함한다.
NLTK 청킹
일리노이 얕은 파서 얕은 파서 데모

같이 보기

[1] Jurafsky, Daniel; Martin, James H. (2000). 《Speech and Language Processing》. Singapore: Pearson Education Inc. 577–586쪽.

[2] Clahsen, Felser, Harald, Claudia (2006). 《Grammatical Processing in Language Learners》. 《Applied Psycholinguistics》 27. 3–42쪽. doi:10.1017/S0142716406060024. S2CID 15990215.

[1]

[2]