프로그램별 ctokenizer.sf.net

CTokenizer는 C++ 구문을 입력으로 받아들이고 토큰 문자열과 a(n 열거된) 토큰 유형을 포함하는 CToken 개체의 벡터를 출력하여 입력을 구문 분석하는 데 사용할 수 있습니다.