프로그램별 ewbtokenfactory.sf.net

PHP용 EWBTokenFactory는 공백 을 포함하는 토큰화입니다. 대부분의 토큰화자는 각 단어를 토큰으로 잡고 공백을 떨어 뜨립니다. 이 토큰화는 또한 자신의 토큰으로 사이의 공간을 토큰화합니다. 또한 관련 토큰 데이터를 지원합니다.