Разбиение текста на слова, когда деления по пробелам недостаточно.
Каждое кликабельное слово в редакторе начинается с токена, а простое деление по пробелу путает сокращения, пунктуацию и устойчивые выражения. Токенизатор, который мы сделали, и его настройки.
