Hier ein paar kleine Zeilen Code wie man den boost::tokenizer mit Wide Characters benutzt. Leider habe ich in der Boost Dokumentation kein Beispiel gefunden ;(

using namespace std;
using namespace boost;
std::wstring myText = L"This-is-an-simple-test"; 
typedef tokenizer< char_separator<wchar_t>, std::wstring::const_iterator, std::wstring> wtokenizer;
char_separator<wchar_t> seperator(L"-");

wtokenizer tokens(inputText,seperator);
            
for( wtokenizer::iterator it = tokens.begin();  it != tokens.end(); ++it)
{
    wcout << *it << std::endl;
}