說明
在處理文本的時候,第一步往往是將字符串進行分詞,得到一個個關鍵詞。蘋果從很早就開始支持中文分詞了,而且我們幾乎人人每天都會用到,回想一下,在使用手機時,長按一段文字,往往會選中按住位置的一個詞語,這裡就是一個分詞的絕佳用例,而iOS自帶的分詞效果非常棒,大家可以自己平常注意觀察一下,基本對中文也有很好的效果。而這個功能也開放了API供開發者調用,我試用了一下,很好用!
效果如下:
實現
其實蘋果給出了完整的API,想要全面了解的可以直接看文檔:CFStringTokenizer Reference
這裡說說簡單的一個實現:
// 要分詞的字符串 NSString *string = @"俠士隱鋒,莽夫露刃"; self.keywords = [[NSMutableArray alloc] init]; CFStringTokenizerRef ref = CFStringTokenizerCreate(NULL, (__bridge CFStringRef)string, CFRangeMake(0, string.length), kCFStringTokenizerUnitWord, NULL);// 創建分詞器 CFRange range;// 當前分詞的位置 // 獲取第一個分詞的范圍 CFStringTokenizerAdvanceToNextToken(ref); range = CFStringTokenizerGetCurrentTokenRange(ref); // 循環遍歷獲取所有分詞並記錄到數組中 NSString *keyWord; while (range.length>0) { keyWord = [string substringWithRange:NSMakeRange(range.location, range.length)]; [self.keywords addObject:keyWord]; CFStringTokenizerAdvanceToNextToken(ref); range = CFStringTokenizerGetCurrentTokenRange(ref); }
其實邏輯很簡單:創建分詞器–>一個個地一次獲取分詞後的每個詞的起始位置和長度,從而取出詞。
示例裡我用列表顯示每個分詞,比較清楚,列表的實現就不說明了,可以直接看工程代碼。
值得一提的是,其分詞速度很快,甚至一些網絡詞匯比如“木有”,一些成語等等都能夠識別出,能看出這是分詞的什麼嗎:
示例工程:https://github.com/Cloudox/OXStringTokenizerDemo
本地下載:http://xiazai.jb51.net/201706/yuanma/OXStringTokenizerDemo(jb51.net).rar
總結
以上就是這篇文章的全部內容了,希望本文的內容對大家的學習或者工作能帶來一定的幫助,如果有疑問大家可以留言交流,謝謝大家對本站的支持。