词汇聚合后组成一句话能不能准确表达词的意思

发展与障碍人工智能的发展与深度学习等方向会使数据量的需求呈几何级增长，而中文文本语言的生成和语义、表达能力是有所欠缺的，由此带来中文分词问题。

中文分词（以下简称为“中文分词”）是分词和语音翻译一样受到专业人士重视的一项应用研究方向。国内主要有四家上市企业：百度、科大讯飞、商汤科技、依图科技。中文分词关键：词能不能表达整个意思；词汇聚合后组成一句话能不能准确表达词的意思。

这里总结三种语言生成分词策略。首先要论证中文分词的必要性。中文被发明出来，是人们读写交流的必需。在美国作家洛伦佐·科西略的《哈利波特与混血王子》里，很多人物都是由书面汉语构建的，而书面汉语的四十九页，是这么写的：“你好，格林德沃，请在这个板凳上坐下。”

应该由这么写：“你好，格林德沃，请坐这个板凳上。”在此基础上，我们希望在一句话里符合所有读者的常识常想，还能按照自己的意思说，就称为“白话”了。分词对翻译而言是很重要的，对于不同的语言生成方法和需求，他们有不同的评价标准。

而判断语言生成方法是否合理要考虑如下几点：分词前需要明确文本数据的逻辑关系，最小词单位，分词质量，切分整句时词组复杂度、切分整句时分词复杂度。中文的词能不能表达整个意思？

从中文本身的逻辑能力来考虑问题，最基本要能够读懂。从分词方法来考虑，最基本词能够指对话中的复杂词，比如词组、副词、名词、介词等。

从分词质量来考虑，至少不能分得过复杂。目前分词的普遍分法有好几种，可以按照是否把词组拆分为单个字词来区分，有百度、商汤科技和依图科技三种。那么我们再看中文分词方法能否按照这样的逻辑来区分是否进行了分词。

词能不能表达整个意思？如果能，则需要看是否属于词，整句是否带有前后语义。词有一个传递性，有可能一个词组与上一个词组成词，但上一个词组可能与下一个词组成词，那么词组最小单位“字”与单个字义的句子符合特征，那么就认为符合分词的要求。

词能否表达复杂的意思，最小单位是短语、词组或词组的词素。英文是以词组来作为整个句子的最小单位，所以英文做汉语分词后使用意思去考量，才是一个好的方法。

由于中文有多字、双字、三字，会涉及到解释，每一个不同的词组会形成无限个短语、词组或词素，考虑到词和短语汉语分词后进行意思解释就比较难了。需要考虑词素的复杂度。一、使用词素作为分词根据词素聚合成词根。英文按照词根进行分词后构成的单词，是非常统一、专一的单词，用某一种词根。