申请日2003.08.21
公开(公告)日2008.08.27
IPC分类号G06K9/00
摘要
用于在电子文档内进行丰富、灵活且更自然的电子墨水注解的系统、方法和计算机可读媒质包括：建立与电子文档的基本部分的第一部分相关联的第一上下文节点;建立与基本部分的注解相关联的第二上下文节点;并将第二上下文节点与第一上下文节点相链接。
権利要求書
1. 一种电子墨水处理方法，包括：
对电子文档的基本部分的至少第一部分进行语义分析;
建立与所述电子文档的所述基本部分的所述第一部分相关联的第一上下文节 点，所述第一上下文节点包括在对所述第一部分进行语义分析过程中标识的信息;
语义分析至少对所述基本部分的注解;
建立与所述基本部分的所述注解相关联的第二上下文节点，所述第二上下文 节点包括在对所述注解进行语义分析过程中标识的信息，所述注解包括电子墨水数 据，所述第一上下文节点和所述第二上下文节点被安排在表示与电子文档相关联的 数据的单个等级数据结构中;以及
将第二上下文节点与第一上下文节点相链接。
2. 如权利要求1所述的方法，其特征在于，所述第一上下文节点包括从下面 的组中选出的成员：段落节点、行节点、单词节点和绘图节点。
3. 如权利要求1所述的方法，其特征在于，所述第一上下文节点包括选自下 面的组的成员：组节点、段落节点、段落的行节点、墨水单词节点、电子绘图节点、 墨水绘图节点、列表节点、列表项节点、电子墨点节点、墨水墨点节点、电子文本 单词节点、图像节点、表格节点、表格的行节点和单元格节点。
4. 如权利要求3所述的方法，其特征在于，所述第二上下文节点从下面的组 中选出：未经分类的墨水节点、组节点、段落节点、段落的行节点、墨水单词节点、 墨水绘图节点、列表节点、列表项节点、墨水墨点节点、表格节点、表格的行节点 和单元格节点。
5. 如权利要求1所述的方法，其特征在于，所述基本部分包括电子文本、图 像、表格、列表、图形、电子数据表、图表或绘图中的至少一种。
6. 如权利要求1所述的方法，其特征在于，在对所述注解进行语义分析之前， 所述注解包括至少一个未经分类的墨水节点。
7. 如权利要求1所述的方法，其特征在于，还包括：
呈现所述基本部分和所述注解，其中所述注解位于相对于所述基本部分的第 一位置处;
改变与所述基本部分相关联的数据，使得与所述第一上下文节点相关联的位 置改变为第二位置;以及
用改变的数据呈现所述注解和所述基本部分，其中，至少部分基于所述第一 上下文节点的所述第二位置，所述注解在相对于所述基本部分的第三位置被呈现。
8. 如权利要求1所述的方法，其特征在于，所述第一上下文节点和所述第二 上下文节点共享至少一个公共父节点。
9. 如权利要求1所述的方法，其特征在于，与所述第一上下文节点和所述第 二上下文节点相关联的数据使得所述电子文档能被呈现，使得所述注解包含所述基 本部分的所述第一部分。
10. 如权利要求1所述的方法，其特征在于，与所述第一上下文节点和所述 第二上下文节点相关联的数据使得所述电子文档能被呈现，使得所述注解对所述基 本部分的所述第一部分加下划线。
11. 如权利要求1所述的方法，其特征在于，与所述第一上下文节点和所述 第二上下文节点相关联的数据使得所述电子文档能被呈现，使得所述注解删除所述 基本部分的所述第一部分。
12. 如权利要求1所述的方法，其特征在于，与所述第一上下文节点和所述 第二上下文节点相关联的数据使得所述电子文档能被呈现，使得所述注解的第一部 分指在所述注解的第二部分和所述基本部分的所述第一部分之间。
13. 一种用于处理包括电子墨水数据的数据的计算机实现的方法，包括：
对包含与基本文档相关联的数据的第一数据集合进行语义分析;
对包含未经分类的电子墨水数据的第二数据集合进行语义分析;
将来自对所述第一数据集合进行语义分析和对所述第二数据集合进行语义分 析的结果作为数据结构存储在计算机可读媒质上，该数据结构在单个等级安排中包 括与所述第一数据集合和所述第二数据集合相关联的上下文节点;以及
将所述第二数据集合的至少一些部分和所述第一数据集合的至少一些部分相 链接。
14. 如权利要求13所述的方法，其特征在于，对所述第一数据集合进行语义 分析导致包含多个上下文节点的第一经语义分析数据集合，其中所述第一经语义分 析数据集合中的至少第一上下文节点包括从以下的组中选出的成员：组节点、段落 节点、段落的行节点、墨水单词节点、电子绘图节点、墨水绘图节点、列表节点、 列表项节点、电子墨点节点、墨水墨点节点、文本单词节点、图像节点、表格节点、 表格的行节点和单元格节点。
15. 如权利要求14所述的方法，其特征在于，对所述第二数据集合进行语义 分析导致包含多个上下文节点的第二经语义分析数据集合，其中所述第二经语义分 析数据集合中的至少第一上下文节点包括从以下的组中选出的成员：组节点、段落 节点、行节点、墨水单词节点、电子绘图节点、列表节点、列表项节点、墨水墨点 节点、表格节点、表格的行节点和单元格节点。
16. 如权利要求15所述的方法，其特征在于，在链接期间，所述第一经语义 分析数据集合的所述第一上下文节点与所述第二经语义分析数据集合的所述第一 上下文节点相链接。
17. 如权利要求13所述的方法，还包括：
呈现所述基本文档和所述注解，其中所述注解位于相对于所述基本文档的第 一位置处;
改变与所述基本文档相关联的数据，使得与所述第一数据集合相关联的空间 位置改变为第二位置;以及
用改变的数据呈现所述注解和所述基本文档，其中，至少部分基于与所述第 一数据集合相关联的所述第二位置，所述注解在相对于所述基本文档的第三位置被 呈现。
18. 如权利要求13所述的方法，其特征在于，与所述第一数据集合相关联的 至少一个上下文节点和与所述第二数据集合相关联的至少一个上下文节点共享至 少一个公共父节点。
19. 一种电子墨水处理系统，包括：
接收电子文档内的电子墨水输入数据的输入;以及
经编程的处理器，并适用于：(a)对所述电子文档的基本部分的至少第一部 分进行语义分析;(b)建立与所述电子文档的所述基本部分的所述第一部分相关 联的第一上下文节点;(c)语义分析对所述基本部分的注解;(d)建立与所述基 本部分的所述注解相关联的第二上下文节点，所述第二上下文节点包括在对所述注 解进行语义分析过程中标识的信息，所述注解包括电子墨水数据，所述第一上下文 节点和所述第二上下文节点被安排在表示与所述电子文档相关联的数据的单个等 级数据结构中;(e)将所述第二上下文节点与所述第一上下文节点相链接。
20. 如权利要求19所述的系统，其特征在于，所述第一上下文节点包括从以 下的组中选出的成员：段落节点、行节点、单词节点和绘图节点。
21. 如权利要求19所述的系统，其特征在于，所述第一上下文节点包括选自 以下的组的成员：组节点、段落节点、段落的行节点、墨水单词节点、电子绘图节 点、墨水绘图节点、列表节点、列表项节点、电子墨点节点、墨水墨点节点、电子 文本单词节点、图像节点、表格节点、表格的行节点和单元格节点。
22. 如权利要求21所述的系统，其特征在于，所述第二上下文节点从以下的 组中选出：未经分类的墨水节点、组节点、段落节点、段落的行节点、墨水单词节 点、墨水绘图节点、列表节点、列表项节点、墨水墨点节点、表格节点、表格的行 节点和单元格节点。
23. 如权利要求19所述的系统，其特征在于，所述基本部分包括电子文本、 图像、表格、列表、图形、电子数据表、图表或绘图中的至少一种。
24. 如权利要求19所述的系统，其特征在于，在对所述注解进行语义分析之 前，所述注解包括至少一个未经分类的墨水节点。
25. 如权利要求19所述的系统，其特征在于，所述处理器还进一步被编程并 用于：(f)呈现所述基本部分和所述注解，其中所述注解位于相对于所述基本部 分的第一位置处;(g)接收指明与所述基本部分相关联的数据的改变的输入，使 得与所述第一上下文节点相关联的位置改变为第二位置;以及(h)用改变的数据 呈现所述注解和所述基本部分，其中，至少部分基于所述第一上下文节点的所述第 二位置，所述注解在相对于所述基本部分的第三位置被呈现。
26. 如权利要求19所述的方法，其特征在于，所述第一上下文节点和所述第 二上下文节点共享至少一个公共父节点。
27. 如权利要求19所述的系统，其特征在于，与所述第一上下文节点和所述 第二上下文节点相关联的数据使得所述电子文档能被呈现，使得所述注解包含所述 基本部分的所述第一部分。
28. 如权利要求19所述的系统，其特征在于，与所述第一上下文节点和所述 第二上下文节点相关联的数据使得所述电子文档能被呈现，使得所述注解对所述基 本部分的所述第一部分加下划线。
29. 如权利要求19所述的系统，其特征在于，与所述第一上下文节点和所述 第二上下文节点相关联的数据使得所述电子文档能被呈现，使得所述注解删除所述 基本部分的所述第一部分。
30. 如权利要求19所述的系统，其特征在于，与所述第一上下文节点和所述 第二上下文节点相关联的数据使得所述电子文档能被呈现，使得所述注解的所述第 一部分指在所述注解的第二部分和所述基本部分的所述第一部分之间。
31. 一种电子墨水处理系统，包括：
用于接收电子墨水数据的输入;以及
经编程的处理器，并适用于：(a)对包含与基本文档相关的数据的第一数据 集合进行语义分析;(b)对包含未经分类的电子墨水数据的第二数据集合进行语 义分析;(c)将来自对所述第一数据集合进行语义分析和对所述第二数据集合进 行语义分析的结果作为数据结构进行存储，该数据结构在单个等级安排中包括与所 述第一数据集合和所述第二数据集合相关联的上下文节点;以及(d)将所述第二 数据集合的至少一些部分与所述第一数据集合的至少一些部分相链接。
32. 如权利要求31所述的系统，其特征在于，所述处理器被编程并适用于对 所述第一数据集合进行语义分析以提供包含多个上下文节点的第一经语义分析数 据集合，其中所述第一经语义分析数据集合的至少第一上下文节点包括从以下组中 选出的成员：组节点、段落节点、段落的行节点、墨水单词节点、电子绘图节点、 墨水绘图节点、列表节点、列表项节点、电子墨点节点、墨水墨点节点、文本单词 节点、图像节点、表格节点、表格的行节点和单元格节点。
33. 如权利要求31所述的系统，其特征在于，所述处理器被编程并适用于对 所述第二数据集合进行语义分析以提供包含多个上下文节点的第二经语义分析数 据集合，其中所述第二经语义分析数据集合的至少第一上下文节点包括从以下组中 选出的成员：组节点、段落节点、段落的行节点、墨水单词节点、墨水绘图节点、 列表节点、列表项节点、墨水墨点节点、表格节点、表格的行节点和单元格节点。
34. 如权利要求33所述的系统，其特征在于，在链接期间，所述第一经语义 分析数据集合的所述第一上下文节点与所述第二经语义分析数据集合的所述第一 上下文节点相链接。
35. 如权利要求31所述的系统，其特征在于，处理器被进一步编程并适用于： (e)呈现所述基本文档和所述注解，其中所述注解位于相对于所述基本文档的第 一位置处;(f)接收指明与所述基本文档相关联的数据的改变的输入，使得与所 述第一数据集合相关联的空间位置改变为第二位置;以及(g)用改变的数据呈现 所述注解和所述基本文档，其中，至少部分基于与所述第一数据集合相关联的所述 第二位置，所述注解在相对于所述基本文档的第三位置被呈现。
36. 如权利要求31所述的系统，其特征在于，与所述第一数据集合相关联的 至少一个上下文节点与和与所述第二数据集合相关联的至少一个上下文节点共享 一个公共父节点。
说明书
电子墨水处理方法和系统
技术领域
本发明涉及电子墨水处理。本发明的各个方面尤其是应用于电子墨水的分 析，包括电子墨水的布局分析、分类和识别。本发明的附加方面涉及使用经布 局分析、分类和识别的电子墨水，例如用于提供电子墨水文档内丰富和灵活的 注解。
背景技术
随着计算机在社会中扮演的角色越来越扩展，开发了多种技术以将数据输 入计算机。一种特别有用的提交数据的技术是通过手写。通过用记录笔或另一 对象写入数字化仪以生成“电子墨水”，计算机用户可以避免与键盘输入相关 的量和不便。手写输入很方便地用于以下方面，例如医生巡视、建筑师在工地 上时、邮递员发送包裹、仓库工人在仓库巡视以及任何不方便使用键盘的情况 下。虽然手写输入在许多情况下比键盘输入很方便，但用电子墨水书写的文字 一般不能直接为大多数软件应用程序操控。因此，用电子墨水写的文字必须经 分析以转换成另一形式，诸如ASCII字符。该分析包括书写识别过程，该过程 基于形成电子墨水词的单个电子墨水笔画而识别字符。
书写识别算法近年来得到了大大的改善，但当电子墨水以某角度书写时其 准确性减少。类似地，当分开的墨水笔画组不能很容易地被识别时，诸如当两 个词写的很相近时，许多识别算法不能准确地识别电子墨水。一些识别算法还 可能不正确地将实际上是绘图的电子墨水识别为文字。例如，用于可能使用加 下划线、加亮(highlights)、画圈或交叉的电子墨水笔画对写入的文字的一 部分进行加注解。书写识别算法可能不正确地将这些注解笔画识别为划线、数 字零或字母“O”。
许多识别算法的准确性可以通过在使用书写识别算法前，对电子墨水“作 语法分析”(例如通过分析电子墨水的布局和/或“分类”)而大大改善。分 类过程一般确定电子墨水笔画是否是绘图的一部分(即绘图墨水笔画)或书写 文字的一部分(即文字墨水笔画)。用于标识其它笔画类型的分类算法也是可 能的。布局分析过程一般将电子墨水笔画分成有意义的关联，诸如词、行和段 落。布局分析和分类过程因此可以用于标识电子墨水集合中的哪个笔画属于单 个词，哪些电子墨水词与用电子墨水文字写入的单行相关联，电子墨水写的哪 些文字行与段落相关。
虽然布局分析和分类墨水可以大大改善电子墨水的识别，许多软件应用程 序研发者在识别电子墨水前未意识到这些行为的重要性。直到最近，还没有可 用的布局和分类算法与现存的软件应用程序一起使用。例如虽然来自Windows Journal软件应用程序的语义分析过程现在可被其它软 件应用程序分开访问，该语义分析器的使用不是众所周知的，且该语义分析器 不能很容易地与许多软件应用程序一起使用，或用于用户期望输入书写输入的 地方。而且，即使软件应用程序研发商要建立专门与期望的软件应用程序一起 使用的语义分析器(这本身可能是一个困难且耗时的过程)，执行语义分析的 过程可能非常耗时。例如，使用相对较快的微处理器对几笔电子墨水进行语义 分析，语义分析器需要几秒甚至几分钟。如果软件应用程序必须停止操作以等 待语义分析过程完成，则软件应用程序对于大多数用户的实际使用而言会过于 缓慢。
因此，需要一种电子墨水处理技术，该技术可以为多种软件应用程序使用， 例如用于分析电子墨水的布局，对其进行分类和识别。另外，需要一种电子墨 水处理技术，该技术可以处理电子墨水，然而仍能允许使用该技术的软件应用 程序接收新的电子墨水输入，而不使得墨水处理的结果无效。
发明内容
较有优势地，本发明的各个示例提供了电子墨水处理技术，该技术可以被 多个软件应用程序用于处理电子墨水。另外，这些电子墨水处理技术允许电子 墨水相对于实现该技术的软件应用程序被异步操作，使得电子墨水可以不需要 停止也不会大大延迟软件应用程序的操作的情况下被处理。软件应用程序甚至 可以在先前的电子墨水输入正在被处理的同时继续接收新的电子墨水输入。
本发明的各个示例中，文件或文档内的元素可以基于相互间的空间位置而 被描述。例如，电子墨水笔画和打字文字可以用相同的空间坐标系统描述。使 用空间信息描述文档的元素，管理文档的软件应用程序可以维持描述其文档元 素间关系的数据结构。特别是，软件应用程序可以维持描述各个文档元素的类 和定义多个文档元素间关联的数据结构。这些关联可以被定义为例如用于将电 子墨水笔画数据或其集合与电子文档内的其它元素(诸如词、行、段落、附图、 表格单元等)相关联的信息。
通过基于其空间位置而描述文件或文档数据结构内的文档元素，多种文件 类型的文档元素可以使用一般的技术用以标识并操控其文档元素。尤其是，多 个软件应用程序可以基于其空间位置而描述在文档内的文档元素，并使用该空 间位置参考以使用一般的电子墨水分析方法。而且，通过规定分析的文档的特 定区域，每个软件应用程序可以将分析过程限定为只有文档内期望的元素。
根据本发明的多个示例，为了分析输入文档的新的电子墨水输入，管理文 档的软件应用程序修改与文档相关的数据结构以包括要分析的新墨水。软件应 用程序然后将该数据结构(或其相关的部分)提供给墨水分析工具，它对用于 分析的数据结构的一些或所有进行复制(并对独立于应用程序文档数据结构的 数据的拷贝进行操作)。墨水分析工具将拷贝传递到分析过程，诸如语义分析 过程(例如布局分析过程和/或分类过程)。软件应用程序可能继续其正常操 作，包括接收新的电子墨水和/或其它数据，而墨水分析过程同时在被执行。 除了接收新的电子墨水外，应用程序程序还可以接收任何“其它数据”，例如： 对现存的墨水、文字、图像、图形、表格、流程图、图例等进行大小、位置或 内容的修改的数据;加入附加文字、图像、图形、表格、流程图、图例等的数 据;删除现存文字、图像、图形、表格、流程图、图例等的数据。在完成所有 期望分析过程后，分析结果被返回到墨水分析工具。
因此，根据本发明的系统和方法的各个示例允许墨水分析过程与使用墨水 分析过程的软件应用程序的操作异步执行。该一步操作允许用户继续使用软件 应用程序而不被分析过程所延时。另外，它使得多个分析过程能同时执行。
根据接收到的分析结果，墨水分析工具从软件应用程序获得电子文档的数 据结构的当前版本(这可能包含当实行分析过程时新的和/或修改后的输入数 据)，并使得分析结果与当前的数据结构版本调和(reconcile)。通过分析 的结果和数据结构的当前版本的调和，本发明的示例可以避免更复杂的技术， 诸如“锁定”以异步地访问正在为软件应用程序使用的数据。而且该调和可以 为任何软件应用程序调用，而不需要复杂的内部锁定规定。
在将分析结果与数据结构的当前版本调和后，墨水分析工具然后将调和的 分析结果的复制提供给另一分析过程，诸如书写识别过程。同样，软件应用程 序可以继续其正常操作，包括接收新的电子墨水输入和/或其它数据，而同时 正在第二墨水分析过程。在完成了所有的期望的第二分析过程后，第二分析过 程的结果被返回到墨水分析工具。墨水分析工具然后从软件应用程序获得数据 结构的当前版本(这可能在同样包括新和/修改后的数据)，并使得第二分析 结果与数据结构的当前版本一致。墨水分析工具然后使用调和的第二分析过程 的结果以更新数据结构。当然，可以使用任何数量的墨水分析过程和/或阶段 而不偏离本发明。
上述的多种墨水分析过程以及空间信息的使用可以用于提供在电子文档 内丰富、灵活以及自然的墨水注解，该空间信息将电子墨水数据与电子文档的 其它特征相关或相链接。例如，本发明的方面可以用于提供电子墨水注解，该 注解可以根据对于正在被注解的基础(underlying)的文档元素的变化而动态 地移动和/或改变。用户一般以多种方式对文档进行注解，例如他们可以画圈、 加下划线、加亮或删去单词;在边上写入注释;画出到位于边上的注解的箭头 或其它指针等。而且，用户可以在更多样的不同文档类型中进行注解，包括例 如文字、电子数据表、绘图、幻灯片、表格、图表、图形、流程图等。
将电子墨水注解平滑地整合入电子文档需要注解在基础的电子文档因为 某个原因改变时也作出适当的反应。例如，如果用户在电子文档内圈出一个单 词(作为注解)，且然后在该单词前的文档的某处加入文字，这可能会导致加 圈的单词的移动。在该实例中，加圈的注解应该移动，保持和单词在一起。作 为另一例，如果用户从加圈的单词中加入或移去了字符，或者改变改变了其大 小，则加圈的注解应扩展或收缩以适应单词的新大小。最好，当因为某种原因 加下划线的电子文档重新流动和/或更新互相相关的其组成元素(例如段落、 图片、专栏)的位置和/或页数时。电子墨水注解还会重新进行位置排列，并 适当地位于与基础的文字或其它信息相关的位置。除非注解以该种方式对加基 础的电子文档文字进行反应，否则在注解后对实时的电子文档进行编辑或共享 会变得很不实际，打印输出仍是最简单且最有用的加注解的方法。
确定如何合适地改变注解的方法取决于各种与注解和电子文档相关的因 子。例如，在回流情况下合适地改变注解可以取决于例如计算系统(例如语义 分析器)的能力：(a)将电子墨水标识为注解;(b)标识电子墨水注解类型; 以及(c)标识电子墨水与基础的电子文档内的特定元素的关系。虽然可查询 (query)用于获得一些或所有该种类型的信息，相比在纸上加注解的过程， 该种系统使得用户的使用体验变得很麻烦。相应地，根据本发明的各个方面， 以上的信息可以从以下推断出：(1)电子墨水本身和(2)基础的文档的内容， 包括与电子墨水相关的文档内的各个元素的空间位置。
由于确定墨水注解的意义可能非常复杂且困难，期望每个应用程序能单独 实现标识逻辑的注解是不实际的，其中用户可能希望这些应用程序的文档进行 加注。而且，最好能提供一种可以再次使用的组件，用于帮助该注解功能，且 每个应用程序可以简单地整合。例如，就如基于笔的计算系统的操作系统提供 电子墨水的收集和翻译的组件，最好操作系统能提供一种组件，它确定墨水注 解的意义(还被称为“注解语义分析器”)，使其在与涉及的墨水一起看来是 流利的。
然而标识基础电子文档的内容在提供“智能”注解能力时有很大的困难。 例如，多种不同的应用程序有完全不同的存储、管理以及回流文档的方法。本 发明提供一种可以再次使用的注解语义分析器，它能确定可能的墨水注解与多 种不同类型的电子文档间的关系。特别是，根据本发明的一些方面，提供给注 解语义分析器一种机制，即回到应用程序以提供与正在被进行语义分析分析的 墨水的相关信息(例如，与对应墨水注解的空间区域内的电子文档相关的信息， 以提供给墨水注解“环境”)。该机制非常简单，能很实际地被整合入任何基 于文档的应用，且用于很大的文档会很有效(这可以在部分内经处理，诸如页 等)。
根据本发明的各个示例的墨水处理技术因此允许多个软件应用程序能通 过墨水分析工具实现电子墨水上的多种处理。而且，使用这些技术的软件应用 程序可以在分析过程时继续其正常操作，包括接收新的电子墨水输入，而不会 使得分析过程无效。
