視頻中的協(xié)同效果的制作方法

視頻中的協(xié)同效果的制作方法

視頻中的協(xié)同效果
1.本技術(shù)是申請(qǐng)日為2018年1月22日，申請(qǐng)?zhí)枮?01880085066.1，發(fā)明名稱為“視頻中的協(xié)同效果”的申請(qǐng)的分案申請(qǐng)。
2.相關(guān)申請(qǐng)的交叉引用
3.本技術(shù)根據(jù)35u.s.c.
§
119(e)，要求于2018年1月12日提交的、題為“coordinated effects in videos”的第15/870,008序列號(hào)美國(guó)專利申請(qǐng)的權(quán)益，該美國(guó)專利申請(qǐng)是2018年1月12日提交的、題為“methods and systems for initiating a coordinated effect”的第15/869,926序列號(hào)美國(guó)專利申請(qǐng)的部分繼續(xù)，并要求第15/869,926序列號(hào)美國(guó)專利申請(qǐng)的優(yōu)先權(quán)。上述申請(qǐng)的內(nèi)容通過(guò)引用并入本文。
4.背景
5.媒體效果(如面部遮罩覆蓋、添加圖形、改變背景等)可以應(yīng)用于視頻流。通常，用戶已經(jīng)應(yīng)用了媒體效果來(lái)修改該用戶自己的視頻饋送(例如，將遮罩應(yīng)用到用戶自己的面部)。然而，最近，已經(jīng)開(kāi)發(fā)了協(xié)同活動(dòng)協(xié)議(coordinated activity protocol)，以允許協(xié)同媒體效果(coordinated media effects)，協(xié)同媒體效果的實(shí)現(xiàn)至少部分地由沒(méi)有發(fā)起(initiate)該效果的客戶端設(shè)備合作處理。該協(xié)議的示例性實(shí)現(xiàn)在第15/869,926序列號(hào)美國(guó)專利申請(qǐng)中被描述。
6.特定實(shí)施例的概述
7.在根據(jù)本發(fā)明的實(shí)施例中，一種方法(特別地一種計(jì)算機(jī)實(shí)現(xiàn)的方法)可以包括：
8.促進(jìn)視頻數(shù)據(jù)到第一設(shè)備和第二設(shè)備的傳輸；
9.根據(jù)設(shè)備無(wú)關(guān)(device-agnostic)的協(xié)同活動(dòng)協(xié)議發(fā)起媒體效果，該媒體效果修改在第一設(shè)備和在第二設(shè)備處查看的視頻數(shù)據(jù)；以及
10.接收與該媒體效果相關(guān)的應(yīng)用編程接口(api)調(diào)用，該api調(diào)用是根據(jù)協(xié)同活動(dòng)從第一設(shè)備做出的，該api調(diào)用與指定要對(duì)視頻數(shù)據(jù)做出的修改的信息相關(guān)聯(lián)。
11.與api調(diào)用相關(guān)聯(lián)的信息可以包括通用數(shù)據(jù)，該通用數(shù)據(jù)的格式不是由協(xié)同活動(dòng)協(xié)議預(yù)定義的。
12.與api調(diào)用相關(guān)聯(lián)的信息可以包括格式化數(shù)據(jù)，該格式化數(shù)據(jù)與由協(xié)同活動(dòng)協(xié)議預(yù)定義的服務(wù)相關(guān)聯(lián)。
13.格式化數(shù)據(jù)可以包括改變?cè)诘谝辉O(shè)備和第二設(shè)備上播放的視頻的命令。
14.格式化數(shù)據(jù)可以包括視頻控制命令，該視頻控制命令包括停止命令、開(kāi)始命令、暫停命令或同步命令中的至少一個(gè)。
15.格式化數(shù)據(jù)可以包括基于訪問(wèn)視頻數(shù)據(jù)的入口點(diǎn)觸發(fā)視頻縮略圖(thumbnail)模式的命令。
16.在根據(jù)本發(fā)明的實(shí)施例中，視頻數(shù)據(jù)可以包括視頻會(huì)議數(shù)據(jù)；第一設(shè)備和第二設(shè)備各自可以顯示界面，該界面可以包括用于顯示第一用戶的視頻的第一面板和用于顯示第二用戶的視頻的第二面板；當(dāng)?shù)谝挥脩舫虻谝幻姘宓囊粋?cè)傾斜或推動(dòng)時(shí)，可以發(fā)起媒體效果；并且修改可以包括在第一用戶向其傾斜或推動(dòng)的一側(cè)的方向上擴(kuò)展第一面板的尺寸，而在與第一用戶的該側(cè)相關(guān)聯(lián)的方向上減小第二面板的尺寸。
17.在根據(jù)本發(fā)明的實(shí)施例中，非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)可以存儲(chǔ)指令，這些指令當(dāng)由一個(gè)或更多個(gè)處理器執(zhí)行時(shí)，可以使得處理器：
18.促進(jìn)視頻數(shù)據(jù)到第一設(shè)備和第二設(shè)備的傳輸；
19.根據(jù)設(shè)備無(wú)關(guān)的協(xié)同活動(dòng)協(xié)議發(fā)起媒體效果，該媒體效果修改在第一設(shè)備和在第二設(shè)備處查看的視頻數(shù)據(jù)；以及
20.接收與該媒體效果相關(guān)的應(yīng)用編程接口(api)調(diào)用，該api調(diào)用是根據(jù)協(xié)同活動(dòng)從第一設(shè)備做出的，該api調(diào)用與指定要對(duì)視頻數(shù)據(jù)做出的修改的信息相關(guān)聯(lián)。
21.與api調(diào)用相關(guān)聯(lián)的信息可以包括通用數(shù)據(jù)，該通用數(shù)據(jù)的格式不是由協(xié)同活動(dòng)協(xié)議預(yù)定義的。
22.與api調(diào)用相關(guān)聯(lián)的信息可以包括格式化數(shù)據(jù)，該格式化數(shù)據(jù)與由協(xié)同活動(dòng)協(xié)議預(yù)定義的服務(wù)相關(guān)聯(lián)。
23.格式化數(shù)據(jù)可以包括改變?cè)诘谝辉O(shè)備和第二設(shè)備上播放的視頻的命令。
24.格式化數(shù)據(jù)可以包括視頻控制命令，該視頻控制命令包括停止命令、開(kāi)始命令、暫停命令或同步命令中的至少一個(gè)。
25.格式化數(shù)據(jù)可以包括基于訪問(wèn)視頻數(shù)據(jù)的入口點(diǎn)觸發(fā)視頻縮略圖模式的命令。
26.視頻數(shù)據(jù)可以包括視頻會(huì)議數(shù)據(jù)；第一設(shè)備和第二設(shè)備各自可以顯示界面，該界面可以包括用于顯示第一用戶的視頻的第一面板和用于顯示第二用戶的視頻的第二面板；當(dāng)?shù)谝挥脩舫虻谝幻姘宓囊粋?cè)傾斜或推動(dòng)時(shí)，可以發(fā)起媒體效果；并且修改可以包括在第一用戶向其傾斜或推動(dòng)的一側(cè)的方向上擴(kuò)展第一面板的尺寸，而在與第一用戶的該側(cè)相關(guān)聯(lián)的方向上減小第二面板的尺寸。
27.在根據(jù)本發(fā)明的實(shí)施例中，一種裝置可以包括：
28.非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)，其保存要傳輸?shù)降谝辉O(shè)備和第二設(shè)備的視頻數(shù)據(jù)；
29.硬件處理器電路；
30.媒體效果發(fā)起邏輯，其被配置成根據(jù)設(shè)備無(wú)關(guān)的協(xié)同活動(dòng)協(xié)議發(fā)起媒體效果，該媒體效果修改在第一設(shè)備和在第二設(shè)備處查看的視頻數(shù)據(jù)；以及
31.媒體效果信息交換邏輯，其被配置成接收與媒體效果相關(guān)的應(yīng)用編程接口(api)調(diào)用，該api調(diào)用是根據(jù)協(xié)同活動(dòng)從第一設(shè)備做出的，該api調(diào)用與指定要對(duì)視頻數(shù)據(jù)做出的修改的信息相關(guān)聯(lián)。
32.與api調(diào)用相關(guān)聯(lián)的信息可以包括格式化數(shù)據(jù)，該格式化數(shù)據(jù)與由協(xié)同活動(dòng)協(xié)議預(yù)定義的服務(wù)相關(guān)聯(lián)。
33.格式化數(shù)據(jù)可以包括改變?cè)诘谝辉O(shè)備和第二設(shè)備上播放的視頻的命令。
34.格式化數(shù)據(jù)可以包括視頻控制命令，該視頻控制命令包括停止命令、開(kāi)始命令、暫停命令或同步命令中的至少一個(gè)。
35.格式化數(shù)據(jù)可以包括基于訪問(wèn)視頻數(shù)據(jù)的入口點(diǎn)觸發(fā)視頻縮略圖模式的命令。
36.視頻數(shù)據(jù)可以包括視頻會(huì)議數(shù)據(jù)；第一設(shè)備和第二設(shè)備各自可以顯示界面，該界面可以包括用于顯示第一用戶的視頻的第一面板和用于顯示第二用戶的視頻的第二面板；當(dāng)?shù)谝挥脩舫虻谝幻姘宓囊粋?cè)傾斜或推動(dòng)時(shí)，可以發(fā)起媒體效果；并且修改可以包括在第一用戶向其傾斜或推動(dòng)的一側(cè)的方向上擴(kuò)展第一面板的尺寸，并且在與第一用戶的該側(cè)相關(guān)聯(lián)的方向上減小第二面板的尺寸。
37.在根據(jù)本發(fā)明的實(shí)施例中，一個(gè)或更多個(gè)計(jì)算機(jī)可讀非暫時(shí)性存儲(chǔ)介質(zhì)可以體現(xiàn)軟件，該軟件在被執(zhí)行時(shí)可操作來(lái)執(zhí)行根據(jù)本發(fā)明或任何上面提到的實(shí)施例的方法。
38.在根據(jù)本發(fā)明的實(shí)施例中，一種系統(tǒng)可以包括：一個(gè)或更多個(gè)處理器；以及耦合到處理器并包括由處理器可執(zhí)行的指令的至少一個(gè)存儲(chǔ)器，處理器當(dāng)執(zhí)行指令時(shí)可操作來(lái)執(zhí)行根據(jù)本發(fā)明或任何上面提到的實(shí)施例的方法。
39.在根據(jù)本發(fā)明的實(shí)施例中，一種優(yōu)選地包括計(jì)算機(jī)可讀非暫時(shí)性存儲(chǔ)介質(zhì)的計(jì)算機(jī)程序產(chǎn)品當(dāng)在數(shù)據(jù)處理系統(tǒng)上被執(zhí)行時(shí)可操作來(lái)執(zhí)行根據(jù)本發(fā)明或任何上面提到的實(shí)施例的方法。
40.在根據(jù)本發(fā)明的實(shí)施例中，一種計(jì)算機(jī)實(shí)現(xiàn)的方法，包括：
41.促進(jìn)視頻數(shù)據(jù)到第一設(shè)備和第二設(shè)備的傳輸；
42.根據(jù)設(shè)備無(wú)關(guān)的協(xié)同活動(dòng)協(xié)議發(fā)起媒體效果，所述媒體效果修改在所述第一設(shè)備和在所述第二設(shè)備處查看的視頻數(shù)據(jù)；以及
43.接收與所述媒體效果相關(guān)的應(yīng)用編程接口(api)調(diào)用，所述api調(diào)用是根據(jù)協(xié)同活動(dòng)從所述第一設(shè)備做出的，所述api調(diào)用與指定要對(duì)所述視頻數(shù)據(jù)做出的修改的信息相關(guān)聯(lián)。
44.與所述api調(diào)用相關(guān)聯(lián)的所述信息包括通用數(shù)據(jù)，所述通用數(shù)據(jù)的格式不是由所述協(xié)同活動(dòng)協(xié)議預(yù)定義的。
45.與所述api調(diào)用相關(guān)聯(lián)的所述信息包括格式化數(shù)據(jù)，所述格式化數(shù)據(jù)與由所述協(xié)同活動(dòng)協(xié)議預(yù)定義的服務(wù)相關(guān)聯(lián)。
46.所述格式化數(shù)據(jù)包括改變?cè)谒龅谝辉O(shè)備和所述第二設(shè)備上播放的視頻的命令；和/或其中，所述格式化數(shù)據(jù)包括視頻控制命令，所述視頻控制命令包括停止命令、開(kāi)始命令、暫停命令或同步命令中的至少一個(gè)；和/或其中，所述格式化數(shù)據(jù)包括基于訪問(wèn)所述視頻數(shù)據(jù)的入口點(diǎn)觸發(fā)視頻縮略圖模式的命令。
47.所述視頻數(shù)據(jù)包括視頻會(huì)議數(shù)據(jù)；所述第一設(shè)備和所述第二設(shè)備各自顯示界面，所述界面包括用于顯示第一用戶的視頻的第一面板和用于顯示第二用戶的視頻的第二面板；當(dāng)所述第一用戶朝向所述第一面板的一側(cè)傾斜或推動(dòng)時(shí)，發(fā)起所述媒體效果；并且所述修改包括在所述第一用戶朝向其傾斜或推動(dòng)的所述側(cè)的方向上擴(kuò)展所述第一面板的尺寸，而在與所述第一用戶的該側(cè)相關(guān)聯(lián)的方向上減小所述第二面板的尺寸。
48.在根據(jù)本發(fā)明的實(shí)施例中，一種存儲(chǔ)指令的非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)，所述指令當(dāng)被一個(gè)或更多個(gè)處理器執(zhí)行時(shí)使得所述處理器：
49.促進(jìn)視頻數(shù)據(jù)到第一設(shè)備和第二設(shè)備的傳輸；
50.根據(jù)設(shè)備無(wú)關(guān)的協(xié)同活動(dòng)協(xié)議發(fā)起媒體效果，所述媒體效果修改在所述第一設(shè)備和在所述第二設(shè)備處查看的視頻數(shù)據(jù)；以及
51.接收與所述媒體效果相關(guān)的應(yīng)用編程接口(api)調(diào)用，所述api調(diào)用是根據(jù)協(xié)同活動(dòng)從所述第一設(shè)備做出的，所述api調(diào)用與指定要對(duì)所述視頻數(shù)據(jù)做出的修改的信息相關(guān)聯(lián)。
52.與所述api調(diào)用相關(guān)聯(lián)的所述信息包括通用數(shù)據(jù)，所述通用數(shù)據(jù)的格式不是由所述協(xié)同活動(dòng)協(xié)議預(yù)定義的。
53.與所述api調(diào)用相關(guān)聯(lián)的所述信息包括格式化數(shù)據(jù)，所述格式化數(shù)據(jù)與由所述協(xié)
同活動(dòng)協(xié)議預(yù)定義的服務(wù)相關(guān)聯(lián)。
54.所述格式化數(shù)據(jù)包括改變?cè)谒龅谝辉O(shè)備和所述第二設(shè)備上播放的視頻的命令；和/或其中，所述格式化數(shù)據(jù)包括視頻控制命令，所述視頻控制命令包括停止命令、開(kāi)始命令、暫停命令或同步命令中的至少一個(gè)；和/或其中，所述格式化數(shù)據(jù)包括基于訪問(wèn)所述視頻數(shù)據(jù)的入口點(diǎn)觸發(fā)視頻縮略圖模式的命令。
55.所述視頻數(shù)據(jù)包括視頻會(huì)議數(shù)據(jù)；所述第一設(shè)備和所述第二設(shè)備各自顯示界面，所述界面包括用于顯示第一用戶的視頻的第一面板和用于顯示第二用戶的視頻的第二面板；當(dāng)所述第一用戶朝向所述第一面板的一側(cè)傾斜或推動(dòng)時(shí)，發(fā)起所述媒體效果；并且所述修改包括在所述第一用戶朝向其傾斜或推動(dòng)的所述側(cè)的方向上擴(kuò)展所述第一面板的尺寸，而在與所述第一用戶的該側(cè)相關(guān)聯(lián)的方向上減小所述第二面板的尺寸。
56.在根據(jù)本發(fā)明的實(shí)施例中，一種裝置包括：
57.非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)，其保存要傳輸?shù)降谝辉O(shè)備和第二設(shè)備的視頻數(shù)據(jù)；
58.硬件處理器電路；
59.媒體效果發(fā)起邏輯，其被配置成根據(jù)設(shè)備無(wú)關(guān)的協(xié)同活動(dòng)協(xié)議發(fā)起媒體效果，所述媒體效果修改在所述第一設(shè)備和在所述第二設(shè)備處查看的視頻數(shù)據(jù)；以及
60.媒體效果信息交換邏輯，其被配置成接收與所述媒體效果相關(guān)的應(yīng)用編程接口(api)調(diào)用，所述api調(diào)用是根據(jù)協(xié)同活動(dòng)從所述第一設(shè)備做出的，所述api調(diào)用與指定要對(duì)所述視頻數(shù)據(jù)做出的修改的信息相關(guān)聯(lián)。
61.與所述api調(diào)用相關(guān)聯(lián)的所述信息包括格式化數(shù)據(jù)，所述格式化數(shù)據(jù)與由所述協(xié)同活動(dòng)協(xié)議預(yù)定義的服務(wù)相關(guān)聯(lián)。
62.所述格式化數(shù)據(jù)包括改變?cè)谒龅谝辉O(shè)備和所述第二設(shè)備上播放的視頻的命令；和/或其中，所述格式化數(shù)據(jù)包括視頻控制命令，所述視頻控制命令包括停止命令、開(kāi)始命令、暫停命令或同步命令中的至少一個(gè)；和/或其中，所述格式化數(shù)據(jù)包括基于訪問(wèn)所述視頻數(shù)據(jù)的入口點(diǎn)觸發(fā)視頻縮略圖模式的命令。
63.所述視頻數(shù)據(jù)包括視頻會(huì)議數(shù)據(jù)；所述第一設(shè)備和所述第二設(shè)備各自顯示界面，所述界面包括用于顯示第一用戶的視頻的第一面板和用于顯示第二用戶的視頻的第二面板；當(dāng)所述第一用戶朝向所述第一面板的一側(cè)傾斜或推動(dòng)時(shí)，發(fā)起所述媒體效果；并且所述修改包括在所述第一用戶朝向其傾斜或推動(dòng)的所述側(cè)的方向上擴(kuò)展所述第一面板的尺寸，而在與所述第一用戶的該側(cè)相關(guān)聯(lián)的方向上減小所述第二面板的尺寸。
64.附圖簡(jiǎn)述
65.圖1a描繪了視頻會(huì)議界面的示例，其中媒體效果以協(xié)同的方式應(yīng)用于發(fā)起用戶和非發(fā)起用戶的視頻饋送；
66.圖1b、圖1c和圖1d描繪了一種視頻會(huì)議界面，其中協(xié)同效果使得與一個(gè)用戶相關(guān)聯(lián)的面板收縮，而與另一個(gè)用戶相關(guān)聯(lián)的面板增長(zhǎng)；
67.圖1e和圖1f描繪了共享視頻體驗(yàn)的示例；
68.圖1g描繪了共享書(shū)籍閱讀體驗(yàn)的示例；
69.圖1h描繪了共享相冊(cè)體驗(yàn)的示例；
70.圖1i和圖1j描繪了協(xié)同游戲體驗(yàn)的示例；
71.圖2a是描繪適用于示例性實(shí)施例的示例性客戶端/服務(wù)器環(huán)境的框圖；
72.圖2b描繪了協(xié)同效果發(fā)起消息的示例性數(shù)據(jù)結(jié)構(gòu)；
73.圖2c描繪了用于交換通用數(shù)據(jù)或預(yù)定義類型數(shù)據(jù)的協(xié)同效果數(shù)據(jù)交換消息的示例性數(shù)據(jù)結(jié)構(gòu)；
74.圖3a-圖3c是描繪客戶端/服務(wù)器環(huán)境中示例性信息交換的數(shù)據(jù)流圖；
75.圖4a-圖4b描繪了示出用于根據(jù)協(xié)同活動(dòng)協(xié)議應(yīng)用協(xié)同的協(xié)同效果的示例性方法的流程圖；
76.圖5a是提供包括示例性集中式通信服務(wù)的系統(tǒng)的概覽的框圖；
77.圖5b是提供包括示例性分布式通信服務(wù)的系統(tǒng)的概覽的框圖；
78.圖5c更詳細(xì)地描繪了圖5a-圖5b的社交網(wǎng)絡(luò)圖；
79.圖6是描繪用于消息傳遞服務(wù)的系統(tǒng)示例的框圖；
80.圖7是示出適用于示例性實(shí)施例的示例性計(jì)算設(shè)備的框圖；
81.圖8描繪了示例性通信架構(gòu)；以及
82.圖9是描繪示例性多載波通信設(shè)備的框圖。
83.詳細(xì)描述
84.本文描述了用于實(shí)現(xiàn)相對(duì)復(fù)雜的協(xié)同效果的技術(shù)，該技術(shù)涉及沒(méi)有發(fā)起效果的客戶端設(shè)備。這些效果可以應(yīng)用于以視頻為中心的體驗(yàn)(例如，視頻呼叫、共享觀看視頻)或非以視頻為中心的體驗(yàn)(例如，單層或多層游戲、共享的書(shū)籍閱讀體驗(yàn)、共享的相冊(cè)等)的上下文中。
85.可以根據(jù)用于跨多個(gè)設(shè)備同步交互式效果和體驗(yàn)的協(xié)議來(lái)應(yīng)用效果。這種協(xié)同活動(dòng)協(xié)議允許經(jīng)由實(shí)時(shí)通信(rtc)信道在多個(gè)設(shè)備上發(fā)起并協(xié)同效果。協(xié)議涉及交換消息以合作地發(fā)起效果，以及(一旦發(fā)起)經(jīng)由應(yīng)用編程接口(api)調(diào)用交換通用數(shù)據(jù)。因此，系統(tǒng)是數(shù)據(jù)類型和平臺(tái)無(wú)關(guān)的，允許效果開(kāi)發(fā)者定義將如何解釋數(shù)據(jù)。
86.在某些情況下，可以提供更高級(jí)別的服務(wù)來(lái)交換預(yù)定義類型的數(shù)據(jù)(例如，用于重要的公共活動(dòng)，如回合談判、回合讓步、記分、領(lǐng)導(dǎo)選舉等)。
87.協(xié)議可用于同步視頻流中的效果，協(xié)同非以視頻為中心的體驗(yàn)(例如，共同的視頻觀看、書(shū)籍閱讀、多人游戲、具有觀看體驗(yàn)的單人游戲、基于循環(huán)的短期單人游戲、相冊(cè)查看/組織)等。
88.例如，共享體驗(yàn)可以是有多個(gè)參與者的視頻會(huì)議。在一個(gè)示例中，協(xié)同效果可以由一個(gè)用戶(發(fā)起用戶)應(yīng)用于另一個(gè)用戶(非發(fā)起用戶)。這可以涉及，例如，發(fā)起用戶向非發(fā)起用戶應(yīng)用效果，而不影響對(duì)發(fā)起用戶的視頻的處理方式(例如，在非發(fā)起用戶上畫(huà)小胡子，然后該小胡子對(duì)全部參與者變得可見(jiàn))，或者發(fā)起用戶可以發(fā)起涉及該發(fā)起用戶以及一個(gè)或更多個(gè)非發(fā)起用戶的效果(例如，發(fā)起用戶可以模仿投擲火球，該火球出現(xiàn)在發(fā)起用戶的手中，然后看起來(lái)被拋離屏幕，隨后出現(xiàn)在非發(fā)起用戶的視頻中，并且當(dāng)這些用戶被擊中時(shí)，使得“著火”動(dòng)畫(huà)被應(yīng)用于這些用戶)。
89.協(xié)同效果也可以應(yīng)用于在共同體驗(yàn)中觀看視頻的多個(gè)用戶。在這種情況下，協(xié)同效果可以被應(yīng)用來(lái)開(kāi)始視頻、停止視頻、暫停視頻、在參與者設(shè)備之間同步視頻位置、將視頻推入縮略圖模式或者將視頻增大到全屏配置等。
90.用戶之間的協(xié)同體驗(yàn)也可以是非以視頻為中心的，如查看或組織相冊(cè)、合作閱讀書(shū)籍或參與多人游戲(或在多個(gè)設(shè)備之間具有某種類型的所需協(xié)同的單人游戲)?？梢詰?yīng)用
各種協(xié)同效果來(lái)改變協(xié)同體驗(yàn)的狀態(tài)。
91.上述活動(dòng)不是以視頻為中心的，因?yàn)樗鼈儾恍枰曨l組件(如視頻會(huì)議)的存在，并且協(xié)同效果被應(yīng)用于非視頻信息。盡管如此，這些活動(dòng)可以結(jié)合視頻組件來(lái)使用(例如，一個(gè)用戶玩游戲，同時(shí)其他用戶在視頻會(huì)議中觀看并通信)。在這種情況下，協(xié)同效果可以應(yīng)用于視頻組件、非視頻組件，或者應(yīng)用于視頻組件和非視頻組件兩者。
92.該簡(jiǎn)要概述旨在作為對(duì)以下更詳細(xì)討論的概念的非限制性介紹。然而，在討論進(jìn)一步的示例性實(shí)施例之前，首先提供關(guān)于數(shù)據(jù)隱私的簡(jiǎn)要說(shuō)明。關(guān)于隱私設(shè)置和認(rèn)證的更詳細(xì)描述將結(jié)合以下附圖進(jìn)行闡述。
93.關(guān)于數(shù)據(jù)隱私的說(shuō)明
94.本文描述的一些實(shí)施例利用了訓(xùn)練數(shù)據(jù)或度量，該訓(xùn)練數(shù)據(jù)或度量可以包括由一個(gè)或更多個(gè)用戶自愿提供的信息。在這樣的實(shí)施例中，可以以多種方式保護(hù)數(shù)據(jù)隱私。
95.例如，在收集或使用用戶數(shù)據(jù)之前，可能需要用戶選擇加入任何數(shù)據(jù)收集。也可以向用戶提供選擇退出任何數(shù)據(jù)收集的機(jī)會(huì)。在選擇加入數(shù)據(jù)收集之前，可以向用戶提供關(guān)于數(shù)據(jù)將被使用的方式、數(shù)據(jù)將被保留多長(zhǎng)時(shí)間以及為保護(hù)數(shù)據(jù)不被泄露而采取的安全措施的描述。
96.標(biāo)識(shí)從其收集數(shù)據(jù)的用戶的任何信息可以被清除或與數(shù)據(jù)解除關(guān)聯(lián)(disassociated)。在需要保留任何標(biāo)識(shí)信息的情況下(例如，為了滿足監(jiān)管要求)，可以向用戶通知標(biāo)識(shí)信息的收集、將對(duì)標(biāo)識(shí)信息的使用以及標(biāo)識(shí)信息將被保留的時(shí)間量。可以移除專門(mén)標(biāo)識(shí)用戶的信息，并且該信息可以用例如通用標(biāo)識(shí)號(hào)或其他非特定形式的標(biāo)識(shí)來(lái)替換。
97.一旦被收集，數(shù)據(jù)可以被存儲(chǔ)在安全的數(shù)據(jù)存儲(chǔ)位置，該位置包括防止對(duì)數(shù)據(jù)的未授權(quán)訪問(wèn)的安全措施。數(shù)據(jù)可以以加密格式存儲(chǔ)。標(biāo)識(shí)信息和/或非標(biāo)識(shí)信息可以在預(yù)定時(shí)間段后從數(shù)據(jù)存儲(chǔ)裝置中清除。
98.盡管在本文出于說(shuō)明的目的描述了特定的隱私保護(hù)技術(shù)，但是本領(lǐng)域的普通技術(shù)人員將認(rèn)識(shí)到隱私也以其他方式受到保護(hù)。關(guān)于數(shù)據(jù)隱私的進(jìn)一步細(xì)節(jié)將在下面描述網(wǎng)絡(luò)實(shí)施例的部分中討論。
99.假設(shè)滿足用戶的隱私條件，示例性實(shí)施例可以被部署在各種各樣的消息傳遞系統(tǒng)中，包括社交網(wǎng)絡(luò)中或移動(dòng)設(shè)備上的消息傳遞(例如，通過(guò)消息傳遞客戶端應(yīng)用或經(jīng)由短消息服務(wù))、以及其他可能性。接下來(lái)提供用于在消息傳遞系統(tǒng)中參與同步視頻對(duì)話的示例性邏輯和過(guò)程的概覽。
100.為了幫助理解，在描述基礎(chǔ)實(shí)現(xiàn)的詳細(xì)描述之前，將首先呈現(xiàn)一系列示例。注意，這些示例僅旨在是說(shuō)明性，并且本發(fā)明不限于所示的實(shí)施例。
101.協(xié)同效果
102.現(xiàn)在參考附圖，其中相同的附圖標(biāo)記始終用于指代相同的元件。在以下描述中，出于解釋的目的闡述了許多具體細(xì)節(jié)，以便提供其透徹理解。然而，可以在沒(méi)有這些具體細(xì)節(jié)的情況下實(shí)施新穎的實(shí)施例。在其他情況下，以框圖形式示出了眾所周知的結(jié)構(gòu)和設(shè)備以便促進(jìn)其描述。意圖是覆蓋與所要求保護(hù)的主題一致的全部修改、等同物和替代物。
103.在附圖和所附描述中，標(biāo)號(hào)“a”和“b”以及“c”(以及類似的指示符)旨在是表示任何正整數(shù)的變量。因此，例如，如果實(shí)現(xiàn)方式將值設(shè)置為a＝3，則被示為組件116-1至116-3
的組件116的完整集合可以包括組件116-1、116-2和116-3。實(shí)施例不受限于這種上下文。
104.圖1a-圖1j描繪了多個(gè)用戶可以在其中參與共享體驗(yàn)的示例性界面。將結(jié)合每個(gè)界面描述各種類型的協(xié)同效果。
105.一般而言，協(xié)同效果可以是一種修改與協(xié)同活動(dòng)相關(guān)聯(lián)的數(shù)據(jù)和/或協(xié)同活動(dòng)的狀態(tài)的效果，其中修改需要沒(méi)有發(fā)起該效果的設(shè)備的合作。
106.協(xié)同效果包括視覺(jué)數(shù)據(jù)，如遮罩或動(dòng)畫(huà)，視覺(jué)數(shù)據(jù)可應(yīng)用于視頻或界面以修改該視頻或界面。然而，協(xié)同效果不限于動(dòng)畫(huà)或圖形數(shù)據(jù)。例如，音頻效果可以應(yīng)用于視頻流。音頻效果可以包括，例如，將音頻添加到流中(例如，播放音頻軌道，如笑聲軌道或掌聲軌道)，修改流中的音頻(例如，改變用戶聲音的屬性，如聲音的音高、音量等)、播放與音頻流中的歌曲匹配的節(jié)拍等。
107.此外，本文描述的技術(shù)不限于修改視頻的視聽(tīng)數(shù)據(jù)形式中的協(xié)同效果。在一些實(shí)施例中，可以根據(jù)協(xié)同活動(dòng)協(xié)議交換消息，以修改任何協(xié)同活動(dòng)(例如，單人或多人游戲、協(xié)同查看體驗(yàn)等)的狀態(tài)。修改可以包括應(yīng)用于視覺(jué)或聽(tīng)覺(jué)數(shù)據(jù)的圖形或聽(tīng)覺(jué)覆蓋，或者可以改變協(xié)同活動(dòng)的狀態(tài)(例如，在多人游戲中出于解決沖突的目的選擇領(lǐng)導(dǎo)者設(shè)備、在游戲中傳遞回合、向交互式書(shū)籍、視頻或相冊(cè)發(fā)出命令等)。
108.協(xié)同效果可以應(yīng)用于發(fā)起協(xié)同效果的用戶的視頻或體驗(yàn)。協(xié)同效果可以由用戶直接應(yīng)用(例如，通過(guò)按壓屏幕上的按鈕或以其他方式發(fā)出應(yīng)用協(xié)同效果的命令)，或者間接應(yīng)用(例如，通過(guò)檢測(cè)應(yīng)該應(yīng)用協(xié)同效果的條件、通過(guò)在預(yù)定時(shí)間或間隔應(yīng)用協(xié)同效果等)。
109.在一些實(shí)施例中，協(xié)同效果可以應(yīng)用于與應(yīng)用媒體效果的參與者不同的參與者，或者可以以協(xié)同方式應(yīng)用于多個(gè)用戶。圖1a描繪了界面的示例，在該界面中，媒體效果被應(yīng)用于視頻會(huì)議中的多個(gè)用戶。
110.在這種情況下，系統(tǒng)檢測(cè)到指向第二參與者(jack)的、與第一參與者(jill)相關(guān)聯(lián)的情緒狀態(tài)(例如，浪漫情緒狀態(tài))。因此，系統(tǒng)經(jīng)由協(xié)同活動(dòng)協(xié)議對(duì)jill和jack的視頻流啟動(dòng)“浪漫”協(xié)同效果。在這種情況下，在jill的顯示器上出現(xiàn)一個(gè)動(dòng)畫(huà)的接吻媒體效果102-1，最初集中在jill的嘴上。效果102-1看起來(lái)飛到了jill屏幕的邊緣并消失。它以媒體效果102-2重新出現(xiàn)在jack的顯示器上，并飛向jack的臉頰。通信中的每個(gè)參與者都能看到這種協(xié)同的媒體效果。其他示例可以包括將憤怒的用戶臉做成龍的動(dòng)畫(huà)，并顯示用戶向另一個(gè)用戶噴火、扔雪球等等。
111.多用戶協(xié)同效果可以應(yīng)用于檢測(cè)到情緒狀態(tài)的原始(選擇)用戶和至少一個(gè)其他用戶。該其他用戶可以是，例如，當(dāng)前活動(dòng)的用戶(例如，當(dāng)前正在說(shuō)話或以其他方式被認(rèn)為是最相關(guān)的用戶)、具有相同或?qū)?yīng)情緒狀態(tài)的另一個(gè)用戶、與原始用戶當(dāng)前正在觀看的顯示器的一部分相關(guān)聯(lián)的用戶(例如，如果用戶正盯著另一個(gè)用戶的視頻流并且正在感受觸發(fā)多用戶媒體效果的情緒，則媒體效果可以針對(duì)另一個(gè)用戶的視頻流)、或者所選擇的其他用戶。
112.在一些實(shí)施例中，協(xié)同效果可以直接自動(dòng)應(yīng)用。在其他情況下，可以識(shí)別多個(gè)候選協(xié)同效果，并且可以自動(dòng)呈現(xiàn)一組推薦的協(xié)同效果以供發(fā)起用戶選擇。
113.在視頻呼叫中(或者向其他視頻數(shù)據(jù))應(yīng)用聽(tīng)覺(jué)或圖形協(xié)同效果的示例中，協(xié)同活動(dòng)協(xié)議可用于發(fā)起效果，確保將應(yīng)用效果的每個(gè)用戶具有必要的數(shù)據(jù)(例如，用于應(yīng)用效果的邏輯、動(dòng)畫(huà)數(shù)據(jù)等)，并用于交換允許應(yīng)用該效果的數(shù)據(jù)。例如，效果的位置或路徑可以取
決于用戶的特定特征(例如，鼻子、嘴、手)的位置。為了協(xié)同效果(例如，使圖1a中的吻從jill的面板邊緣的位置消失，并重新出現(xiàn)在jack面板上的對(duì)應(yīng)位置)，可以通過(guò)協(xié)同活動(dòng)協(xié)議來(lái)交換位置信息。
114.在圖1b-圖1d所示的另一個(gè)示例中，協(xié)同效果可以修改視頻會(huì)議的圖形用戶界面(gui)的狀態(tài)。在如圖1b所描繪的gui中，用戶(jill)與第一面板106相關(guān)聯(lián)，用戶(jack)與第二面板104相關(guān)聯(lián)。相應(yīng)面板各自具有由寬度和高度限定的相應(yīng)尺寸。在這種情況下，每個(gè)面板的寬度和高度最初是相同的。例如，第一面板106和第二面板104的寬度最初都被設(shè)置為某個(gè)值d1。
115.視頻會(huì)議應(yīng)用可以經(jīng)由協(xié)同活動(dòng)協(xié)議支持修改gui的協(xié)同效果。在這種情況下，如圖1c所示，當(dāng)發(fā)起用戶(在這種情況下是jill)朝向她的面板106的邊緣108之一傾斜時(shí)，可以觸發(fā)一個(gè)或更多個(gè)協(xié)同效果。如果用戶以足夠的速度朝向面板傾斜(或者以另一種方式觸發(fā)效果，如通過(guò)用他們的手推靠面板106的邊緣)，則視頻會(huì)議應(yīng)用可以將該條件與一個(gè)或更多個(gè)協(xié)同效果的應(yīng)用相關(guān)聯(lián)。充當(dāng)發(fā)起客戶端設(shè)備的jill的客戶端設(shè)備可以檢測(cè)到該條件已經(jīng)被滿足，并且可以通過(guò)協(xié)同活動(dòng)協(xié)議發(fā)起相關(guān)聯(lián)的效果。作為第一效果，當(dāng)用戶的頭部與面板110的邊緣108接觸時(shí)，應(yīng)用可以使得聲音(如敲擊聲)被播放，以在視頻呼叫中的每個(gè)參與者的設(shè)備上播放?？蛇x地，應(yīng)用也可以導(dǎo)致立即可見(jiàn)的效果，如晃動(dòng)界面。
116.與此同時(shí)或隨后，應(yīng)用可以導(dǎo)致相應(yīng)面板106、104的尺寸改變。在這種情況下，第一面板106在jill推動(dòng)的方向上(即，在邊緣108的方向上)在寬度上擴(kuò)展，而第二面板104在相同的方向上收縮對(duì)應(yīng)的量。結(jié)果，第二面板104收縮到寬度d2，d2小于第一面板106的寬度d3。從原始d1尺寸改變到隨后的d2/d3尺寸的調(diào)整量可以取決于發(fā)起用戶看起來(lái)推靠邊緣108的力度有多大(例如，用戶朝向邊緣108傾斜的速度)和/或用戶保持抵靠邊緣108的時(shí)間。允許應(yīng)用媒體效果的信息(例如，發(fā)起用戶的頭部或手的位置、用戶移動(dòng)的速度、自用戶觸摸邊緣108以來(lái)經(jīng)過(guò)的時(shí)間量等)可以經(jīng)由協(xié)同活動(dòng)協(xié)議與非發(fā)起用戶交換。
117.例如，當(dāng)用戶希望顯示其視頻饋送的背景中和/或屏幕外的東西時(shí)，這樣的實(shí)施例可以是有用的。
118.來(lái)自圖1b-圖1d的示例也用于表明多重協(xié)同效果可以同時(shí)出現(xiàn)和/或?qū)盈B于彼此之上。例如，來(lái)自圖1c的音頻協(xié)同效果110可以在面板106開(kāi)始擴(kuò)展的同時(shí)應(yīng)用。在另外的實(shí)施例中，協(xié)同效果也可以與非協(xié)同效果疊加。
119.同樣值得注意的是，在這種情況下，jill的設(shè)備用作發(fā)起設(shè)備。面板擴(kuò)展協(xié)同效果修改了jack的面板尺寸，使jack成為非發(fā)起用戶。然而，會(huì)議中的其他參與者也可以被標(biāo)記為非發(fā)起用戶，因?yàn)闉榱诵薷拿總€(gè)用戶的gui，也必須在他們的設(shè)備上協(xié)同改變。在來(lái)自圖1a的示例中，在應(yīng)用接吻效果的情況下可能沒(méi)有必要將這些其他用戶標(biāo)記為非發(fā)起用戶，因?yàn)樵撁襟w效果可以應(yīng)用于jack和jill的視頻流，然后廣播給其他用戶，而不一定需要其他用戶的合作。類似地，音頻效果110不需要是協(xié)同效果，因?yàn)橐纛l效果110可以被添加到發(fā)起用戶的音頻數(shù)據(jù)中，而不必要求其他用戶在效果的應(yīng)用中合作。
120.圖1e描繪了另一個(gè)示例，其中多個(gè)用戶共享共同的視頻觀看體驗(yàn)(例如，經(jīng)由在線視頻共享服務(wù))。在該示例中，視頻118被顯示在每個(gè)參與者的客戶端應(yīng)用的界面上，并且視頻的回放被同步，使得每個(gè)用戶在相同的回放狀態(tài)下同時(shí)看到相同的視頻。
121.為了創(chuàng)造一種共同體驗(yàn)，圖1e中描繪的實(shí)施例包括視頻會(huì)議作為次要特征。查看
視頻觀看體驗(yàn)的參與者可以在預(yù)覽面板114中看到他們自己的視頻會(huì)議數(shù)據(jù)的預(yù)覽。其他參與者出現(xiàn)在參與者面板116-1、116-2、116-3等中?？商娲?，參與者可以經(jīng)由音頻會(huì)議進(jìn)行通信(如結(jié)合圖1g-圖1h所描述的)，可以在消息傳遞界面中交換消息(如結(jié)合圖1f所描述的)，或者應(yīng)用可以避免提供參與者通信能力，而是可以簡(jiǎn)單地同步或協(xié)同參與者體驗(yàn)(如在圖1i的示例中)。這些不同的通信能力可以與本文描述的任何實(shí)施例組合。
122.為了控制視頻的回放，向每個(gè)參與者提供回放控件(controls)120。控件120可以包括適于改變視頻狀態(tài)的任何控件，如停止、播放、暫停、快進(jìn)、倒帶等。激活這些控件120可以導(dǎo)致激活實(shí)現(xiàn)每個(gè)參與者的回放狀態(tài)改變的協(xié)同效果。
123.協(xié)同效果可以經(jīng)由協(xié)同活動(dòng)協(xié)議以多種方式實(shí)現(xiàn)。例如，應(yīng)用可以使用發(fā)起消息來(lái)發(fā)起一般的“視頻回放”協(xié)同效果，然后在數(shù)據(jù)消息中傳輸作為通用數(shù)據(jù)的單獨(dú)指令?？商娲?，應(yīng)用可以為每個(gè)控件發(fā)起新的效果(例如，經(jīng)由發(fā)起消息發(fā)起的播放效果、經(jīng)由發(fā)起消息發(fā)起的停止效果等)。此外，應(yīng)用可以發(fā)起一般的視頻回放協(xié)同效果，然后可以使用數(shù)據(jù)消息來(lái)傳輸單獨(dú)的指令，這些數(shù)據(jù)消息攜帶調(diào)用協(xié)同活動(dòng)協(xié)議的預(yù)先配置的高級(jí)服務(wù)(例如，播放服務(wù)、停止服務(wù)等)的預(yù)定格式的數(shù)據(jù)。
124.一些控件(如暫停、播放、停止、快進(jìn)和倒帶)可以協(xié)同，因?yàn)槿绻粋€(gè)參與者激活控件，則視頻回放的狀態(tài)在每個(gè)參與者的應(yīng)用中被改變。如音量的其他控件可以在逐個(gè)應(yīng)用的基礎(chǔ)上應(yīng)用，以使得激活這些控件不會(huì)影響另一個(gè)參與者的應(yīng)用上的對(duì)應(yīng)控件。
125.在這種情況下，協(xié)同效果可以應(yīng)用于正在顯示的視頻118，而不是視頻會(huì)議信息(盡管在其他實(shí)施例中，協(xié)同效果也可以或替代地應(yīng)用于視頻會(huì)議信息)。對(duì)于以視頻會(huì)議為中心和非以視頻會(huì)議為中心的實(shí)施例，以類似的方式應(yīng)用協(xié)同效果(例如，通過(guò)經(jīng)由發(fā)起消息用協(xié)同活動(dòng)協(xié)議發(fā)起協(xié)同效果，然后經(jīng)由協(xié)議的數(shù)據(jù)消息交換通用或格式化數(shù)據(jù))。應(yīng)該注意的是，客戶端/服務(wù)器環(huán)境(見(jiàn)圖2a)在協(xié)同效果應(yīng)用于非視頻會(huì)議數(shù)據(jù)時(shí)可能略有不同。例如，圖2a所描繪的通信服務(wù)器可以從中央站點(diǎn)協(xié)同正被觀看的視頻118的分發(fā)，而不是從每個(gè)用戶接收音頻和視頻數(shù)據(jù)，然后再分發(fā)該數(shù)據(jù)。與協(xié)同效果相關(guān)的消息可以繼續(xù)在rtc信道上提供，而其他類型的數(shù)據(jù)(這種情況下的視頻數(shù)據(jù)、或者以下所述示例中的照片數(shù)據(jù)、游戲數(shù)據(jù)、書(shū)籍?dāng)?shù)據(jù)等)可以在它們自己的專用信道上分發(fā)。在每種情況下，共享體驗(yàn)可以可選地涉及視頻會(huì)議或音頻會(huì)議，因此除了與共享體驗(yàn)直接相關(guān)的其他類型的數(shù)據(jù)，還可以分發(fā)視頻和/或音頻數(shù)據(jù)。視頻會(huì)議和/或音頻會(huì)議數(shù)據(jù)可以由分發(fā)其他類型數(shù)據(jù)和控制數(shù)據(jù)的同一通信服務(wù)器分發(fā)，和/或可以由單獨(dú)的服務(wù)器處理。
126.與視頻回放相關(guān)的協(xié)同效果不限于明確激活(如通過(guò)按壓播放或暫停按鈕)的效果。協(xié)同效果也可以例如由協(xié)同視頻的回放的應(yīng)用自動(dòng)激活。協(xié)同效果可以在預(yù)定條件發(fā)生時(shí)或在預(yù)定定時(shí)被激活，并且可以(在用戶可能不知道的情況下)在后臺(tái)執(zhí)行。一個(gè)這樣的示例是同步效果，它可以以預(yù)定的間隔自動(dòng)激活。相應(yīng)參與者的應(yīng)用可以交換與同步效果相關(guān)的數(shù)據(jù)消息，該數(shù)據(jù)消息指示視頻的當(dāng)前回放的定時(shí)信息(例如，用戶在給定時(shí)間的視頻進(jìn)度)。使用定時(shí)信息，每個(gè)應(yīng)用可以本地同步視頻回放，使得每個(gè)參與者同時(shí)查看視頻的相同部分。
127.自動(dòng)或后臺(tái)效果的另一個(gè)示例在圖1f中描繪。在這個(gè)示例中，參與者通過(guò)消息傳遞界面122進(jìn)行交互。在消息傳遞界面中，用戶可以被授權(quán)在對(duì)話面板126中交換基于文本的消息。在該示例中，對(duì)話面板126中的消息之一包括到視頻124的鏈接。當(dāng)一個(gè)用戶選擇鏈
接時(shí)，視頻124可以顯示在界面122中。
128.應(yīng)用可以被配置成根據(jù)訪問(wèn)視頻的入口點(diǎn)以不同的方式顯示視頻124。例如，如果消息傳遞對(duì)話中的參與者與向用戶建議電影的機(jī)器人(bot)交互，并且其中一個(gè)用戶指示機(jī)器人開(kāi)始播放電影，則這可以觸發(fā)全屏模式的視頻124回放(這可能看起來(lái)類似于圖1e的示例)。另一方面，當(dāng)經(jīng)由對(duì)話面板126中的鏈接訪問(wèn)視頻時(shí)，視頻124可以以縮略圖模式顯示，如圖1f所示。為了允許對(duì)視頻入口點(diǎn)敏感的縮略圖模式和全屏模式，可以經(jīng)由協(xié)同活動(dòng)協(xié)議來(lái)交換描述入口點(diǎn)的數(shù)據(jù)消息(或者明確指定視頻124應(yīng)該以縮略圖或全屏模式播放的數(shù)據(jù)消息)。
129.圖1g中描繪的另一個(gè)實(shí)施例與共享的書(shū)籍閱讀體驗(yàn)有關(guān)。電子書(shū)界面128可以由應(yīng)用提供，該應(yīng)用可以在多個(gè)參與者客戶端設(shè)備的顯示器上顯示書(shū)籍的相同頁(yè)面。在該示例中，呼叫面板130指示參與者在查看界面128的同時(shí)正在音頻呼叫中通信。這樣的實(shí)施例可能是有用的，以例如允許父母當(dāng)不在家時(shí)給他們的孩子讀書(shū)，用于共享的雜志閱讀體驗(yàn)，支持參考教科書(shū)的學(xué)習(xí)小組，等等。協(xié)同活動(dòng)協(xié)議可用于保持電子書(shū)的顯示同步。
130.各種可交互的元素可以允許參與者在書(shū)中導(dǎo)航。例如，鏈接132可以允許參與者使顯示器顯示書(shū)籍的目錄(或索引、插圖列表等)。如果顯示器是觸摸屏，與當(dāng)前頁(yè)面左側(cè)區(qū)域134的交互可以導(dǎo)致書(shū)返回到前一頁(yè)，潛在地顯示翻頁(yè)動(dòng)畫(huà)。類似地，與右側(cè)區(qū)域136的交互可以導(dǎo)致頁(yè)面前進(jìn)。在一些實(shí)施例中，可以提供用于向后或向前翻頁(yè)的快速圖標(biāo)(express icon)。
131.這些交互中的每一個(gè)都可以與經(jīng)由協(xié)同活動(dòng)協(xié)議發(fā)送的對(duì)應(yīng)的協(xié)同效果相關(guān)聯(lián)?？杀粎f(xié)同活動(dòng)協(xié)議實(shí)施的協(xié)同動(dòng)作的其他示例包括搜索術(shù)語(yǔ)、跳轉(zhuǎn)到指定頁(yè)面、恢復(fù)到被訪問(wèn)的前一個(gè)頁(yè)面(例如，從目錄跳轉(zhuǎn)回剛被閱讀的頁(yè)面，或者從頁(yè)面跳轉(zhuǎn)回索引)、展開(kāi)插圖、給特定頁(yè)面加書(shū)簽等。
132.在又一實(shí)施例中，協(xié)同體驗(yàn)可以包括在相冊(cè)界面140中查看或編輯相冊(cè)，如圖1h所示。在相冊(cè)界面中，來(lái)自相冊(cè)的當(dāng)前查看的照片可以可選地顯示在主窗口142中?？梢酝ㄟ^(guò)使用前向界面元素148導(dǎo)航到相冊(cè)中的下一張照片，或者使用后向界面元素146導(dǎo)航到相冊(cè)中的前一張照片，來(lái)改變當(dāng)前查看的照片。相冊(cè)中的每張照片(或相冊(cè)中照片的有限子集，這取決于可用的顯示空間量)可以在縮略圖版本144-1、144-2、144-3等中顯示。選擇縮略圖版本144-i可以使得相關(guān)聯(lián)的照片顯示在主窗口142中。相冊(cè)庫(kù)鏈接150可以允許用戶退出當(dāng)前相冊(cè)并查看全部可用相冊(cè)的列表。編輯命令152可以允許編輯主窗口142中的照片。此外，用戶可以在縮略圖視圖144-i中選擇照片，并將它們拖到相冊(cè)中的新位置?？梢蕴峁└噙x項(xiàng)，用于向相冊(cè)添加新圖片，或者刪除相冊(cè)中的照片。這些交互中的任何一個(gè)都可以與協(xié)同效果相關(guān)聯(lián)，從而多個(gè)參與者可以以協(xié)同方式查看相冊(cè)并與之交互。
133.協(xié)同體驗(yàn)的另一個(gè)示例涉及玩單人或多人游戲。圖1i描繪了包括用于顯示游戲當(dāng)前狀態(tài)的游戲面板156的多人游戲界面154的示例。游戲的當(dāng)前玩家可以由化身(avatar)158、160標(biāo)識(shí)，并且可以顯示核心162。當(dāng)前玩家可以查看游戲界面154，希望觀察游戲的任何其他用戶也可以。
134.在該示例中，可以提供協(xié)同效果來(lái)記下分?jǐn)?shù)(例如，傳輸指示分?jǐn)?shù)何時(shí)在本地設(shè)備改變以及改變多少的數(shù)據(jù)消息)、同步游戲面板156中的游戲狀態(tài)、或者從一個(gè)用戶到下一個(gè)用戶傳遞回合。當(dāng)一個(gè)玩家選擇“結(jié)束回合(end turn)”元素或采取導(dǎo)致回合結(jié)束的動(dòng)作
時(shí)(如在圖1i所描繪的臺(tái)球游戲中進(jìn)行擊球)，回合傳遞可以手動(dòng)處理。可替代地或附加地，回合傳遞可以是在預(yù)定義條件下(如與當(dāng)前玩家的回合相關(guān)聯(lián)的計(jì)時(shí)器到期時(shí))自動(dòng)發(fā)生的被動(dòng)活動(dòng)。
135.協(xié)同效果的另一個(gè)示例是用于在當(dāng)前玩家中選擇“領(lǐng)導(dǎo)者”設(shè)備的協(xié)同效果。在一些游戲中，數(shù)據(jù)被提供給每個(gè)用戶的應(yīng)用，然后應(yīng)用構(gòu)建游戲世界，并允許用戶與游戲世界進(jìn)行交互。本地設(shè)備可以執(zhí)行計(jì)算來(lái)確定游戲世界的狀態(tài)(例如，籃球是否在適當(dāng)?shù)能壽E上傳送并因此最終進(jìn)了籃筐中、來(lái)自火箭發(fā)射器的火箭是否在特定位置接觸等)。在某些情況下，不同的玩家設(shè)備可以對(duì)游戲世界的狀態(tài)得出不同的結(jié)論，并且必須選擇其中一個(gè)設(shè)備作為當(dāng)前游戲狀態(tài)的仲裁器。通過(guò)提供允許領(lǐng)導(dǎo)人選舉的協(xié)同效果，這一過(guò)程可以簡(jiǎn)化。
136.在圖1i的示例中，游戲可以允許有限數(shù)量的玩家(例如，在這種情況下，兩個(gè))。多個(gè)人可以與應(yīng)用界面154交互，希望一起玩。因此，可以提供協(xié)同效果來(lái)選擇下一組玩家來(lái)玩。這可以例如在全部參與者中以循環(huán)方式、以單淘汰賽或雙淘汰賽的方式來(lái)執(zhí)行，或者可以隨機(jī)或通過(guò)算法選擇下一個(gè)玩家來(lái)與當(dāng)前游戲的獲勝者玩(例如，“我獲得下一個(gè)！”游戲風(fēng)格)。
137.類似的下一個(gè)玩家選擇也可以針對(duì)單人游戲來(lái)執(zhí)行，如圖1j所示的單人游戲界面166。界面166允許玩家在其中一個(gè)玩家玩游戲并且其他參與者在游戲查看面板170中觀看時(shí)彼此進(jìn)行視頻會(huì)議。界面166包括在其中可以看到當(dāng)前玩家的預(yù)覽窗口168和示出非游戲參與者的縮略圖視圖172-1、172-2、172-3等。
138.在單人游戲中，可以提供與在多人游戲中的效果類似的效果(例如，選擇下一個(gè)玩家來(lái)玩游戲、協(xié)同共享的查看體驗(yàn)、開(kāi)始游戲、停止游戲、暫停游戲、同步游戲查看面板170的相應(yīng)視圖等)。
139.任何上述協(xié)同效果可以由應(yīng)用開(kāi)發(fā)者實(shí)現(xiàn)，并且協(xié)同活動(dòng)協(xié)議可以交換數(shù)據(jù)消息，該數(shù)據(jù)消息具有不是協(xié)議所識(shí)別的預(yù)定格式的數(shù)據(jù)。在這種情況下，消息可以交換可由相應(yīng)應(yīng)用解譯的通用數(shù)據(jù)。在另外的實(shí)施例中，上述效果中的一個(gè)可以被協(xié)同活動(dòng)協(xié)議支持為高級(jí)服務(wù)，并且數(shù)據(jù)可以是協(xié)議可識(shí)別的并且與服務(wù)相關(guān)聯(lián)的預(yù)定格式。
140.接下來(lái)參考圖2a描述用于應(yīng)用協(xié)同效果的客戶端/服務(wù)器環(huán)境的示例性配置。
141.示例性系統(tǒng)配置和數(shù)據(jù)結(jié)構(gòu)
142.圖2a描繪了用于應(yīng)用協(xié)同效果的示例性系統(tǒng)。協(xié)同效果可以自動(dòng)、手動(dòng)或兩者組合應(yīng)用。
143.系統(tǒng)可以促進(jìn)視頻通信，該視頻通信可以是(例如)一對(duì)一、一對(duì)多或組通信。可替代地或附加地，系統(tǒng)可以促進(jìn)另一種類型的協(xié)同活動(dòng)(例如，游戲、交互式查看體驗(yàn)等)。下面將參考將協(xié)同媒體效果應(yīng)用于視頻對(duì)話來(lái)描述一個(gè)示例；然而，應(yīng)當(dāng)理解，本技術(shù)不限于該示例。
144.發(fā)起客戶端202-1可以是與通信中的第一參與者相關(guān)聯(lián)的設(shè)備。發(fā)起客戶端202-1可以是例如執(zhí)行通信應(yīng)用204-1以用于參與同一個(gè)或更多個(gè)其他參與者的協(xié)同活動(dòng)(如基于視頻的會(huì)議呼叫的視頻通信)的移動(dòng)設(shè)備(盡管本發(fā)明不限于移動(dòng)設(shè)備的應(yīng)用)。發(fā)起客戶端202-1可以是發(fā)起協(xié)同效果的設(shè)備，該協(xié)同效果將在一個(gè)或更多個(gè)非發(fā)起客戶端202-2、202-3、204-4等處應(yīng)用或?qū)⒈灰粋€(gè)或更多個(gè)非發(fā)起客戶端202-2、202-3、204-4等應(yīng)用。
145.通信應(yīng)用204-1可以使得與視頻通信相關(guān)聯(lián)的信息被傳輸?shù)酱龠M(jìn)通信的一個(gè)或更
多個(gè)服務(wù)器。例如，該信息可以包括：包含與通信相關(guān)聯(lián)的視頻幀的視頻數(shù)據(jù)208、包含與圖形幀同步的聲音信息的音頻數(shù)據(jù)212、以及控制數(shù)據(jù)216。控制數(shù)據(jù)216可以包括各種指令、標(biāo)識(shí)符、元數(shù)據(jù)等，用于應(yīng)用與視頻數(shù)據(jù)208和音頻數(shù)據(jù)212相關(guān)聯(lián)(例如同步)的協(xié)同效果。
146.在一些示例中，協(xié)同效果可以由應(yīng)用204-1應(yīng)用。在其他情形中，應(yīng)用204-1可以定義一個(gè)幀，第三方可以經(jīng)由適當(dāng)?shù)拿?例如，應(yīng)用編程接口命令)或引用將協(xié)同效果插入到該幀中。
147.每種類型的數(shù)據(jù)可以在相關(guān)聯(lián)的信道中傳輸。例如，通信應(yīng)用204-1或客戶端202-1的另一組件可以打開(kāi)與通信服務(wù)器218的視頻信道206、音頻信道210和控制信道214。視頻信道206僅可以承載視頻格式的視頻數(shù)據(jù)208。因此，通信服務(wù)器218可以將在視頻信道206上接收的任何數(shù)據(jù)視為視頻格式的數(shù)據(jù)，并且可以適當(dāng)?shù)靥幚碓摂?shù)據(jù)。類似地，音頻信道210僅可以承載音頻格式的音頻數(shù)據(jù)212。
148.應(yīng)當(dāng)理解，本發(fā)明不限于分別在視頻信道206和音頻信道210上傳輸視頻數(shù)據(jù)208和音頻數(shù)據(jù)212。例如，在協(xié)同活動(dòng)是查看相冊(cè)的情況下，可以在數(shù)據(jù)信道中共享圖形數(shù)據(jù)。在另一個(gè)示例中，游戲數(shù)據(jù)可以在專用于承載關(guān)于游戲狀態(tài)的信息的數(shù)據(jù)信道中共享。為了共享收聽(tīng)體驗(yàn)(例如，多個(gè)用戶同時(shí)收聽(tīng)音樂(lè)專輯或音樂(lè)會(huì))，信道可以包括音頻信道210，但不包括視頻信道206。在每種情況下，控制信道214可以是與數(shù)據(jù)信道分離并且不同的實(shí)時(shí)信道。
149.控制信道214可以傳輸不一定是預(yù)定格式的通用數(shù)據(jù)，或者可以傳輸指定控制格式的控制指令。例如，控制信道214可以承載分析視頻數(shù)據(jù)208和/或音頻數(shù)據(jù)212的指令，或者可以承載應(yīng)用協(xié)同效果的指令?？刂菩诺?14可以是例如web實(shí)時(shí)通信(webrtc)信道。
150.視頻信道206、音頻信道210和控制信道可以承載兩個(gè)方向上的信息。因此，例如，視頻信道206和音頻信道210可以承載用于在發(fā)起客戶端202-1上顯示/回放的數(shù)據(jù)(例如，與一個(gè)或更多個(gè)非發(fā)起客戶端202-2、202-3、202-4的視頻流相關(guān)的數(shù)據(jù))?？刂菩诺?14可以承載來(lái)自通信服務(wù)器218的建議、一個(gè)或更多個(gè)識(shí)別的情緒狀態(tài)、其他指令等。
151.通信服務(wù)器218可以被配置成通過(guò)應(yīng)用效果協(xié)同邏輯220來(lái)協(xié)同在一個(gè)或更多個(gè)發(fā)起客戶端202-1和一個(gè)或更多個(gè)非發(fā)起客戶端202-2、202-3、202-4等之間的協(xié)同效果的應(yīng)用。通信服務(wù)器218也可以存儲(chǔ)協(xié)同效果庫(kù)(未示出)，該協(xié)同效果庫(kù)包括與多個(gè)可用協(xié)同效果相關(guān)的數(shù)據(jù)。協(xié)同效果可以由標(biāo)識(shí)符來(lái)標(biāo)識(shí)，并且協(xié)同效果庫(kù)可以可選地鏡像本地存儲(chǔ)在客戶端設(shè)備202處的協(xié)同效果庫(kù)?？商娲鼗蚋郊拥兀鎯?chǔ)在通信服務(wù)器218(或在多個(gè)通信服務(wù)器218之間劃分)的庫(kù)可以部分地緩存在本地客戶端設(shè)備202。在一些情況下，本地客戶端設(shè)備可以包括協(xié)同效果的縮略圖版本，允許在通信應(yīng)用204中選擇效果，但是通過(guò)不包括協(xié)同效果的實(shí)現(xiàn)細(xì)節(jié)來(lái)保留客戶端設(shè)備202上的存儲(chǔ)。在應(yīng)用協(xié)同效果時(shí)，相應(yīng)的客戶端設(shè)備202可以從通信服務(wù)器218請(qǐng)求實(shí)現(xiàn)細(xì)節(jié)。
152.通信服務(wù)器218還可以包括用于組合視頻數(shù)據(jù)208、音頻數(shù)據(jù)212和任何應(yīng)用的協(xié)同效果的視聽(tīng)編譯邏輯224。視聽(tīng)編譯邏輯224可以包括用于使音頻數(shù)據(jù)212與視頻數(shù)據(jù)208同步并且還用于使協(xié)同效果與組合的音頻/視頻數(shù)據(jù)(或者分別與音頻數(shù)據(jù)212或視頻數(shù)據(jù)208)同步的邏輯。
153.一旦組合，所得到的視聽(tīng)數(shù)據(jù)230可以可選地從通信服務(wù)器218傳輸?shù)綇V播服務(wù)器226。廣播服務(wù)器226可以包括廣播邏輯228，其識(shí)別與視頻通信相關(guān)聯(lián)的一個(gè)或更多個(gè)接收
者客戶端202-2、202-3、202-4。廣播服務(wù)器226可以向接收者客戶端202-2、202-3、202-4中的每一個(gè)傳輸包括音頻數(shù)據(jù)212、視頻數(shù)據(jù)208和應(yīng)用的協(xié)同效果的視聽(tīng)數(shù)據(jù)230。
154.在一些情況下，視聽(tīng)數(shù)據(jù)230可以被廣播給全部接收者202-2、202-3、202-4，但是與協(xié)同效果相關(guān)的消息可以在相應(yīng)的控制信道206上被傳輸給非發(fā)起客戶端202-i，該非發(fā)起客戶端202-i的協(xié)同是使效果起作用所需要的。例如，在圖1a所示的示例中，協(xié)同效果可以由jill的設(shè)備發(fā)起，并且可能需要與jack的設(shè)備的協(xié)同(以便在jack的視頻上以與jill的視頻適當(dāng)協(xié)同地應(yīng)用對(duì)應(yīng)的接吻動(dòng)畫(huà))。盡管當(dāng)應(yīng)用協(xié)同效果時(shí)，視頻數(shù)據(jù)可以繼續(xù)由廣播服務(wù)器226廣播，但是提供給每個(gè)設(shè)備和來(lái)自每個(gè)設(shè)備的控制數(shù)據(jù)可以變化。例如，jill的設(shè)備可以在控制信道214上傳輸發(fā)起指令，該指令可以被中繼到j(luò)ack的設(shè)備(但不被中繼到接收視聽(tīng)數(shù)據(jù)230的其他設(shè)備)。jack的設(shè)備可以在它自己相應(yīng)的控制信道214(未示出)上向通信服務(wù)器218傳輸確認(rèn)、數(shù)據(jù)等。
155.在協(xié)同效果在jack和jill的設(shè)備之間協(xié)同時(shí)，每個(gè)設(shè)備可以向通信服務(wù)器218傳輸控制數(shù)據(jù)216/從通信服務(wù)器218接收控制數(shù)據(jù)216，以允許效果被應(yīng)用到它們相應(yīng)的音頻數(shù)據(jù)212和/或視頻數(shù)據(jù)208(或者這些效果可以可選地由相應(yīng)的客戶端設(shè)備以協(xié)同的方式本地應(yīng)用)。所得到的經(jīng)修改的視聽(tīng)數(shù)據(jù)230可以由廣播服務(wù)器226廣播給對(duì)話中的每個(gè)參與者。
156.圖2b-圖2c描繪了可以被交換以使協(xié)同效果的應(yīng)用協(xié)同的消息示例。
157.圖2b描繪了發(fā)起消息250，其可以由發(fā)起客戶端設(shè)備傳輸，以在非發(fā)起客戶端設(shè)備處開(kāi)始或初始化協(xié)同效果。發(fā)起消息250可以由通信服務(wù)器通過(guò)rtc信道接收。
158.發(fā)起消息250可以在消息250的報(bào)頭中包括標(biāo)志252或其他標(biāo)識(shí)符，其將消息250識(shí)別為協(xié)同效果發(fā)起消息。因此，通信服務(wù)器218可以在接收到消息250時(shí)采取適當(dāng)?shù)牟襟E來(lái)處理消息250，并請(qǐng)求一個(gè)或更多個(gè)非發(fā)起客戶端開(kāi)始協(xié)同效果。標(biāo)志252可以包括在例如發(fā)起消息250的報(bào)頭數(shù)據(jù)中。
159.發(fā)起消息250還可以包括協(xié)同效果類型標(biāo)識(shí)符254。標(biāo)識(shí)符254可以指定協(xié)同效果的類型(例如，標(biāo)識(shí)接吻效果、同步效果、應(yīng)用命令效果等)。標(biāo)識(shí)符254可以對(duì)應(yīng)于與存儲(chǔ)在通信服務(wù)器上的協(xié)同效果庫(kù)(參見(jiàn)結(jié)合圖2a的描述)中的協(xié)同效果相關(guān)聯(lián)的標(biāo)識(shí)符。
160.消息250還可以指定一個(gè)或更多個(gè)非發(fā)起用戶標(biāo)識(shí)符256。這些標(biāo)識(shí)符256可以指示由類型標(biāo)識(shí)符254標(biāo)識(shí)的協(xié)同效果應(yīng)該對(duì)協(xié)同活動(dòng)中的哪些參與者應(yīng)用協(xié)同效果。通信服務(wù)器可以讀取非發(fā)起用戶標(biāo)識(shí)符256，并在rtc信道上將發(fā)起消息250轉(zhuǎn)發(fā)到適當(dāng)?shù)脑O(shè)備。
161.一旦協(xié)同效果被發(fā)起，發(fā)起用戶設(shè)備和非發(fā)起用戶設(shè)備可以通過(guò)交換數(shù)據(jù)來(lái)使協(xié)同效果的應(yīng)用協(xié)同。為此，可以使用數(shù)據(jù)消息260，如例如圖2c所示。
162.可以經(jīng)由應(yīng)用編程接口(api)調(diào)用來(lái)交換數(shù)據(jù)以獲得協(xié)同效果。例如，用戶設(shè)備上的應(yīng)用可以與支持api調(diào)用以生成或修改協(xié)同效果的應(yīng)用級(jí)平臺(tái)相關(guān)聯(lián)。這種平臺(tái)的一個(gè)示例是加利福尼亞州門(mén)洛帕克市(menlo park，ca)的facebook公司的ar工作室(ar studio)。
163.然而，使協(xié)同效果協(xié)同的協(xié)同活動(dòng)協(xié)議不需要理解協(xié)同效果的實(shí)現(xiàn)細(xì)節(jié)。通過(guò)允許經(jīng)由交換通用數(shù)據(jù)(即，不是由定義發(fā)起消息250和數(shù)據(jù)消息260的格式的協(xié)同活動(dòng)協(xié)議預(yù)定義和/或識(shí)別的格式的數(shù)據(jù))的api調(diào)用來(lái)協(xié)同效果，協(xié)議可以以與效果在其上操作的設(shè)備以及與效果本身和支持那些效果的平臺(tái)無(wú)關(guān)的方式來(lái)應(yīng)用。
164.因此，協(xié)同活動(dòng)協(xié)議通過(guò)允許效果和/或運(yùn)行效果的設(shè)備彼此交換數(shù)據(jù)同時(shí)允許支持效果的應(yīng)用和/或平臺(tái)確定將如何解譯該數(shù)據(jù)來(lái)支持各種效果的協(xié)同。因此，協(xié)議很容易擴(kuò)展到新的效果、平臺(tái)和設(shè)備。
165.協(xié)同活動(dòng)協(xié)議可以支持(并且可以揭示)不同的通信方法。在一個(gè)示例中，協(xié)議可以支持可靠的通信模式和不可靠的通信模式。數(shù)據(jù)消息260中的可靠性標(biāo)志允許應(yīng)用指定消息260應(yīng)該以可靠模式還是不可靠模式傳輸。
166.當(dāng)以可靠模式傳輸時(shí)，協(xié)同活動(dòng)協(xié)議可以保證數(shù)據(jù)消息260被目標(biāo)設(shè)備接收。例如，通信服務(wù)器可以在轉(zhuǎn)發(fā)數(shù)據(jù)消息260時(shí)，等待接收者設(shè)備發(fā)送確認(rèn)。如果在預(yù)定時(shí)間量?jī)?nèi)沒(méi)有接收到這種確認(rèn)，則服務(wù)器可以重傳數(shù)據(jù)消息260，直到確認(rèn)接收(或者直到預(yù)定次數(shù)的嘗試或預(yù)定時(shí)間量過(guò)去，在此之后發(fā)送者可以被通知傳輸失敗)?？煽磕Ｊ綄?duì)于影響協(xié)同活動(dòng)狀態(tài)的命令和關(guān)鍵數(shù)據(jù)(例如，視頻開(kāi)始/停止/暫停/播放/同步命令、游戲中的回合談判、回合讓步、記分等)可以是有用的。消息可以與標(biāo)識(shí)符一起傳輸，以確保如果接收到消息的副本，消息數(shù)據(jù)不會(huì)被處理多于一次?？煽客ㄐ拍Ｊ降囊粋€(gè)示例是由用戶數(shù)據(jù)報(bào)協(xié)議(udp)實(shí)現(xiàn)的，盡管存在其他合適的示例。
167.當(dāng)以不可靠模式傳輸時(shí)，協(xié)同活動(dòng)協(xié)議可以不為數(shù)據(jù)消息260提供傳遞保證。通信服務(wù)器可以將消息260發(fā)送給其預(yù)期的接收者一次，并且可以不需要消息接收的確認(rèn)。不可靠模式可用于例如數(shù)據(jù)流，其中一個(gè)或幾個(gè)數(shù)據(jù)點(diǎn)的丟失不一定會(huì)降低協(xié)同效果的性能。例如，在下面關(guān)于圖1a描述的示例中，jill嘴巴的位置可以定期傳輸，以允許接吻效果的協(xié)同。然而，這些數(shù)據(jù)點(diǎn)中一個(gè)或幾個(gè)的丟失可能不是災(zāi)難性的；系統(tǒng)可以在接收的數(shù)據(jù)點(diǎn)之間進(jìn)行插值。通過(guò)允許以不可靠的模式傳輸這些數(shù)據(jù)點(diǎn)，效果可以節(jié)省發(fā)起側(cè)和非發(fā)起側(cè)的處理資源，并且還可以節(jié)省網(wǎng)絡(luò)資源(因?yàn)橄⒉恍枰恢貍鞑⑶也恍枰l(fā)送確認(rèn))。
168.在一些實(shí)施例中，發(fā)起消息250總是以可靠模式傳輸，從而允許以有保證的方式發(fā)起效果。在其他實(shí)施例中，協(xié)議可以允許發(fā)起消息250提供可靠性標(biāo)志，從而潛在地允許發(fā)起消息250以不可靠模式傳輸。這可以在例如當(dāng)應(yīng)用效果的應(yīng)用本身保證傳遞時(shí)(例如，通過(guò)在發(fā)起側(cè)和非發(fā)起側(cè)的應(yīng)用之間直接通信)使用。
169.數(shù)據(jù)消息260可以包括支持協(xié)同效果的平臺(tái)和/或應(yīng)用可識(shí)別的api調(diào)用264。api調(diào)用264可以包括對(duì)象或方法名稱266，其識(shí)別消息260所應(yīng)用的協(xié)同效果。當(dāng)響應(yīng)于發(fā)起消息250發(fā)起協(xié)同效果時(shí)，平臺(tái)可以為該效果分配對(duì)象名稱或標(biāo)識(shí)符。名稱或標(biāo)識(shí)符可以被指定為發(fā)起消息250的一部分，可以由發(fā)起設(shè)備獨(dú)立于發(fā)起消息250指定，或者可以由非發(fā)起設(shè)備響應(yīng)于發(fā)起消息250來(lái)分配并且作為對(duì)發(fā)起消息250的確認(rèn)的一部分來(lái)返回，以及其他可能性。該名稱或標(biāo)識(shí)符可以在api調(diào)用264中使用，以確保消息260被應(yīng)用于適當(dāng)?shù)男Ч?br/>170.在某些情況下，api調(diào)用264可以指定方法名稱。方法名稱可以指示將如何應(yīng)用或修改協(xié)同效果。例如，api調(diào)用264可以是對(duì)共享的視頻查看體驗(yàn)的“停止”方法的調(diào)用。應(yīng)用停止方法可以導(dǎo)致視頻在發(fā)起和非發(fā)起設(shè)備上停止回放。
171.在一些實(shí)施例中，協(xié)同效果的應(yīng)用可能需要獨(dú)立于方法名稱的數(shù)據(jù)，或者除方法名稱之外的數(shù)據(jù)。因此，api調(diào)用264可以可選地指定可由協(xié)同效果使用的數(shù)據(jù)268(例如，坐標(biāo)、同步數(shù)據(jù)等)。
172.例如，在圖1a的示例中，根據(jù)屏幕的哪一側(cè)最靠近jill的嘴和/或視頻會(huì)議用戶界面的當(dāng)前布局(例如，jack的視頻幀是出現(xiàn)在jill的左側(cè)、右側(cè)、頂部還是底部)，親吻效果
可以看起來(lái)從jill的屏幕向左側(cè)、右側(cè)、頂部或底部飛出。協(xié)同效果可以從jill視頻上的給定位置消失，并重新出現(xiàn)在jack視頻上對(duì)應(yīng)的附近位置。因此，數(shù)據(jù)268可以包括由面部識(shí)別邏輯識(shí)別的jill的嘴的位置，使得當(dāng)接吻動(dòng)畫(huà)出現(xiàn)在jack的視頻上時(shí)，它看起來(lái)是源于盡可能接近其在jill視頻中消失的點(diǎn)。
173.在另一個(gè)示例中，接吻動(dòng)畫(huà)的路徑可能取決于jill的嘴和jack的臉頰的位置，看起來(lái)在視頻會(huì)議用戶界面中所看到的這些位置之間采取最短的路徑。因此，jill的設(shè)備可以傳輸標(biāo)識(shí)jill的嘴的位置的數(shù)據(jù)268，且jack的設(shè)備可以傳輸標(biāo)識(shí)jack臉頰的位置的數(shù)據(jù)268。接吻動(dòng)畫(huà)的路徑可以由jack和jill的相應(yīng)視頻會(huì)議應(yīng)用獨(dú)立地來(lái)確定，或者可以由中間通信服務(wù)器確定。
174.數(shù)據(jù)268還可以包括定時(shí)信息，允許效果同時(shí)從jill的視頻中消失并重新出現(xiàn)在jack的視頻中。
175.在其他示例中，數(shù)據(jù)268可以包括：用于同步目的的定時(shí)數(shù)據(jù)、與單人或多人游戲的游戲狀態(tài)相關(guān)的信息、特定于應(yīng)用的命令、或者可用于應(yīng)用協(xié)同效果的任何其他類型的數(shù)據(jù)。
176.數(shù)據(jù)268可以是不由協(xié)同活動(dòng)協(xié)議預(yù)定義的通用格式?？商娲兀瑓f(xié)同活動(dòng)協(xié)議可以直接支持許多高級(jí)服務(wù)(例如，游戲中的回合談判、領(lǐng)導(dǎo)選舉等)，這些高級(jí)服務(wù)由來(lái)自不同提供商的協(xié)同效果共同使用。在這種情況下，數(shù)據(jù)268可以以與要應(yīng)用的特定服務(wù)相關(guān)聯(lián)的預(yù)定義格式來(lái)格式化。當(dāng)服務(wù)器或接收客戶端識(shí)別出數(shù)據(jù)268是與特定服務(wù)相關(guān)聯(lián)的預(yù)定義格式時(shí)，系統(tǒng)可以調(diào)用該服務(wù)，同時(shí)向該服務(wù)指定數(shù)據(jù)268以向效果提供該服務(wù)的功能。
177.在一些情況下，可以在消息260中明確提供數(shù)據(jù)268，并且可以將數(shù)據(jù)推送到接收客戶端設(shè)備。作為替代，字段268可以指定存儲(chǔ)數(shù)據(jù)的位置，并且接收客戶端設(shè)備可以在接收到消息260時(shí)(或者稍后，如根據(jù)需要)從該位置提取數(shù)據(jù)。
178.數(shù)據(jù)流和示例性方法
179.圖3a-圖3c描繪了示例性數(shù)據(jù)流圖，該示例性數(shù)據(jù)流圖描繪各種效果應(yīng)用場(chǎng)景中各種設(shè)備(如圖2a中所描繪的那些設(shè)備)之間的信息交換。
180.如圖3a所示，發(fā)起客戶端設(shè)備202-1可以傳輸指令302來(lái)初始化或開(kāi)始非發(fā)起客戶端設(shè)備202-2的協(xié)同活動(dòng)。指令302可以是發(fā)起消息250的形式，如圖2b中所描繪的發(fā)起消息。指令302可以由發(fā)起客戶端設(shè)備202-1的應(yīng)用響應(yīng)于確定應(yīng)該應(yīng)用協(xié)同效果而生成。該確定可以由界面中的用戶手動(dòng)應(yīng)用協(xié)同效果(例如，選擇協(xié)同效果并指示應(yīng)用來(lái)應(yīng)用它)而產(chǎn)生、基于當(dāng)應(yīng)用檢測(cè)到某些條件適用時(shí)協(xié)同效果的自動(dòng)應(yīng)用等。
181.在接收到指令302時(shí)，通信服務(wù)器可以識(shí)別指令302指向的一個(gè)或更多個(gè)非發(fā)起用戶設(shè)備(例如，基于發(fā)起消息250中的uid字段256)，并且可以將指令轉(zhuǎn)發(fā)給所識(shí)別的設(shè)備。
182.在接收之后，非發(fā)起客戶端設(shè)備202-2可以檢查以確定是否有可能應(yīng)用協(xié)同效果(例如，通過(guò)確定本地設(shè)備是否具有針對(duì)協(xié)同效果最新的緩存邏輯)?？蛇x地，非發(fā)起客戶端設(shè)備可以顯示提示，該提示允許設(shè)備的用戶授權(quán)或取消協(xié)同效果的應(yīng)用。
183.假設(shè)非發(fā)起客戶端設(shè)備202-2確定可以應(yīng)用效果，則非發(fā)起客戶端設(shè)備202-2可以將確認(rèn)304發(fā)送回通信服務(wù)器218。通信服務(wù)器218可以將確認(rèn)中繼到最初發(fā)送指令302的發(fā)起客戶端設(shè)備202-1。
184.如果識(shí)別了不止一個(gè)非發(fā)起客戶端設(shè)備，則通信服務(wù)器可以抑制向發(fā)起客戶端設(shè)備202-1傳輸確認(rèn)304，直到全部非發(fā)起客戶端設(shè)備都已經(jīng)確認(rèn)它們準(zhǔn)備好開(kāi)始協(xié)同效果。當(dāng)協(xié)同效果的所有方都已經(jīng)檢查為準(zhǔn)備好時(shí)，通信服務(wù)器218可以可選地向非發(fā)起客戶端設(shè)備發(fā)信號(hào)。
185.非發(fā)起客戶端設(shè)備202-2可以在接收到指令302時(shí)立即實(shí)例化、初始化或開(kāi)始協(xié)同效果?？商娲?，每個(gè)非發(fā)起客戶端設(shè)備202-2可以發(fā)信號(hào)通知其愿意實(shí)例化、初始化或開(kāi)始協(xié)同效果，但是可以等待直到全部受影響的非發(fā)起客戶端設(shè)備都已經(jīng)檢查為準(zhǔn)備好才這樣做。在一些實(shí)施例中，協(xié)同效果可以延遲某個(gè)預(yù)定的或用戶可指定的時(shí)間量，可以在觸發(fā)條件發(fā)生時(shí)應(yīng)用，或者可以在接收到后續(xù)消息(如第一api調(diào)用306)時(shí)應(yīng)用，以及其他可能性等等。
186.一旦發(fā)起客戶端設(shè)備202-1已經(jīng)接收到確認(rèn)304，協(xié)同效果就準(zhǔn)備好被應(yīng)用。發(fā)起客戶端設(shè)備202-1和非發(fā)起客戶端設(shè)備202-2可以通過(guò)api調(diào)用306、310交換數(shù)據(jù)(例如，通過(guò)經(jīng)由通信服務(wù)器218交換的數(shù)據(jù)消息260)。如果api調(diào)用306、310以可靠模式傳輸，則接收api調(diào)用306、310的設(shè)備可以用確認(rèn)308來(lái)響應(yīng)該調(diào)用。服務(wù)器218可以使用確認(rèn)308來(lái)確定是否重傳api調(diào)用306、308?？蛇x地，當(dāng)接收到確認(rèn)時(shí)，服務(wù)器218可以將確認(rèn)中繼回發(fā)起api調(diào)用306、310的設(shè)備。
187.圖3b描繪了一個(gè)示例，其中非發(fā)起設(shè)備愿意應(yīng)用協(xié)同效果，但是沒(méi)有應(yīng)用該效果所需的全部信息(例如，非發(fā)起設(shè)備沒(méi)有本地緩存的用于實(shí)現(xiàn)協(xié)同效果的邏輯的副本)。在這種情況下，非發(fā)起客戶端設(shè)備202-2響應(yīng)于接收到指令302而傳輸延遲請(qǐng)求320。服務(wù)器218可以可選地通知發(fā)起客戶端202-1已經(jīng)請(qǐng)求了延遲；可替代地，服務(wù)器218可以簡(jiǎn)單地等待，直到延遲被解決，然后向發(fā)起客戶端202-1報(bào)告關(guān)于協(xié)同效果的狀態(tài)。
188.在傳輸延遲請(qǐng)求320之后，非發(fā)起客戶端202-2可以傳輸對(duì)任何缺失的協(xié)同效果數(shù)據(jù)的請(qǐng)求322。可替代地，該請(qǐng)求可以是延遲請(qǐng)求320的一部分，或者可以通過(guò)延遲請(qǐng)求320的存在從服務(wù)器218推斷出。作為響應(yīng)，服務(wù)器218可以從其本地協(xié)同效果庫(kù)或從遠(yuǎn)程位置檢索請(qǐng)求322中指定的缺失數(shù)據(jù)(或與協(xié)同效果相關(guān)聯(lián)的全部數(shù)據(jù))。服務(wù)器218然后可以將協(xié)同效果數(shù)據(jù)324傳輸?shù)椒前l(fā)起客戶端202-2?？商娲兀?wù)器218可以傳輸可以從中檢索數(shù)據(jù)的位置，并且非發(fā)起客戶端202-2可以從指定位置檢索數(shù)據(jù)。
189.在應(yīng)用協(xié)同效果數(shù)據(jù)之后，非發(fā)起客戶端202-2可以傳輸非發(fā)起客戶端202-2準(zhǔn)備好(或者已經(jīng))發(fā)起協(xié)同效果的指示326。服務(wù)器218可以向發(fā)起客戶端202-1傳輸指示326，之后發(fā)起客戶端202-1和非發(fā)起客戶端202-2可以如上所述交換數(shù)據(jù)。
190.圖3c描繪了一個(gè)示例，其中非發(fā)起設(shè)備拒絕應(yīng)用協(xié)同效果。拒絕可以是出于多種原因，比如：如果非發(fā)起客戶端202-2不具有應(yīng)用該協(xié)同效果所必需的數(shù)據(jù)并且無(wú)法獲取該數(shù)據(jù)；如果非發(fā)起設(shè)備202-2的用戶明確取消了該協(xié)同效果的應(yīng)用或者已經(jīng)指定了指示不應(yīng)該應(yīng)用該協(xié)同效果的偏好；如果非發(fā)起客戶端202-2上的應(yīng)用204-2不支持該協(xié)同效果的應(yīng)用；非發(fā)起客戶端沒(méi)有足夠的可用資源來(lái)應(yīng)用該協(xié)同效果；等等。如果協(xié)同效果的應(yīng)用在非發(fā)起客戶端202-2被拒絕，則拒絕消息330可以被傳輸?shù)椒?wù)器218并被中繼到發(fā)起客戶端202-1。作為響應(yīng)，發(fā)起客戶端202-1可以取消協(xié)同效果的應(yīng)用。
191.如果協(xié)同效果要應(yīng)用于多個(gè)非發(fā)起客戶端，則在一個(gè)或更多個(gè)客戶端拒絕該效果可以或者不可以導(dǎo)致在全部客戶端取消該效果。在一些實(shí)施例中，某些客戶端可以被標(biāo)記
為必要的，而其他客戶端是可選的；可選客戶端處的取消不會(huì)導(dǎo)致效果在剩余客戶端被取消，但是必要客戶端處的取消會(huì)導(dǎo)致效果在剩余客戶端被取消。在其他實(shí)施例中，效果可以應(yīng)用于沒(méi)有拒絕該效果的應(yīng)用的任何用戶。在另外其他實(shí)施例中，效果可以被應(yīng)用，除非預(yù)定閾值數(shù)量或比例的客戶拒絕應(yīng)用該效果。
192.接下來(lái)，結(jié)合圖4a-圖4b描述了用于基于圖像搜索應(yīng)用協(xié)同效果的示例性邏輯400。圖4a-圖4b將所描繪的邏輯塊組織成各種邏輯組(例如，指令接收邏輯404、指令轉(zhuǎn)發(fā)邏輯408等)。在一些實(shí)施例中，可以在如圖2a所示的通信服務(wù)器218上提供這些邏輯模塊，盡管應(yīng)當(dāng)理解這種配置不是必需的。全部模塊可以在同一設(shè)備中實(shí)現(xiàn)，或者可以跨任意數(shù)量的設(shè)備分布。模塊的各種組合可以在給定的設(shè)備上使用，或者單獨(dú)模塊的邏輯可以由不同的設(shè)備來(lái)執(zhí)行。
193.處理可以開(kāi)始于框402，其中系統(tǒng)接收關(guān)于協(xié)同活動(dòng)或交互的數(shù)據(jù)。例如，數(shù)據(jù)可以包括用于視頻會(huì)議的視頻數(shù)據(jù)、用于多人游戲的游戲數(shù)據(jù)、用于顯示相冊(cè)的圖形數(shù)據(jù)、關(guān)于在共享閱讀體驗(yàn)中使用的書(shū)籍內(nèi)容的數(shù)據(jù)等。系統(tǒng)可以識(shí)別與協(xié)同活動(dòng)相關(guān)聯(lián)的一個(gè)或更多個(gè)客戶端設(shè)備。
194.處理然后可以移交給指令接收邏輯404。在框406，指令接收邏輯404可以使(engage)網(wǎng)絡(luò)接口來(lái)接收指令。網(wǎng)絡(luò)接口可以在實(shí)時(shí)通信(rtc)信道上監(jiān)聽(tīng)指令。指令可以是發(fā)起消息的形式，如結(jié)合圖2b所描述的。指令可以源自發(fā)起客戶端，并且可以指示系統(tǒng)在非發(fā)起客戶端上發(fā)起與框402中所引用的活動(dòng)相關(guān)的協(xié)同效果。
195.處理然后可以移交給指令轉(zhuǎn)發(fā)邏輯408。在框410，指令轉(zhuǎn)發(fā)邏輯408可以使網(wǎng)絡(luò)接口來(lái)經(jīng)由rtc信道將指令轉(zhuǎn)發(fā)給指令中識(shí)別的非發(fā)起客戶端設(shè)備。
196.處理然后可以移交給協(xié)定(agreement)接收邏輯412?？蛇x地，協(xié)定接收邏輯412可以通過(guò)，例如，將指令重傳到相應(yīng)客戶端直到該客戶端確認(rèn)指令的接收或傳輸響應(yīng)消息來(lái)保證將指令傳遞到非發(fā)起客戶端(框412-414)。
197.響應(yīng)于該指令，非發(fā)起客戶端可以在其rtc信道上用幾種不同類型的消息之一進(jìn)行響應(yīng)。在框418，系統(tǒng)可以確定響應(yīng)是否是對(duì)協(xié)同效果已經(jīng)或?qū)⒁诜前l(fā)起客戶端開(kāi)始的確認(rèn)。如果框418處的確定是“是(yes)”，則處理可以移交給協(xié)定轉(zhuǎn)發(fā)邏輯436(圖4b)。
198.另一方面，如果框418處的確定是“否(no)”，則處理可以前進(jìn)到框420，并且系統(tǒng)可以確定消息是否是對(duì)協(xié)同效果的拒絕。如果是，則處理前進(jìn)到框422，其中系統(tǒng)可以將拒絕轉(zhuǎn)發(fā)回發(fā)起客戶端，如上所述發(fā)起客戶端可以取消協(xié)同效果的應(yīng)用，或者可以將協(xié)同效果應(yīng)用到非發(fā)起客戶端的子集。然后處理可以結(jié)束。
199.如果框420處的確定是“否”，則系統(tǒng)可以前進(jìn)到框426，并確定消息是否是延遲請(qǐng)求。如果是，在框428，系統(tǒng)可以(可選地)向發(fā)起客戶端設(shè)備轉(zhuǎn)發(fā)延遲請(qǐng)求的通知。如果延遲請(qǐng)求或后續(xù)消息請(qǐng)求與協(xié)同效果相關(guān)的數(shù)據(jù)(框430)，則在框432，系統(tǒng)可以從本地儲(chǔ)存庫(kù)檢索相關(guān)數(shù)據(jù)，或者可以識(shí)別保存數(shù)據(jù)的遠(yuǎn)程位置。系統(tǒng)可以在rtc信道上將數(shù)據(jù)和/或位置信息轉(zhuǎn)發(fā)給請(qǐng)求設(shè)備。
200.在框434，系統(tǒng)可以接收對(duì)延遲請(qǐng)求的確認(rèn)或拒絕。如果消息是拒絕(例如，非發(fā)起客戶端在框432接收到數(shù)據(jù)并確定其不具有運(yùn)行協(xié)同效果所必需的資源或足夠最新的應(yīng)用版本)，則處理可以返回到框422，并且系統(tǒng)可以如上所述處理拒絕。如果消息是效果已經(jīng)或?qū)⒁_(kāi)始的確認(rèn)，則處理可以移交給協(xié)定轉(zhuǎn)發(fā)邏輯436(圖4b)。
201.框426-434可以一起組成延遲邏輯424。
202.轉(zhuǎn)到圖4b，協(xié)定轉(zhuǎn)發(fā)邏輯436可以在框438處可操作來(lái)傳輸非發(fā)起客戶端已經(jīng)開(kāi)始或愿意開(kāi)始協(xié)同效果的確認(rèn)。該確認(rèn)可以由網(wǎng)絡(luò)接口在rtc信道上傳輸。
203.在發(fā)起客戶端設(shè)備和非發(fā)起客戶端設(shè)備都開(kāi)始了協(xié)同效果之后，設(shè)備可以交換與協(xié)同效果相關(guān)的信息。因此，在框432，數(shù)據(jù)接收邏輯430可以接收包含與數(shù)據(jù)相關(guān)聯(lián)的api調(diào)用的消息。例如，該消息可以是數(shù)據(jù)消息，如圖2c中所描繪的數(shù)據(jù)消息。該消息可以由網(wǎng)絡(luò)接口在與發(fā)送設(shè)備相關(guān)聯(lián)的rtc信道上接收。發(fā)送設(shè)備可以是發(fā)起客戶端，也可以是非發(fā)起客戶端。處理然后可以移交給數(shù)據(jù)轉(zhuǎn)發(fā)邏輯434。
204.在框436，數(shù)據(jù)轉(zhuǎn)發(fā)邏輯434可以確定在框432接收的消息是否調(diào)用與協(xié)同協(xié)議(即，定義效果協(xié)同邏輯220和/或在系統(tǒng)中交換的消息的格式的協(xié)議)相關(guān)聯(lián)的高級(jí)預(yù)定義服務(wù)。高級(jí)服務(wù)包括可能被多種不同效果要求的常用功能，因此該常用功能通過(guò)協(xié)同活動(dòng)協(xié)議以標(biāo)準(zhǔn)化方式(典型地在通信服務(wù)器218上)實(shí)現(xiàn)。轉(zhuǎn)發(fā)邏輯434可以分析包括api調(diào)用的消息，以確定例如api調(diào)用是否與服務(wù)相關(guān)聯(lián)，或者消息是否包括與服務(wù)相關(guān)聯(lián)的預(yù)定義格式的數(shù)據(jù)。
205.如果數(shù)據(jù)轉(zhuǎn)發(fā)邏輯434確定消息調(diào)用高級(jí)服務(wù)，則在框438，系統(tǒng)可以可選地執(zhí)行與該服務(wù)相關(guān)聯(lián)的本地動(dòng)作。例如，如果高級(jí)服務(wù)涉及協(xié)商在多人游戲中哪個(gè)客戶端設(shè)備將進(jìn)行下一個(gè)回合，或者在單人游戲中哪個(gè)設(shè)備將進(jìn)行下一輪，則系統(tǒng)可以在本地選擇玩家。如果服務(wù)涉及記分，則系統(tǒng)可以查詢本地存儲(chǔ)的游戲狀態(tài)(例如，基于在框402接收的活動(dòng)數(shù)據(jù))并更新分?jǐn)?shù)。高級(jí)服務(wù)的其他示例包括讓步一個(gè)回合(通過(guò)用戶的明確動(dòng)作主動(dòng)地讓步，或者因條件的發(fā)生而被動(dòng)地讓步)、執(zhí)行領(lǐng)導(dǎo)選舉(例如，在不同設(shè)備上的游戲狀態(tài)之間存在矛盾的情況下，確定將以哪個(gè)客戶端的游戲狀態(tài)為準(zhǔn))等。
206.在某些情況下，系統(tǒng)可能無(wú)法執(zhí)行與高級(jí)服務(wù)相關(guān)的全部動(dòng)作(例如，當(dāng)系統(tǒng)沒(méi)有關(guān)于協(xié)同活動(dòng)狀態(tài)的全部必要信息時(shí))。在這種情況下，系統(tǒng)可以將消息標(biāo)記為要在接收客戶端設(shè)備上實(shí)現(xiàn)的高級(jí)服務(wù)，可以從所涉及的客戶端設(shè)備請(qǐng)求附加信息，和/或可以生成要在接收者客戶端設(shè)備上執(zhí)行的指令，以便執(zhí)行該服務(wù)。
207.在框440，系統(tǒng)可以將api調(diào)用和/或與服務(wù)相關(guān)的任何指令轉(zhuǎn)發(fā)給在框432接收的消息的接收者。
208.在框442，系統(tǒng)可以確定消息是以可靠模式還是不可靠模式發(fā)送(例如，如在框432接收的數(shù)據(jù)消息中的標(biāo)志所指定的)。如果模式是不可靠模式，則系統(tǒng)可以返回到框432并等待新的數(shù)據(jù)消息。
209.如果模式是可靠模式，則系統(tǒng)可以在框444-450等待預(yù)定的時(shí)間量，然后確定是否已經(jīng)接收到對(duì)消息的確認(rèn)。如果是，系統(tǒng)可以可選地將確認(rèn)轉(zhuǎn)發(fā)給發(fā)送客戶端(框448)。如果沒(méi)有接收到確認(rèn)，系統(tǒng)可以重傳在框440原始傳輸?shù)男畔?框450)，然后返回到框444等待另一預(yù)定時(shí)間量。如果框444-450處的循環(huán)重復(fù)超過(guò)預(yù)定的時(shí)間量或預(yù)定的迭代次數(shù)，則系統(tǒng)可以確定傳輸失敗，并且可以通知發(fā)送客戶端設(shè)備消息傳輸失敗。
210.可選地，可以關(guān)閉數(shù)據(jù)傳輸失敗的運(yùn)行的協(xié)同效果。類似地，系統(tǒng)可以從發(fā)起客戶端設(shè)備或非發(fā)起客戶端設(shè)備接收指示協(xié)同效果已經(jīng)完成(或者以其他方式在設(shè)備上終止，如果協(xié)同效果在執(zhí)行期間失敗，可能就是這種情況)的消息。在這些情況下，系統(tǒng)可以執(zhí)行關(guān)閉和清理過(guò)程，如通知運(yùn)行協(xié)同效果的其他客戶端該效果已經(jīng)終止。
211.通信系統(tǒng)概述
212.這些示例可以由本地、客戶端設(shè)備或遠(yuǎn)程(例如，遠(yuǎn)程服務(wù)器)提供的通信系統(tǒng)來(lái)實(shí)現(xiàn)。圖5a-圖5c描繪了通信系統(tǒng)的各種示例，并在下面更詳細(xì)地討論。
213.圖5a描繪了示例性集中式通信系統(tǒng)500，其中諸如上述的功能被集成到通信服務(wù)器中。集中式系統(tǒng)500可以在單個(gè)計(jì)算實(shí)體中實(shí)現(xiàn)通信服務(wù)的一些或全部結(jié)構(gòu)和/或操作，如完全在單個(gè)集中式服務(wù)器設(shè)備526內(nèi)實(shí)現(xiàn)。
214.通信系統(tǒng)500可以包括計(jì)算機(jī)實(shí)現(xiàn)的系統(tǒng)，該系統(tǒng)具有包括一個(gè)或更多個(gè)組件的軟件應(yīng)用。盡管圖5a所示的通信系統(tǒng)500具有特定拓?fù)渲械挠邢迶?shù)量的元件，但通信系統(tǒng)500可以在替代拓?fù)渲邪ǜ嗷蚋俚脑?br/>215.通信服務(wù)500通常可以被布置成接收、存儲(chǔ)和傳遞消息。通信服務(wù)500可以在諸如可以在客戶端設(shè)備510上執(zhí)行的客戶端520離線時(shí)存儲(chǔ)消息或視頻通信，并且一旦客戶端可用就傳遞消息/通信?？商娲鼗蚋郊拥兀蛻舳?20可以包括社交網(wǎng)絡(luò)功能。
216.客戶端設(shè)備510可以傳輸尋址到接收者用戶、用戶賬戶或涉及接收客戶端設(shè)備510的其他標(biāo)識(shí)符的消息。在示例性實(shí)施例中，每個(gè)客戶端設(shè)備510及其相應(yīng)的通信客戶端520與通信服務(wù)500的一個(gè)或多個(gè)特定用戶相關(guān)聯(lián)。在一些實(shí)施例中，客戶端設(shè)備510可以是諸如智能手機(jī)的蜂窩設(shè)備，并且可以基于與每個(gè)客戶端設(shè)備510相關(guān)聯(lián)的電話號(hào)碼被通信服務(wù)500識(shí)別。在一些實(shí)施例中，每個(gè)通信客戶端可以與向通信服務(wù)500注冊(cè)的用戶賬戶相關(guān)聯(lián)。一般來(lái)說(shuō)，每個(gè)通信客戶端可以通過(guò)用于接收消息的各種技術(shù)來(lái)尋址。雖然在一些實(shí)施例中，客戶端設(shè)備510可以是蜂窩設(shè)備，但是在其他實(shí)施例中，一個(gè)或更多個(gè)客戶端設(shè)備510可以是個(gè)人計(jì)算機(jī)、平板設(shè)備、任何其他形式的計(jì)算設(shè)備。
217.客戶端510可以包括一個(gè)或更多個(gè)輸入設(shè)備512和一個(gè)或更多個(gè)輸出設(shè)備518。輸入設(shè)備512可以包括例如麥克風(fēng)、鍵盤(pán)、照相機(jī)、電子筆、觸摸屏和用于接收包括消息數(shù)據(jù)、請(qǐng)求、命令、用戶界面交互、選擇和其他類型輸入的輸入的其他設(shè)備。輸出設(shè)備518可以包括揚(yáng)聲器、諸如監(jiān)視器或觸摸屏的顯示設(shè)備以及用于向通信系統(tǒng)500呈現(xiàn)界面的其他設(shè)備。
218.客戶端510可以包括存儲(chǔ)器519，存儲(chǔ)器519可以是非暫時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，如硬盤(pán)驅(qū)動(dòng)器、固態(tài)驅(qū)動(dòng)器、閃存、只讀存儲(chǔ)器或隨機(jī)存取存儲(chǔ)器中的一種或其組合。存儲(chǔ)器519可以存儲(chǔ)輸入514的表示和/或輸出516的表示、以及一個(gè)或更多個(gè)應(yīng)用。例如，存儲(chǔ)器519可以存儲(chǔ)允許用戶與社交網(wǎng)絡(luò)服務(wù)交互的通信客戶端520和/或社交網(wǎng)絡(luò)客戶端。
219.輸入514可以是文本的，如在輸入設(shè)備212是鍵盤(pán)的情況下?？商娲兀斎?14可以是音頻記錄，如在輸入設(shè)備512是麥克風(fēng)的情況下。因此，輸入514可以經(jīng)受自動(dòng)語(yǔ)音識(shí)別(asr)邏輯，以便將音頻記錄轉(zhuǎn)換成可由通信系統(tǒng)500處理的文本。asr邏輯可以位于客戶端設(shè)備510處(使得音頻記錄由客戶端510本地處理，并且對(duì)應(yīng)的文本被傳輸?shù)酵ㄐ欧?wù)器526)，或者可以遠(yuǎn)程地位于通信服務(wù)器526處(在這種情況下，音頻記錄可以被傳輸?shù)酵ㄐ欧?wù)器526，并且通信服務(wù)器526可以將音頻處理成文本)。其他組合也是可能的，例如，如果輸入設(shè)備512是觸摸板或電子筆，輸入514可以是手寫(xiě)形式，其可以經(jīng)受手寫(xiě)或光學(xué)字符識(shí)別分析邏輯，以便將輸入512轉(zhuǎn)換成可處理的文本。
220.客戶端510可以被提供有用于與網(wǎng)絡(luò)524(如互聯(lián)網(wǎng))通信的網(wǎng)絡(luò)接口522。網(wǎng)絡(luò)接口522可以以與網(wǎng)絡(luò)524兼容的格式和/或使用與網(wǎng)絡(luò)524兼容的協(xié)議來(lái)傳輸輸入512，并且可以從網(wǎng)絡(luò)524接收對(duì)應(yīng)的輸出516。
221.網(wǎng)絡(luò)接口522可以通過(guò)網(wǎng)絡(luò)524與通信服務(wù)器526通信。通信服務(wù)器526可操作來(lái)接收、存儲(chǔ)和轉(zhuǎn)發(fā)客戶端之間的通信。
222.通信服務(wù)器526可以包括網(wǎng)絡(luò)接口522、通信偏好528和通信邏輯530。通信偏好528可以包括關(guān)于一個(gè)或更多個(gè)用戶和/或消息線程的一個(gè)或更多個(gè)隱私設(shè)置或其他偏好。此外，通信偏好528可以包括本文描述的邏輯的一個(gè)或更多個(gè)設(shè)置，包括默認(rèn)設(shè)置。
223.通信邏輯530可以包括用于實(shí)現(xiàn)本發(fā)明的任何或全部上述特征的邏輯?？商娲鼗蚋郊拥?，一些或全部特征可以在客戶端510-i處實(shí)現(xiàn)，如通過(guò)被結(jié)合到諸如通信客戶端520的應(yīng)用中。
224.客戶端510和/或通信服務(wù)器526的網(wǎng)絡(luò)接口522也可以用于通過(guò)網(wǎng)絡(luò)524與app服務(wù)器540通信。app服務(wù)器可以將軟件或應(yīng)用存儲(chǔ)在app庫(kù)544中，該軟件或應(yīng)用表示可由客戶端510-i和/或通信服務(wù)器526(以及其他實(shí)體)下載的軟件。app庫(kù)544中的app可以完全或部分實(shí)現(xiàn)本文描述的實(shí)施例。在接收到下載結(jié)合示例性實(shí)施例的軟件的請(qǐng)求時(shí)，app邏輯542可以識(shí)別app庫(kù)544中的對(duì)應(yīng)app，并且可以(例如，經(jīng)由網(wǎng)絡(luò)接口)將該app提供給請(qǐng)求該軟件的實(shí)體。
225.客戶端510和/或通信服務(wù)器526的網(wǎng)絡(luò)接口522也可以用于通過(guò)網(wǎng)絡(luò)524與社交網(wǎng)絡(luò)服務(wù)器536通信。社交網(wǎng)絡(luò)服務(wù)器536可以包括定義社交網(wǎng)絡(luò)中的關(guān)連(connection)的社交網(wǎng)絡(luò)圖538或者可以與該社交網(wǎng)絡(luò)圖538交互。此外，通信服務(wù)器526可以出于各種目的(如從社交網(wǎng)絡(luò)檢索關(guān)連信息、通信歷史、事件細(xì)節(jié)等)而連接到社交網(wǎng)絡(luò)服務(wù)器536。
226.客戶端510的用戶可以是與社交網(wǎng)絡(luò)服務(wù)器536交互或通信或者通過(guò)社交網(wǎng)絡(luò)服務(wù)器536交互或通信的個(gè)人(人類用戶)、實(shí)體(例如，企業(yè)、公司或第三方應(yīng)用)或(例如，個(gè)人或?qū)嶓w的)組。社交網(wǎng)絡(luò)服務(wù)器536可以是托管在線社交網(wǎng)絡(luò)的網(wǎng)絡(luò)可尋址計(jì)算系統(tǒng)。社交網(wǎng)絡(luò)服務(wù)器536可以生成、存儲(chǔ)、接收并發(fā)送社交網(wǎng)絡(luò)數(shù)據(jù)(諸如例如，用戶簡(jiǎn)檔數(shù)據(jù)、概念簡(jiǎn)檔數(shù)據(jù)、社交圖信息或與在線社交網(wǎng)絡(luò)相關(guān)的其他合適的數(shù)據(jù))。社交網(wǎng)絡(luò)服務(wù)器536可以由網(wǎng)絡(luò)環(huán)境的其他組件直接地或經(jīng)由網(wǎng)絡(luò)524訪問(wèn)。
227.社交網(wǎng)絡(luò)服務(wù)器536可以包括授權(quán)服務(wù)器(或其他合適的組件)，授權(quán)服務(wù)器例如通過(guò)設(shè)置適當(dāng)?shù)碾[私設(shè)置來(lái)允許用戶選擇加入或選擇退出使他們的動(dòng)作由社交網(wǎng)絡(luò)服務(wù)器536記錄或者與其他系統(tǒng)(例如，諸如通信服務(wù)器526的第三方系統(tǒng))共享。用戶的隱私設(shè)置可以確定可以記錄與用戶相關(guān)聯(lián)的什么信息、可以如何記錄與用戶相關(guān)聯(lián)的信息、何時(shí)可以記錄與用戶相關(guān)聯(lián)的信息、誰(shuí)可以記錄與用戶相關(guān)聯(lián)的信息、可以與誰(shuí)共享與用戶相關(guān)聯(lián)的信息以及可以記錄或共享與用戶相關(guān)聯(lián)的信息的目的。授權(quán)服務(wù)器可用于在適當(dāng)時(shí)通過(guò)阻止、數(shù)據(jù)散列、匿名化或其他合適的技術(shù)來(lái)實(shí)施社交網(wǎng)絡(luò)服務(wù)器536的用戶的一個(gè)或更多個(gè)隱私設(shè)置。
228.更具體地，在線社交網(wǎng)絡(luò)的一個(gè)或更多個(gè)內(nèi)容對(duì)象可以與隱私設(shè)置相關(guān)聯(lián)。對(duì)象的隱私設(shè)置(或“訪問(wèn)設(shè)置”)可以以任何合適的方式——諸如例如與對(duì)象相關(guān)聯(lián)地、在授權(quán)服務(wù)器上用索引、以另一種合適的方式、或其任何組合——被存儲(chǔ)。對(duì)象的隱私設(shè)置可以指定可以如何使用在線社交網(wǎng)絡(luò)來(lái)訪問(wèn)(例如，查看或分享)對(duì)象(或與對(duì)象相關(guān)聯(lián)的特定信息)。在對(duì)象的隱私設(shè)置允許特定用戶訪問(wèn)該對(duì)象的場(chǎng)合，該對(duì)象可以被描述為相對(duì)于該用戶是“可見(jiàn)的”。作為示例而不是作為限制，在線社交網(wǎng)絡(luò)的用戶可以指定用于用戶簡(jiǎn)檔頁(yè)面的隱私設(shè)置，其識(shí)別可以訪問(wèn)用戶簡(jiǎn)檔頁(yè)面上的工作經(jīng)歷信息的用戶集合，因而排除其
他用戶訪問(wèn)該信息。在特定實(shí)施例中，隱私設(shè)置可以指定不應(yīng)當(dāng)被允許訪問(wèn)與對(duì)象相關(guān)聯(lián)的某些信息的用戶的“黑名單(blocked list)”。換句話說(shuō)，黑名單可以指定一個(gè)或更多個(gè)用戶或?qū)嶓w，對(duì)象對(duì)這些用戶或?qū)嶓w是不可見(jiàn)的。作為示例而不是作為限制，用戶可以指定不可以訪問(wèn)與用戶相關(guān)聯(lián)的相冊(cè)的用戶集合，因而排除那些用戶訪問(wèn)相冊(cè)(同時(shí)也可能允許不在該用戶集合內(nèi)的某些用戶訪問(wèn)相冊(cè))。
229.在特定實(shí)施例中，隱私設(shè)置可以與社交網(wǎng)絡(luò)圖538的特定元素相關(guān)聯(lián)。社交圖元素(例如節(jié)點(diǎn)或邊)的隱私設(shè)置可以指定可以如何使用在線社交網(wǎng)絡(luò)來(lái)訪問(wèn)社交圖元素、與社交圖元素相關(guān)聯(lián)的信息、或與社交圖元素相關(guān)聯(lián)的內(nèi)容對(duì)象。作為示例而不是作為限制，對(duì)應(yīng)于特定照片的特定概念節(jié)點(diǎn)可以具有指定照片只能由在照片中標(biāo)記的用戶及他們的朋友訪問(wèn)的隱私設(shè)置。在特定實(shí)施例中，隱私設(shè)置可以允許用戶選擇加入或選擇退出使他們的動(dòng)作由社交網(wǎng)絡(luò)服務(wù)器536記錄或者與其他系統(tǒng)共享。在特定實(shí)施例中，與對(duì)象相關(guān)聯(lián)的隱私設(shè)置可以指定允許訪問(wèn)或拒絕訪問(wèn)的任何合適的粒度。作為示例而不是作為限制，可以為特定用戶(例如，只有我、我的室友和我的老板)、在特定分離度內(nèi)的用戶(例如，朋友或朋友的朋友)、用戶組(例如，游戲俱樂(lè)部、我的家人)、用戶網(wǎng)絡(luò)(例如，特定雇主的雇員、特定大學(xué)的學(xué)生或校友)、全部用戶(“公眾”)、無(wú)用戶(“私人的”)、第三方系統(tǒng)的用戶、特定應(yīng)用(例如，第三方應(yīng)用、外部網(wǎng)站)、其他合適的用戶或?qū)嶓w、或其任何組合來(lái)指定訪問(wèn)或訪問(wèn)的拒絕。盡管本公開(kāi)描述了以特定方式使用特定隱私設(shè)置，但是本公開(kāi)設(shè)想了以任何合適的方式使用任何合適的隱私設(shè)置。
230.響應(yīng)于來(lái)自用戶(或其他實(shí)體)的對(duì)存儲(chǔ)在數(shù)據(jù)儲(chǔ)存器中的特定對(duì)象的請(qǐng)求，社交網(wǎng)絡(luò)服務(wù)器536可以向數(shù)據(jù)儲(chǔ)存器發(fā)送對(duì)該對(duì)象的請(qǐng)求。該請(qǐng)求可以識(shí)別與該請(qǐng)求相關(guān)聯(lián)的用戶。所請(qǐng)求的數(shù)據(jù)對(duì)象只有在授權(quán)服務(wù)器基于與該對(duì)象相關(guān)聯(lián)的隱私設(shè)置確定該用戶被授權(quán)訪問(wèn)該對(duì)象時(shí)才可以被發(fā)送給該用戶(或者該用戶的客戶端系統(tǒng)510)。如果請(qǐng)求用戶未被授權(quán)訪問(wèn)該對(duì)象，則授權(quán)服務(wù)器可以阻止所請(qǐng)求的對(duì)象從數(shù)據(jù)儲(chǔ)存器中被檢索，或者可以阻止所請(qǐng)求的對(duì)象被發(fā)送給用戶。在搜索查詢上下文中，只有在查詢用戶被授權(quán)訪問(wèn)對(duì)象時(shí)才可以將該對(duì)象生成為搜索結(jié)果。換句話說(shuō)，對(duì)象必須具有對(duì)查詢用戶可見(jiàn)的可見(jiàn)性。如果對(duì)象具有對(duì)用戶不可見(jiàn)的可見(jiàn)性，則可以從搜索結(jié)果中排除該對(duì)象。
231.在一些實(shí)施例中，可以出于各種目的使用定位標(biāo)準(zhǔn)(targeting criteria)來(lái)識(shí)別社交網(wǎng)絡(luò)的用戶。用于識(shí)別并定位用戶的定位標(biāo)準(zhǔn)可以包括社交網(wǎng)絡(luò)服務(wù)器536上的明確的、陳述的用戶興趣或者用戶與社交網(wǎng)絡(luò)服務(wù)器536上的節(jié)點(diǎn)、對(duì)象、實(shí)體、品牌或頁(yè)面的明確關(guān)連。另外或作為替代方案，這種定位標(biāo)準(zhǔn)可以包括隱含的或推斷的用戶興趣或關(guān)連(其可以包括分析用戶的歷史、人口統(tǒng)計(jì)、社交或其他活動(dòng)、朋友的社交或其他活動(dòng)、訂閱或(例如，基于共享的興趣、關(guān)連或事件)與用戶相似的其他用戶的任何前述內(nèi)容)。特定實(shí)施例可以利用平臺(tái)定位，這可以涉及平臺(tái)和“贊(like)”印象數(shù)據(jù)；上下文的信號(hào)(例如，“誰(shuí)現(xiàn)在在查看或最近已經(jīng)查看了可口可樂(lè)的頁(yè)面？”)；輕量級(jí)關(guān)連(例如，“簽到”)；類似關(guān)連(connection lookalike)；粉絲；提取的關(guān)鍵詞；emu廣告；推理廣告；系數(shù)、親和力或其他社交圖信息；朋友的朋友關(guān)連；鎖定(pinning)或提升(boosting)；交易；民意調(diào)查(poll)；家庭收入、社交集或組；在圖像或其他媒體中檢測(cè)到的產(chǎn)品；社交圖或開(kāi)放圖(open-graph)邊類型；地理預(yù)測(cè)；簡(jiǎn)檔或頁(yè)面的視圖；狀態(tài)更新或其他用戶帖子(對(duì)其的分析可能涉及自然語(yǔ)言處理或關(guān)鍵詞提取)；事件信息；或者協(xié)作過(guò)濾。識(shí)別并定位用戶也可以在適
當(dāng)?shù)那闆r下涉及隱私設(shè)置(諸如用戶選擇退出)、數(shù)據(jù)散列或數(shù)據(jù)匿名化。
232.圖5a中所描繪的集中式實(shí)施例可非常適合作為新系統(tǒng)或作為現(xiàn)有系統(tǒng)的升級(jí)來(lái)部署，因?yàn)橛糜趯?shí)現(xiàn)示例性實(shí)施例的邏輯被結(jié)合到通信服務(wù)器526中。相比之下，圖5b描繪了示例性分布式通信系統(tǒng)550，其中用于實(shí)現(xiàn)示例性實(shí)施例的功能是分布式的并且可從通信服務(wù)器遠(yuǎn)程訪問(wèn)。分布式通信系統(tǒng)550的示例包括客戶端-服務(wù)器架構(gòu)、3層架構(gòu)、n層架構(gòu)、緊密耦合或集架構(gòu)、對(duì)等架構(gòu)、主從架構(gòu)、共享數(shù)據(jù)庫(kù)架構(gòu)以及其他類型的分布式系統(tǒng)。
233.圖5b中描繪的許多組件與圖5a中的組件相同，并且為了簡(jiǎn)潔起見(jiàn)，這里不再重復(fù)對(duì)這些元件的描述(為了便于討論，從圖中省略了app服務(wù)器540，盡管應(yīng)當(dāng)理解，該實(shí)施例也可以采用app服務(wù)器540)。集中式實(shí)施例和分布式實(shí)施例之間的主要區(qū)別在于增加了單獨(dú)的處理服務(wù)器552，該處理服務(wù)器552托管用于實(shí)現(xiàn)示例性實(shí)施例的邏輯530。處理服務(wù)器552可以不同于通信服務(wù)器526，但是可以直接或通過(guò)網(wǎng)絡(luò)524與通信服務(wù)器526通信，以向通信服務(wù)器526提供邏輯530和邏輯534的功能。
234.圖5b所描繪的實(shí)施例可能特別適合于允許示例性實(shí)施例與現(xiàn)有的通信系統(tǒng)一起部署，例如當(dāng)替換現(xiàn)有的通信服務(wù)器很困難或不合乎需要時(shí)。另外，在一些情況下，通信服務(wù)器526可能具有有限的資源(例如，處理資源或存儲(chǔ)器資源)，這限制或排除了附加樞軸功能的添加。在這種情形中，本文描述的能力仍然可以通過(guò)單獨(dú)的處理服務(wù)器552來(lái)提供。
235.在另外其他的實(shí)施例中，邏輯532可以在客戶端510-i本地提供，例如作為通信客戶端520的一部分。在這些實(shí)施例中，每個(gè)客戶端510-i自己做出關(guān)于哪些消息屬于哪個(gè)線程、以及如何更新顯示和發(fā)出通知的確定。因此，根據(jù)本地設(shè)置，不同的客戶端510-i可以不同地顯示相同的對(duì)話(例如，相同的消息可以被分配給不同的線程，或者相似的線程可以具有不同的父級(jí)或突出顯示)。
236.圖5c示出了社交網(wǎng)絡(luò)圖538的示例。在示例性實(shí)施例中，社交網(wǎng)絡(luò)服務(wù)可以將一個(gè)或更多個(gè)社交圖538存儲(chǔ)在一個(gè)或更多個(gè)數(shù)據(jù)儲(chǔ)存器中作為經(jīng)由社交網(wǎng)絡(luò)服務(wù)的社交圖數(shù)據(jù)結(jié)構(gòu)。
237.社交圖538可以包括多個(gè)節(jié)點(diǎn)，如用戶節(jié)點(diǎn)554和概念節(jié)點(diǎn)556。社交圖228還可以包括關(guān)連節(jié)點(diǎn)的邊558。社交圖228的節(jié)點(diǎn)和邊可以作為數(shù)據(jù)對(duì)象被存儲(chǔ)在例如數(shù)據(jù)儲(chǔ)存器(如社交圖數(shù)據(jù)庫(kù))中。這種數(shù)據(jù)儲(chǔ)存器可以包括社交圖228的節(jié)點(diǎn)或邊的一個(gè)或更多個(gè)可搜索或可查詢的索引。
238.社交圖538可以由社交網(wǎng)絡(luò)服務(wù)器536、客戶端系統(tǒng)510、第三方系統(tǒng)(例如，翻譯服務(wù)器)或任何其他適用于合適應(yīng)用的經(jīng)批準(zhǔn)的系統(tǒng)或設(shè)備來(lái)訪問(wèn)。
239.用戶節(jié)點(diǎn)554可以對(duì)應(yīng)于社交網(wǎng)絡(luò)系統(tǒng)的用戶。用戶可以是與社交網(wǎng)絡(luò)系統(tǒng)交互或通信或者通過(guò)社交網(wǎng)絡(luò)系統(tǒng)交互或通信的個(gè)人(人類用戶)、實(shí)體(例如，企業(yè)、公司或第三方應(yīng)用)或(例如，個(gè)人或?qū)嶓w的)組。在示例性實(shí)施例中，當(dāng)用戶向社交網(wǎng)絡(luò)系統(tǒng)注冊(cè)賬戶時(shí)，社交網(wǎng)絡(luò)系統(tǒng)可以創(chuàng)建對(duì)應(yīng)于用戶的用戶節(jié)點(diǎn)554，并將用戶節(jié)點(diǎn)554存儲(chǔ)在一個(gè)或更多個(gè)數(shù)據(jù)儲(chǔ)存器中。本文描述的用戶和用戶節(jié)點(diǎn)554在適當(dāng)?shù)那闆r下可以指注冊(cè)的用戶和與注冊(cè)的用戶相關(guān)聯(lián)的用戶節(jié)點(diǎn)554。另外或作為替代方案，在適當(dāng)?shù)那闆r下，本文描述的用戶和用戶節(jié)點(diǎn)554可以指沒(méi)有向社交網(wǎng)絡(luò)系統(tǒng)注冊(cè)的用戶。在特定實(shí)施例中，用戶節(jié)點(diǎn)554可以與由用戶提供的信息或由各種系統(tǒng)(包括社交網(wǎng)絡(luò)系統(tǒng))收集的信息相關(guān)聯(lián)。作
為示例而不是作為限制，用戶可以提供他們的姓名、簡(jiǎn)檔圖片、聯(lián)系信息、出生日期、性別、婚姻狀況、家庭狀況、職業(yè)、教育背景、偏好、興趣或其他人口統(tǒng)計(jì)信息。在特定實(shí)施例中，用戶節(jié)點(diǎn)554可以與對(duì)應(yīng)于與用戶相關(guān)聯(lián)的信息的一個(gè)或更多個(gè)數(shù)據(jù)對(duì)象相關(guān)聯(lián)。在特定實(shí)施例中，用戶節(jié)點(diǎn)554可以對(duì)應(yīng)于一個(gè)或更多個(gè)網(wǎng)頁(yè)。用戶節(jié)點(diǎn)554可以與社交網(wǎng)絡(luò)系統(tǒng)中用戶的唯一用戶標(biāo)識(shí)符相關(guān)聯(lián)。
240.在特定實(shí)施例中，概念節(jié)點(diǎn)556可以對(duì)應(yīng)于概念。作為示例而不是作為限制，概念可以對(duì)應(yīng)于地點(diǎn)(諸如例如，電影院、餐館、地標(biāo)或城市)；網(wǎng)站(諸如例如，與社交網(wǎng)絡(luò)服務(wù)相關(guān)聯(lián)的網(wǎng)站或與web應(yīng)用服務(wù)器相關(guān)聯(lián)的第三方網(wǎng)站)；實(shí)體(諸如例如，個(gè)人、企業(yè)、組、運(yùn)動(dòng)隊(duì)或名人)；資源(諸如例如，音頻文件、視頻文件、數(shù)字照片、文本文件、結(jié)構(gòu)化文檔或應(yīng)用)，其可以位于社交網(wǎng)絡(luò)系統(tǒng)內(nèi)或外部服務(wù)器(例如web應(yīng)用服務(wù)器)上；不動(dòng)產(chǎn)或知識(shí)產(chǎn)權(quán)(諸如例如，雕塑、繪畫(huà)、電影、游戲、歌曲、想法、照片或書(shū)面作品)；游戲；活動(dòng)；想法或理論；另一個(gè)合適的概念；或者兩個(gè)或更多個(gè)這樣的概念。概念節(jié)點(diǎn)556可以與由用戶提供的概念的信息或由各種系統(tǒng)(包括社交網(wǎng)絡(luò)系統(tǒng))收集的信息相關(guān)聯(lián)。作為示例而不是作為限制，概念的信息可以包括名稱或標(biāo)題；一個(gè)或更多個(gè)圖像(例如，書(shū)籍的封面的圖像)；位置(例如，地址或地理位置)；網(wǎng)站(其可以與url相關(guān)聯(lián))；聯(lián)系信息(例如，電話號(hào)碼或地址)；其他合適的概念信息；或者這樣的信息的任何合適的組合。在特定實(shí)施例中，概念節(jié)點(diǎn)556可以與一個(gè)或更多個(gè)數(shù)據(jù)對(duì)象相關(guān)聯(lián)，該一個(gè)或更多個(gè)數(shù)據(jù)對(duì)象對(duì)應(yīng)于與概念節(jié)點(diǎn)556相關(guān)聯(lián)的信息。在特定實(shí)施例中，概念節(jié)點(diǎn)556可以對(duì)應(yīng)于一個(gè)或更多個(gè)網(wǎng)頁(yè)。
241.在特定實(shí)施例中，社交圖538中的節(jié)點(diǎn)可以表示網(wǎng)頁(yè)(其可以被稱為“簡(jiǎn)檔頁(yè)面”)或者由網(wǎng)頁(yè)表示。簡(jiǎn)檔頁(yè)面可以由社交網(wǎng)絡(luò)系統(tǒng)托管或是社交網(wǎng)絡(luò)系統(tǒng)可訪問(wèn)的。簡(jiǎn)檔頁(yè)面也可以在與第三方服務(wù)器相關(guān)聯(lián)的第三方網(wǎng)站上被托管。作為示例而不是作為限制，對(duì)應(yīng)于特定外部網(wǎng)頁(yè)的簡(jiǎn)檔頁(yè)面可以是特定外部網(wǎng)頁(yè)，并且簡(jiǎn)檔頁(yè)面可以對(duì)應(yīng)于特定概念節(jié)點(diǎn)556。簡(jiǎn)檔頁(yè)面可以由其他用戶的全部或選定子集可查看。作為示例而不是作為限制，用戶節(jié)點(diǎn)554可以具有相應(yīng)的用戶簡(jiǎn)檔頁(yè)面，其中相應(yīng)的用戶可以添加內(nèi)容、作出聲明或以其他方式表達(dá)他或她自己。企業(yè)頁(yè)面可以包括商業(yè)實(shí)體的用戶簡(jiǎn)檔頁(yè)面。作為另一示例而不是作為限制，概念節(jié)點(diǎn)556可以具有對(duì)應(yīng)的概念簡(jiǎn)檔頁(yè)面，其中一個(gè)或更多個(gè)用戶可以添加內(nèi)容、作出聲明或表達(dá)他們自己，特別是關(guān)于對(duì)應(yīng)于概念節(jié)點(diǎn)556的概念。
242.在特定實(shí)施例中，概念節(jié)點(diǎn)556可以表示由第三方系統(tǒng)托管的第三方網(wǎng)頁(yè)或資源。第三方網(wǎng)頁(yè)或資源可以包括表示動(dòng)作或活動(dòng)的內(nèi)容、可選擇的圖標(biāo)或其他圖標(biāo)或其他可交互對(duì)象(其可以例如用javascript、ajax或php代碼實(shí)現(xiàn))、以及其他元素。作為示例而不是作為限制，第三方網(wǎng)頁(yè)可以包括可選擇的圖標(biāo)(例如“贊”、“簽到(check in)”、“吃”、“推薦”)或其他合適的動(dòng)作或活動(dòng)。查看第三方網(wǎng)頁(yè)的用戶可以通過(guò)選擇圖標(biāo)之一(例如，“吃”)來(lái)執(zhí)行動(dòng)作，使客戶端系統(tǒng)向社交網(wǎng)絡(luò)系統(tǒng)發(fā)送指示用戶的動(dòng)作的消息。響應(yīng)于該消息，社交網(wǎng)絡(luò)系統(tǒng)可以在對(duì)應(yīng)于用戶的用戶節(jié)點(diǎn)554和對(duì)應(yīng)于第三方網(wǎng)頁(yè)或資源的概念節(jié)點(diǎn)556之間創(chuàng)建邊(例如，“吃”邊)，并將邊558存儲(chǔ)在一個(gè)或更多個(gè)數(shù)據(jù)儲(chǔ)存器中。
243.在特定實(shí)施例中，社交圖538中的一對(duì)節(jié)點(diǎn)可以通過(guò)一條或更多條邊558關(guān)連到彼此。關(guān)連一對(duì)節(jié)點(diǎn)的邊558可以表示在該對(duì)節(jié)點(diǎn)之間的關(guān)系。在特定實(shí)施例中，邊558可以包括或表示對(duì)應(yīng)于在一對(duì)節(jié)點(diǎn)之間的關(guān)系的一個(gè)或更多個(gè)數(shù)據(jù)對(duì)象或?qū)傩浴Ｗ鳛槭纠皇亲鳛橄拗?，第一用戶可以指示第二用戶是第一用戶的“朋友”。響?yīng)于該指示，社交網(wǎng)絡(luò)系統(tǒng)
可以向第二用戶發(fā)送“朋友請(qǐng)求”。如果第二用戶確認(rèn)“朋友請(qǐng)求”，則社交網(wǎng)絡(luò)系統(tǒng)可以在社交圖538中創(chuàng)建將第一用戶的用戶節(jié)點(diǎn)554關(guān)連到第二用戶的用戶節(jié)點(diǎn)554的邊558，并將邊558作為社交圖信息存儲(chǔ)在一個(gè)或更多個(gè)數(shù)據(jù)儲(chǔ)存器中。在圖5c的示例中，社交圖538包括指示用戶“amanda”和用戶“dorothy”的用戶節(jié)點(diǎn)554之間的朋友關(guān)系的邊558。盡管本公開(kāi)描述或示出了關(guān)連特定用戶節(jié)點(diǎn)554的具有特定屬性的特定邊558，但是本公開(kāi)設(shè)想了關(guān)連用戶節(jié)點(diǎn)554的具有任何合適屬性的任何合適的邊558。作為示例而不是作為限制，邊558可以表示友誼、家庭關(guān)系、企業(yè)或雇傭關(guān)系、粉絲關(guān)系、關(guān)注者(follower)關(guān)系、訪問(wèn)者關(guān)系、訂購(gòu)者關(guān)系、上級(jí)/下級(jí)關(guān)系、互惠關(guān)系、非互惠關(guān)系、另一種合適類型的關(guān)系、或兩種或更多種這樣的關(guān)系。此外，盡管本公開(kāi)一般將節(jié)點(diǎn)描述為被關(guān)連，但是本公開(kāi)也將用戶或概念描述為被關(guān)連。在本文，對(duì)被關(guān)連的用戶或概念的引用在適當(dāng)?shù)那闆r下可以指在社交圖538中由一條或更多條邊558關(guān)連的對(duì)應(yīng)于那些用戶或概念的節(jié)點(diǎn)。
244.在特定實(shí)施例中，在用戶節(jié)點(diǎn)554和概念節(jié)點(diǎn)556之間的邊558可以表示由與用戶節(jié)點(diǎn)554相關(guān)聯(lián)的用戶對(duì)與概念節(jié)點(diǎn)556相關(guān)聯(lián)的概念執(zhí)行的特定動(dòng)作或活動(dòng)。作為示例而不是作為限制，如圖5c所示，用戶可以“喜歡”、“參加”、“播放”、“收聽(tīng)”、“烹飪”、“工作于”或“觀看”概念，其中每個(gè)可以對(duì)應(yīng)于邊類型或子類型。對(duì)應(yīng)于概念節(jié)點(diǎn)556的概念簡(jiǎn)檔頁(yè)面可以包括例如可選擇的“簽到”圖標(biāo)(諸如例如，可點(diǎn)擊的“簽到”圖標(biāo))或可選擇的“添加到收藏夾”圖標(biāo)。類似地，在用戶點(diǎn)擊這些圖標(biāo)之后，社交網(wǎng)絡(luò)系統(tǒng)可以響應(yīng)于對(duì)應(yīng)于相應(yīng)動(dòng)作的用戶動(dòng)作來(lái)創(chuàng)建“收藏夾”邊或“簽到”邊。作為另一個(gè)示例而不是作為限制，用戶(用戶“carla”)可以使用特定的應(yīng)用(聲田(spotify)，其為在線音樂(lè)應(yīng)用)來(lái)收聽(tīng)特定的歌曲(“飄洋過(guò)海(across the sea)”)。在這種情況下，社交網(wǎng)絡(luò)系統(tǒng)可以在對(duì)應(yīng)于用戶的用戶節(jié)點(diǎn)554和對(duì)應(yīng)于歌曲和應(yīng)用的概念節(jié)點(diǎn)556之間創(chuàng)建“收聽(tīng)”邊558和“使用”邊(如圖5c所示)，以指示用戶收聽(tīng)了歌曲并使用了應(yīng)用。此外，社交網(wǎng)絡(luò)系統(tǒng)可以在對(duì)應(yīng)于歌曲和應(yīng)用的概念節(jié)點(diǎn)556之間創(chuàng)建“播放”邊558(如圖5c所示)，以指示特定的歌曲由特定的應(yīng)用播放。在這種情況下，“播放”邊558對(duì)應(yīng)于由外部應(yīng)用(聲田)對(duì)外部音頻文件(歌曲“飄洋過(guò)海”)執(zhí)行的動(dòng)作。盡管本公開(kāi)描述了關(guān)連用戶節(jié)點(diǎn)554和概念節(jié)點(diǎn)556的具有特定屬性的特定邊558，但是本公開(kāi)設(shè)想了關(guān)連用戶節(jié)點(diǎn)554和概念節(jié)點(diǎn)556的具有任何適當(dāng)屬性的任何適當(dāng)邊558。此外，盡管本公開(kāi)描述了表示單一關(guān)系的在用戶節(jié)點(diǎn)554和概念節(jié)點(diǎn)556之間的邊，但是本公開(kāi)設(shè)想了表示一個(gè)或更多個(gè)關(guān)系的在用戶節(jié)點(diǎn)554和概念節(jié)點(diǎn)556之間的邊。作為示例而不是作為限制，邊558可以表示用戶喜歡并使用了特定概念?？商娲兀硪粭l邊558可以表示用戶節(jié)點(diǎn)554和概念節(jié)點(diǎn)556之間(如圖5c所示，用戶“edwin”的用戶節(jié)點(diǎn)554和“聲田”的概念節(jié)點(diǎn)556之間)每種類型的關(guān)系(或多個(gè)單一關(guān)系)。
245.在特定實(shí)施例中，社交網(wǎng)絡(luò)系統(tǒng)可以在社交圖538中的用戶節(jié)點(diǎn)554和概念節(jié)點(diǎn)556之間創(chuàng)建邊558。作為示例而不是作為限制，(諸如例如，通過(guò)使用由用戶的客戶端系統(tǒng)托管的web瀏覽器或?qū)Ｓ脩?yīng)用)查看概念簡(jiǎn)檔頁(yè)面的用戶可以通過(guò)點(diǎn)擊或選擇“贊”圖標(biāo)來(lái)指示他或她喜歡由概念節(jié)點(diǎn)556表示的概念，這可以使用戶的客戶端系統(tǒng)向社交網(wǎng)絡(luò)系統(tǒng)發(fā)送指示用戶喜歡與概念簡(jiǎn)檔頁(yè)面相關(guān)聯(lián)的概念的消息。響應(yīng)于該消息，社交網(wǎng)絡(luò)系統(tǒng)可以在與用戶相關(guān)聯(lián)的用戶節(jié)點(diǎn)554和概念節(jié)點(diǎn)556之間創(chuàng)建邊558，如由在用戶和概念節(jié)點(diǎn)556之間的“贊”邊558所示的。在特定實(shí)施例中，社交網(wǎng)絡(luò)系統(tǒng)可以將邊558存儲(chǔ)在一個(gè)或更多個(gè)數(shù)據(jù)儲(chǔ)存器中。在特定實(shí)施例中，邊558可以由社交網(wǎng)絡(luò)系統(tǒng)響應(yīng)于特定用戶動(dòng)作而自
動(dòng)形成。作為示例而不是作為限制，如果第一用戶上傳圖片、觀看電影或收聽(tīng)歌曲，則可以在對(duì)應(yīng)于第一用戶的用戶節(jié)點(diǎn)554和對(duì)應(yīng)于那些概念的概念節(jié)點(diǎn)556之間形成邊558。盡管本公開(kāi)描述了以特定方式形成特定邊558，但是本公開(kāi)設(shè)想了以任何合適的方式形成任何合適的邊558。
246.社交圖538還可以包括多個(gè)產(chǎn)品節(jié)點(diǎn)。產(chǎn)品節(jié)點(diǎn)可以表示可能與特定企業(yè)相關(guān)聯(lián)的特定產(chǎn)品。企業(yè)可以向消費(fèi)者對(duì)企業(yè)服務(wù)提供產(chǎn)品目錄，并且消費(fèi)者對(duì)企業(yè)服務(wù)因此可以在社交圖538中的產(chǎn)品內(nèi)表示每個(gè)產(chǎn)品，其中每個(gè)產(chǎn)品在不同的產(chǎn)品節(jié)點(diǎn)中。產(chǎn)品節(jié)點(diǎn)可以包括與產(chǎn)品相關(guān)的信息，如定價(jià)信息、描述性信息、制造商信息、可用性信息和其他相關(guān)信息。例如，餐館菜單上的每個(gè)項(xiàng)目可以在社交圖538內(nèi)用描述每個(gè)項(xiàng)目的產(chǎn)品節(jié)點(diǎn)來(lái)表示。產(chǎn)品節(jié)點(diǎn)可以通過(guò)邊鏈接到提供產(chǎn)品的企業(yè)。當(dāng)多個(gè)企業(yè)提供一個(gè)產(chǎn)品時(shí)，每個(gè)企業(yè)可以有一個(gè)與其對(duì)該產(chǎn)品的提供相關(guān)聯(lián)的不同的產(chǎn)品節(jié)點(diǎn)，或者每個(gè)企業(yè)都鏈接到同一個(gè)產(chǎn)品節(jié)點(diǎn)。產(chǎn)品節(jié)點(diǎn)可以通過(guò)邊鏈接到已經(jīng)購(gòu)買、評(píng)級(jí)、擁有、推薦或查看了該產(chǎn)品的每個(gè)用戶，其中邊描述關(guān)系的性質(zhì)(例如，購(gòu)買、評(píng)級(jí)、擁有、推薦、查看或其他關(guān)系)。憑借所鏈接的商家企業(yè)，每個(gè)產(chǎn)品節(jié)點(diǎn)可以與圖形id和相關(guān)聯(lián)的商家id相關(guān)聯(lián)。因此，可以通過(guò)在社交圖538內(nèi)檢索鏈接到企業(yè)的用戶節(jié)點(diǎn)的可用產(chǎn)品節(jié)點(diǎn)，將可從企業(yè)獲得的產(chǎn)品傳送給用戶。產(chǎn)品節(jié)點(diǎn)的信息可以由社交網(wǎng)絡(luò)系統(tǒng)操縱作為產(chǎn)品對(duì)象，該產(chǎn)品對(duì)象封裝了關(guān)于被引用產(chǎn)品的信息。
247.因此，社交圖538可用于推斷社交網(wǎng)絡(luò)系統(tǒng)的兩個(gè)或更多個(gè)用戶的共享興趣、共享體驗(yàn)或其他共享或共同屬性。例如，各自具有到社交圖538中所表示的共同企業(yè)、產(chǎn)品、媒體項(xiàng)目、機(jī)構(gòu)或其他實(shí)體的邊的兩個(gè)或更多個(gè)用戶可以指示與該實(shí)體的共享關(guān)系，該共享關(guān)系可以用于建議為一個(gè)或更多個(gè)用戶定制社交網(wǎng)絡(luò)系統(tǒng)(包括消息傳遞系統(tǒng))的使用。
248.上面描述的實(shí)施例可以由消息傳遞架構(gòu)來(lái)執(zhí)行，其示例接下來(lái)將參考圖6來(lái)描述。
249.消息傳遞架構(gòu)
250.圖6示出了實(shí)現(xiàn)消息傳遞服務(wù)600的各種功能的多個(gè)服務(wù)器的實(shí)施例。將認(rèn)識(shí)到，在消息傳遞服務(wù)600的各種實(shí)施例中可以使用不同的工作和功能分布。
251.消息傳遞服務(wù)600可以包括域名前端602。域名前端602可以被分配與域名系統(tǒng)(dns)中的消息傳遞服務(wù)600相關(guān)聯(lián)的一個(gè)或更多個(gè)域名。域名前端602可以接收傳入連接，并將連接分配給提供各種消息傳遞服務(wù)的服務(wù)器。
252.消息傳遞服務(wù)602可以包括一個(gè)或更多個(gè)聊天服務(wù)器604。聊天服務(wù)器604可以包括前端服務(wù)器，用于接收和傳輸用戶到用戶的消息傳遞更新，如聊天消息。基于工作負(fù)載平衡，域名前端602可以將傳入連接分配給聊天服務(wù)器604。
253.消息傳遞服務(wù)600可以包括后端服務(wù)器608。后端服務(wù)器608可以執(zhí)行支持前端聊天服務(wù)器604的聊天操作的專門(mén)任務(wù)。可以使用多個(gè)不同類型的后端服務(wù)器608。將認(rèn)識(shí)到，多種類型的任務(wù)到不同后端服務(wù)器608的分配在不同的實(shí)施例中可以有所變化。在一些實(shí)施例中，由專用服務(wù)器提供的一些后端服務(wù)可以被組合到單個(gè)服務(wù)器或服務(wù)器集合上，每個(gè)服務(wù)器在本文描述的實(shí)施例中執(zhí)行不同服務(wù)器之間劃分的多個(gè)任務(wù)。類似地，在一些實(shí)施例中，本文描述的一些專用后端服務(wù)器的任務(wù)可以在不同服務(wù)器組的不同服務(wù)器之間劃分。
254.消息傳遞服務(wù)600可以包括一個(gè)或更多個(gè)離線存儲(chǔ)服務(wù)器610。一個(gè)或更多個(gè)離線
存儲(chǔ)服務(wù)器610可以存儲(chǔ)當(dāng)前離線消息傳遞客戶端的消息傳遞內(nèi)容，以備消息傳遞客戶端重新連接時(shí)使用。
255.消息傳遞服務(wù)600可以包括一個(gè)或更多個(gè)會(huì)話服務(wù)器612。一個(gè)或更多個(gè)會(huì)話服務(wù)器612可以維護(hù)連接的消息傳遞客戶端的會(huì)話狀態(tài)。
256.消息傳遞服務(wù)600可以包括一個(gè)或更多個(gè)存在服務(wù)器(presence server)614。一個(gè)或更多個(gè)存在服務(wù)器614可以維護(hù)消息傳遞服務(wù)600的存在信息。存在信息可以對(duì)應(yīng)于特定于用戶的信息，該信息指示給定用戶是否具有在線消息傳遞客戶端并可用于聊天、是否具有在線消息傳遞客戶端但是當(dāng)前遠(yuǎn)離它、是否沒(méi)有在線消息傳遞客戶端、以及任何其他存在狀態(tài)。
257.消息傳遞服務(wù)600可以包括一個(gè)或更多個(gè)推送存儲(chǔ)服務(wù)器616。一個(gè)或更多個(gè)推送存儲(chǔ)服務(wù)器616可以緩存推送請(qǐng)求，并將推送請(qǐng)求傳輸給消息傳遞客戶端。推送請(qǐng)求可用于喚醒消息傳遞客戶端，通知消息傳遞客戶端消息傳遞更新可用，以及以其他方式執(zhí)行服務(wù)器側(cè)驅(qū)動(dòng)的與消息傳遞客戶端的交互。
258.消息傳遞服務(wù)600可以包括一個(gè)或更多個(gè)組服務(wù)器618。一個(gè)或更多個(gè)組服務(wù)器618可以維護(hù)組列表，將用戶添加到組，從組中移除用戶，以及執(zhí)行組聊天消息的接收、緩存和轉(zhuǎn)發(fā)。
259.消息傳遞服務(wù)600可以包括一個(gè)或更多個(gè)阻止列表服務(wù)器620。一個(gè)或更多個(gè)阻止列表服務(wù)器620可以維護(hù)特定于用戶的阻止列表，特定于用戶的傳入阻止列表為每個(gè)用戶指示禁止向該用戶傳輸消息的一個(gè)或更多個(gè)其他用戶?？商娲鼗蚋郊拥兀粋€(gè)或更多個(gè)阻止列表服務(wù)器620可以維護(hù)特定于用戶的傳出阻止列表，該列表為每個(gè)用戶指示該用戶被禁止向其傳輸消息的一個(gè)或更多個(gè)其他用戶。將認(rèn)識(shí)到，傳入阻止列表和傳出阻止列表可以組合存儲(chǔ)在例如數(shù)據(jù)庫(kù)中，其中傳入阻止列表和傳出阻止列表代表同一阻止信息儲(chǔ)存庫(kù)的不同視角。
260.消息傳遞服務(wù)600可以包括一個(gè)或更多個(gè)最后看到的信息服務(wù)器622。一個(gè)或更多個(gè)最后看到的信息服務(wù)器622可以接收、存儲(chǔ)和維護(hù)指示最后看到的位置、狀態(tài)、消息傳遞客戶端、以及最后看到的用戶到消息傳遞服務(wù)600的連接的其他元素的信息。
261.消息傳遞服務(wù)600可以包括一個(gè)或更多個(gè)密鑰服務(wù)器624。一個(gè)或更多個(gè)密鑰服務(wù)器可以托管用于公鑰/私鑰加密通信的公鑰。
262.消息傳遞服務(wù)600可以包括一個(gè)或更多個(gè)簡(jiǎn)檔照片服務(wù)器626。一個(gè)或更多個(gè)簡(jiǎn)檔照片服務(wù)器626可以存儲(chǔ)消息傳遞服務(wù)600的多個(gè)用戶的簡(jiǎn)檔照片并可用于這些簡(jiǎn)檔照片的檢索。
263.消息傳遞服務(wù)600可以包括一個(gè)或更多個(gè)垃圾郵件記錄服務(wù)器628。一個(gè)或更多個(gè)垃圾郵件記錄服務(wù)器628可以記錄已知的和可疑的垃圾郵件(例如，不想要的消息，尤其是那些促銷性質(zhì)的消息)。在一些實(shí)施例中，一個(gè)或更多個(gè)垃圾郵件記錄服務(wù)器628可操作來(lái)分析消息以確定它們是否是垃圾郵件，并對(duì)可疑的垃圾郵件發(fā)送者(發(fā)送垃圾郵件消息的用戶)執(zhí)行懲罰措施。
264.消息傳遞服務(wù)600可以包括一個(gè)或更多個(gè)統(tǒng)計(jì)服務(wù)器630。一個(gè)或更多個(gè)統(tǒng)計(jì)服務(wù)器可以編譯和存儲(chǔ)與消息傳遞服務(wù)600的操作和消息傳遞服務(wù)600的用戶的行為相關(guān)的統(tǒng)計(jì)信息。
265.消息傳遞服務(wù)600可以包括一個(gè)或更多個(gè)web服務(wù)器632。一個(gè)或更多個(gè)web服務(wù)器632可以與web瀏覽器進(jìn)行超文本傳輸協(xié)議(http)連接和超文本傳輸協(xié)議安全(https)連接。
266.消息傳遞服務(wù)600可以包括一個(gè)或更多個(gè)聊天活動(dòng)監(jiān)控服務(wù)器634。一個(gè)或更多個(gè)聊天活動(dòng)監(jiān)控服務(wù)器634可以監(jiān)控用戶的聊天，以確定消息傳遞服務(wù)600的用戶的未授權(quán)或不鼓勵(lì)的行為。一個(gè)或更多個(gè)聊天活動(dòng)監(jiān)控服務(wù)器634可以與垃圾郵件記錄服務(wù)器628和阻止列表服務(wù)器620協(xié)同工作，其中一個(gè)或更多個(gè)聊天活動(dòng)監(jiān)控服務(wù)器634識(shí)別垃圾郵件或其他不鼓勵(lì)的行為，并且向垃圾郵件記錄服務(wù)器628提供垃圾郵件信息，并且在適當(dāng)?shù)那闆r下向阻止列表服務(wù)器620提供阻止信息。
267.消息傳遞服務(wù)600可以包括一個(gè)或更多個(gè)同步服務(wù)器636。一個(gè)或更多個(gè)同步服務(wù)器636可以將消息傳遞系統(tǒng)500與來(lái)自消息傳遞客戶端的聯(lián)系信息(如移動(dòng)電話上的地址簿)同步，以確定消息傳遞服務(wù)600中用戶的聯(lián)系。
268.消息傳遞服務(wù)600可以包括一個(gè)或更多個(gè)多媒體服務(wù)器638。一個(gè)或更多個(gè)多媒體服務(wù)器可以存儲(chǔ)在消息傳遞客戶端之間傳輸?shù)亩嗝襟w(例如，圖像、視頻、音頻)、為離線端點(diǎn)緩存的多媒體，并且可以執(zhí)行多媒體的代碼轉(zhuǎn)換。
269.消息傳遞服務(wù)600可以包括一個(gè)或更多個(gè)支付服務(wù)器640。一個(gè)或更多個(gè)支付服務(wù)器640可以處理來(lái)自用戶的支付。一個(gè)或更多個(gè)支付服務(wù)器640可以連接到外部第三方服務(wù)器以進(jìn)行支付。
270.消息傳遞服務(wù)600可以包括一個(gè)或更多個(gè)注冊(cè)服務(wù)器642。一個(gè)或更多個(gè)注冊(cè)服務(wù)器642可以注冊(cè)消息傳遞服務(wù)600的新用戶。
271.消息傳遞服務(wù)600可以包括一個(gè)或更多個(gè)語(yǔ)音中繼服務(wù)器644。一個(gè)或更多個(gè)語(yǔ)音中繼服務(wù)器644可以在消息傳遞客戶端之間中繼互聯(lián)網(wǎng)協(xié)議語(yǔ)音(voip)語(yǔ)音通信，以執(zhí)行voip呼叫。
272.上述方法可以體現(xiàn)為計(jì)算機(jī)可讀介質(zhì)上的指令或計(jì)算架構(gòu)的一部分。圖7示出了適于實(shí)現(xiàn)如前所述的各種實(shí)施例的示例性計(jì)算架構(gòu)700的實(shí)施例。在一個(gè)實(shí)施例中，計(jì)算架構(gòu)700可以包括電子設(shè)備(如計(jì)算機(jī)701)或作為其一部分來(lái)實(shí)現(xiàn)。實(shí)施例不限于這種上下文。
273.如本技術(shù)中所使用的，術(shù)語(yǔ)“系統(tǒng)”和“組件”旨在指代計(jì)算機(jī)相關(guān)的實(shí)體，或者是硬件、硬件和軟件的組合、軟件、或者是執(zhí)行中的軟件，它們的示例由示例性計(jì)算架構(gòu)700提供。例如，組件可以是，但不限于，運(yùn)行在處理器上的進(jìn)程、處理器、硬盤(pán)驅(qū)動(dòng)器、多個(gè)存儲(chǔ)驅(qū)動(dòng)器(光和/或磁存儲(chǔ)介質(zhì)的存儲(chǔ)驅(qū)動(dòng)器)、對(duì)象、可執(zhí)行文件、執(zhí)行線程、程序和/或計(jì)算機(jī)。舉例來(lái)說(shuō)，運(yùn)行在服務(wù)器上的應(yīng)用和服務(wù)器都可以是組件。一個(gè)或更多個(gè)組件可以駐留在進(jìn)程和/或執(zhí)行線程內(nèi)，并且一個(gè)組件可以位于一臺(tái)計(jì)算機(jī)上和/或分布在兩臺(tái)或更多臺(tái)計(jì)算機(jī)之間。此外，組件可以通過(guò)各種類型的通信介質(zhì)彼此通信地耦合，以協(xié)同操作。協(xié)同可以涉及單向或雙向的信息交換。例如，組件可以傳遞以通過(guò)通信介質(zhì)傳遞的信號(hào)的形式的信息。信息可以被實(shí)現(xiàn)為分配給各種信號(hào)線的信號(hào)。在這樣的分配中，每個(gè)消息都是一個(gè)信號(hào)。然而，另外的實(shí)施例可以替代地采用數(shù)據(jù)消息。這種數(shù)據(jù)消息可以通過(guò)各種連接發(fā)送。示例性連接包括并行接口、串行接口和總線接口。
274.計(jì)算架構(gòu)700包括各種常見(jiàn)的計(jì)算元件，如一個(gè)或更多個(gè)處理器、多核處理器、協(xié)
處理器、存儲(chǔ)器單元、芯片組、控制器、外圍設(shè)備、接口、振蕩器、定時(shí)設(shè)備、視頻卡、音頻卡、多媒體輸入/輸出(i/o)組件、電源等。然而，實(shí)施例不限于由計(jì)算架構(gòu)700實(shí)現(xiàn)。
275.如圖7所示，計(jì)算架構(gòu)700包括處理單元702、系統(tǒng)存儲(chǔ)器704和系統(tǒng)總線706。處理單元702可以是各種市場(chǎng)上可買到的處理器中的任何一種，包括但不限于和處理器；應(yīng)用、嵌入式和安全處理器；和和處理器；ibm和單元處理器；core(2)core(2)和處理器；以及類似的處理器。雙微處理器、多核處理器和其他多處理器架構(gòu)也可以用作處理單元702。
276.系統(tǒng)總線706提供系統(tǒng)組件(包括但不限于系統(tǒng)存儲(chǔ)器704)到處理單元702的接口。系統(tǒng)總線706可以是幾種類型總線結(jié)構(gòu)中的任何一種，其還可以使用各種商業(yè)上可獲得的總線架構(gòu)中的任何一種互連到存儲(chǔ)器總線(具有或不具有存儲(chǔ)器控制器)、外圍總線和本地總線。接口適配器可以經(jīng)由插槽架構(gòu)連接到系統(tǒng)總線706。示例插槽架構(gòu)可以包括但不限于加速圖形端口(agp)、卡總線、(擴(kuò)展的)工業(yè)標(biāo)準(zhǔn)架構(gòu)((e)isa)、道架構(gòu)(mca)、nubus、外圍組件互連(擴(kuò)展的)(pci(x))、pci express、個(gè)人計(jì)算機(jī)存儲(chǔ)卡國(guó)際協(xié)會(huì)(pcmcia)，等等。
277.計(jì)算架構(gòu)700可以包括或?qū)崿F(xiàn)各種制品。一種制品可以包括存儲(chǔ)邏輯的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)的示例可以包括能夠存儲(chǔ)電子數(shù)據(jù)的任何有形介質(zhì)，包括易失性存儲(chǔ)器或非易失性存儲(chǔ)器、可移動(dòng)或不可移動(dòng)存儲(chǔ)器、可擦除或不可擦除存儲(chǔ)器、可寫(xiě)或可重寫(xiě)存儲(chǔ)器，等等。邏輯的示例可以包括使用任何合適類型的代碼實(shí)現(xiàn)的可執(zhí)行計(jì)算機(jī)程序指令，代碼諸如源代碼、編譯代碼、解釋代碼、可執(zhí)行代碼、靜態(tài)代碼、動(dòng)態(tài)代碼、面向?qū)ο蟠a、可視代碼，等等。實(shí)施例還可以至少部分地實(shí)現(xiàn)為包含在非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)中或其上的指令，這些指令可以被一個(gè)或更多個(gè)處理器讀取和執(zhí)行，以實(shí)現(xiàn)本文描述的操作的執(zhí)行。
278.系統(tǒng)存儲(chǔ)器704可以包括一個(gè)或更多個(gè)高速存儲(chǔ)器單元形式的各種類型的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，如只讀存儲(chǔ)器(rom)、隨機(jī)存取存儲(chǔ)器(ram)、動(dòng)態(tài)ram(dram)、雙數(shù)據(jù)速率dram(ddram)、同步dram(sdram)、靜態(tài)ram(sram)、可編程rom(prom)、可擦除可編程rom(eprom)、電可擦除可編程rom(eeprom)、閃存、聚合物存儲(chǔ)器(如鐵電聚合物存儲(chǔ)器)、雙向(ovonic)存儲(chǔ)器、相變或鐵電存儲(chǔ)器、硅-氧化物-氮化物-氧化物-硅(sonos)存儲(chǔ)器、磁卡或光卡、設(shè)備陣列(如獨(dú)立磁盤(pán)冗余陣列(raid)驅(qū)動(dòng)器)、固態(tài)存儲(chǔ)器設(shè)備(例如，usb存儲(chǔ)器、固態(tài)驅(qū)動(dòng)器(ssd))、以及適于存儲(chǔ)信息的任何其他類型的存儲(chǔ)介質(zhì)。在圖7所示的圖示實(shí)施例中，系統(tǒng)存儲(chǔ)器704可以包括非易失性存儲(chǔ)器708和/或易失性存儲(chǔ)器710?；据斎?輸出系統(tǒng)(bios)可以存儲(chǔ)在非易失性存儲(chǔ)器708中。
279.計(jì)算架構(gòu)700可以包括以一個(gè)或更多個(gè)低速存儲(chǔ)器單元形式的各種類型的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，包括內(nèi)部(或外部)硬盤(pán)驅(qū)動(dòng)器(hdd)712、從可移動(dòng)磁盤(pán)716讀取或向其寫(xiě)入的磁軟盤(pán)驅(qū)動(dòng)器(fdd)714、以及從可移動(dòng)光盤(pán)720(例如，cd-rom或dvd)讀取或向其寫(xiě)入的光盤(pán)驅(qū)動(dòng)器718。hdd 712、fdd 714和光盤(pán)驅(qū)動(dòng)器720可以分別通過(guò)hdd接口722、fdd接口724和光盤(pán)驅(qū)動(dòng)器接口726連接到系統(tǒng)總線706。用于外部驅(qū)動(dòng)器實(shí)現(xiàn)的hdd接口722可以包括通
用串行總線(usb)和ieee 694接口技術(shù)中的至少一種或兩種。
280.驅(qū)動(dòng)器和相關(guān)聯(lián)的計(jì)算機(jī)可讀介質(zhì)提供數(shù)據(jù)、數(shù)據(jù)結(jié)構(gòu)、計(jì)算機(jī)可執(zhí)行指令等的易失性和/或非易失性存儲(chǔ)。例如，多個(gè)程序模塊(包括操作系統(tǒng)728、一個(gè)或更多個(gè)應(yīng)用程序730、其他程序模塊732和程序數(shù)據(jù)734)可以存儲(chǔ)在驅(qū)動(dòng)器和存儲(chǔ)器單元708、712中。在一個(gè)實(shí)施例中，一個(gè)或更多個(gè)應(yīng)用程序730、其他程序模塊732和程序數(shù)據(jù)734可以包括例如消息傳遞系統(tǒng)500的各種應(yīng)用和/或組件。
281.用戶可以通過(guò)一個(gè)或更多個(gè)有線/無(wú)線輸入設(shè)備——例如，鍵盤(pán)736和諸如鼠標(biāo)738的指向設(shè)備——向計(jì)算機(jī)701輸入命令和信息。其他輸入設(shè)備可以包括麥克風(fēng)、紅外(ir)遙控器、射頻(rf)遙控器、游戲墊、手寫(xiě)筆、讀卡器、加密鎖、指紋讀取器、手套、圖形輸入板、操縱桿、鍵盤(pán)、視網(wǎng)膜讀取器、觸摸屏(例如電容性、電阻性等)、軌跡球、跟蹤板、傳感器、觸控筆，等等。這些和其他輸入設(shè)備通常通過(guò)耦合到系統(tǒng)總線706的輸入設(shè)備接口740連接到處理單元702，但是也可以通過(guò)其他接口連接，如并行端口、ieee 694串行端口、游戲端口、usb端口、ir接口，等等。
282.監(jiān)視器742或其他類型的顯示設(shè)備也經(jīng)由諸如視頻適配器744的接口連接到系統(tǒng)總線706。監(jiān)視器742可以在計(jì)算機(jī)701的內(nèi)部或外部。除了監(jiān)視器742，計(jì)算機(jī)通常還包括其他外圍輸出設(shè)備，如揚(yáng)聲器、打印機(jī)，等等。
283.計(jì)算機(jī)701可以使用經(jīng)由到一個(gè)或更多個(gè)遠(yuǎn)程計(jì)算機(jī)(如遠(yuǎn)程計(jì)算機(jī)744)的有線和/或無(wú)線通信的邏輯連接在網(wǎng)絡(luò)化環(huán)境中操作。遠(yuǎn)程計(jì)算機(jī)744可以是工作站、服務(wù)器計(jì)算機(jī)、路由器、個(gè)人計(jì)算機(jī)、便攜式計(jì)算機(jī)、基于微處理器的娛樂(lè)設(shè)備、對(duì)等設(shè)備或其他公共網(wǎng)絡(luò)節(jié)點(diǎn)，并且典型地包括相對(duì)于計(jì)算機(jī)701描述的許多或全部元件，盡管為了簡(jiǎn)潔起見(jiàn)，僅示出了存儲(chǔ)器/存儲(chǔ)設(shè)備746。所描繪的邏輯連接包括到局域網(wǎng)(lan)748和/或更大網(wǎng)絡(luò)(例如，廣域網(wǎng)(wan)750)的有線/無(wú)線連接。這種lan和w絡(luò)環(huán)境在辦公室和公司中是常見(jiàn)的，并且有利于企業(yè)范圍的計(jì)算機(jī)網(wǎng)絡(luò)，如內(nèi)部網(wǎng)，全部這些網(wǎng)絡(luò)都可以連接到全球通信網(wǎng)絡(luò)，例如，互聯(lián)網(wǎng)。
284.當(dāng)在l絡(luò)環(huán)境中使用時(shí)，計(jì)算機(jī)701通過(guò)有線和/或無(wú)線通信網(wǎng)絡(luò)接口或適配器752連接到lan 748。適配器752可以促進(jìn)到lan 748的有線和/或無(wú)線通信，lan 748也可以包括設(shè)置在其上的無(wú)線接入點(diǎn)，用于與適配器752的無(wú)線功能通信。
285.當(dāng)在w絡(luò)環(huán)境中使用時(shí)，計(jì)算機(jī)701可以包括調(diào)制解調(diào)器754，或者連接到wan 750上的通信服務(wù)器，或者具有用于通過(guò)wan 750(如通過(guò)互聯(lián)網(wǎng))建立通信的其他裝置。調(diào)制解調(diào)器754——其可以是內(nèi)置或外置的有線和/或無(wú)線設(shè)備——經(jīng)由輸入設(shè)備接口740連接到系統(tǒng)總線706。在網(wǎng)絡(luò)化環(huán)境中，相對(duì)于計(jì)算機(jī)701描繪的程序模塊或其部分可以存儲(chǔ)在遠(yuǎn)程存儲(chǔ)器/存儲(chǔ)設(shè)備746中。將認(rèn)識(shí)到，所示的網(wǎng)絡(luò)連接是示例性的，并且可以使用在計(jì)算機(jī)之間建立通信鏈路的其他裝置。
286.計(jì)算機(jī)701可操作來(lái)使用ieee 802標(biāo)準(zhǔn)系列與有線和無(wú)線設(shè)備或?qū)嶓w通信，如在無(wú)線通信中可操作地設(shè)置的無(wú)線設(shè)備(例如，ieee 802.13空中調(diào)制技術(shù))。這至少包括wi-fi(或無(wú)線保真)、wimax和藍(lán)牙
tm
無(wú)線技術(shù)、以及其他技術(shù)。因此，通信可以是與常規(guī)網(wǎng)絡(luò)一樣的預(yù)定義結(jié)構(gòu)，或者僅僅是至少兩個(gè)設(shè)備之間的自組織通信。wi-fi網(wǎng)絡(luò)使用被稱為ieee 802.13x(a、b、g、n等)的無(wú)線電技術(shù)，以提供安全、可靠、快速的無(wú)線連接。wi-fi網(wǎng)絡(luò)可用于將計(jì)算機(jī)相互連接、連接到互聯(lián)網(wǎng)、以及連接到有線網(wǎng)絡(luò)(其使用與ieee 802.3相關(guān)的媒體
和功能)。
287.圖8是描繪適于實(shí)現(xiàn)如前所述的各種實(shí)施例的示例性通信架構(gòu)800的框圖。通信架構(gòu)800包括各種常見(jiàn)的通信元件，如發(fā)射機(jī)、接收機(jī)、收發(fā)機(jī)、無(wú)線電、網(wǎng)絡(luò)接口、基帶處理器、天線、放大器、濾波器、電源等等。然而，實(shí)施例不限于由通信架構(gòu)800實(shí)現(xiàn)。
288.如圖8所示，通信架構(gòu)800包括一個(gè)或更多個(gè)客戶端802和服務(wù)器804?？蛻舳?02可以實(shí)現(xiàn)客戶端設(shè)備510。服務(wù)器804可以實(shí)現(xiàn)服務(wù)器設(shè)備526?？蛻舳?02和服務(wù)器804可操作地連接到一個(gè)或更多個(gè)相應(yīng)的客戶端數(shù)據(jù)儲(chǔ)存器806和服務(wù)器數(shù)據(jù)儲(chǔ)存器808，客戶端數(shù)據(jù)儲(chǔ)存器806和服務(wù)器數(shù)據(jù)儲(chǔ)存器808可用于存儲(chǔ)相應(yīng)客戶端802和服務(wù)器804本地的信息，如cookies和/或相關(guān)聯(lián)的上下文信息。
289.客戶端802和服務(wù)器804可以使用通信框架810在彼此之間傳送信息。通信框架810可以實(shí)現(xiàn)任何公知的通信技術(shù)和協(xié)議。通信框架810可以被實(shí)現(xiàn)為分組交換網(wǎng)絡(luò)(例如，諸如互聯(lián)網(wǎng)的公共網(wǎng)絡(luò)、諸如企業(yè)內(nèi)部網(wǎng)的專用網(wǎng)絡(luò)等)、電路交換網(wǎng)絡(luò)(例如，公共交換電話網(wǎng)絡(luò))、或者分組交換網(wǎng)絡(luò)和電路交換網(wǎng)絡(luò)的組合(具有合適的網(wǎng)關(guān)和轉(zhuǎn)換器)。
290.通信框架810可以實(shí)現(xiàn)各種網(wǎng)絡(luò)接口，這些網(wǎng)絡(luò)接口被布置成接受、傳送通信網(wǎng)絡(luò)、和連接到通信網(wǎng)絡(luò)。網(wǎng)絡(luò)接口可以被認(rèn)為是輸入輸出接口的一種特殊形式。網(wǎng)絡(luò)接口可以采用連接協(xié)議，包括但不限于直接連接、以太網(wǎng)(例如，粗、細(xì)、雙絞線10/100/1000base t等)、令牌環(huán)、無(wú)線網(wǎng)絡(luò)接口、蜂窩網(wǎng)絡(luò)接口、ieee 802.8a-x網(wǎng)絡(luò)接口、ieee 802.16網(wǎng)絡(luò)接口、ieee 802.20網(wǎng)絡(luò)接口，等等。此外，可以使用多個(gè)網(wǎng)絡(luò)接口來(lái)與各種通信網(wǎng)絡(luò)類型接合。例如，可以采用多個(gè)網(wǎng)絡(luò)接口來(lái)允許通過(guò)廣播、多播和單播網(wǎng)絡(luò)進(jìn)行通信。如果處理要求規(guī)定了更大的速度和容量，則分布式網(wǎng)絡(luò)控制器架構(gòu)可以類似地被用于池化、負(fù)載平衡以及以其他方式增加客戶端802和服務(wù)器804所需的通信帶寬。通信網(wǎng)絡(luò)可以是有線和/或無(wú)線網(wǎng)絡(luò)中的任何一個(gè)和組合，網(wǎng)絡(luò)包括但不限于直接互連、安全定制連接、專用網(wǎng)絡(luò)(例如，企業(yè)內(nèi)部網(wǎng))、公共網(wǎng)絡(luò)(例如，互聯(lián)網(wǎng))、個(gè)人區(qū)域網(wǎng)(pan)、局域網(wǎng)(lan)、城域網(wǎng)(man)、作為互聯(lián)網(wǎng)上節(jié)點(diǎn)的操作任務(wù)(omni)、廣域網(wǎng)(wan)、無(wú)線網(wǎng)絡(luò)、蜂窩網(wǎng)絡(luò)和其他通信網(wǎng)絡(luò)。
291.圖9示出了用于多載波ofdm系統(tǒng)(如消息傳遞系統(tǒng)500)的設(shè)備900的實(shí)施例。設(shè)備900可以實(shí)現(xiàn)例如軟件組件902，如參考消息傳遞組件邏輯600、意圖確定邏輯700和組選擇邏輯800所描述的。設(shè)備900也可以實(shí)現(xiàn)邏輯電路904。邏輯電路904可以包括物理電路，以執(zhí)行針對(duì)消息傳遞系統(tǒng)600所描述的操作。如圖9所示，設(shè)備900可以包括無(wú)線電接口906、基帶電路908和計(jì)算平臺(tái)910，盡管實(shí)施例不限于這種配置。
292.設(shè)備900可以在單個(gè)計(jì)算實(shí)體中(如完全在單個(gè)設(shè)備內(nèi))實(shí)現(xiàn)消息傳遞系統(tǒng)500和/或邏輯電路904的一些或全部結(jié)構(gòu)和/或操作。可替代地，設(shè)備900可以使用分布式系統(tǒng)架構(gòu)(如客戶端-服務(wù)器架構(gòu)、3層架構(gòu)、n層架構(gòu)、緊密耦合或集架構(gòu)、對(duì)等架構(gòu)、主從架構(gòu)、共享數(shù)據(jù)庫(kù)架構(gòu)以及其他類型的分布式系統(tǒng))在多個(gè)計(jì)算實(shí)體之間分布消息傳遞系統(tǒng)600和/或邏輯電路904的部分結(jié)構(gòu)和/或操作。實(shí)施例不限于這種上下文。
293.在一個(gè)實(shí)施例中，無(wú)線電接口906可以包括適于傳輸和/或接收單載波或多載波調(diào)制信號(hào)(例如，包括互補(bǔ)碼鍵控(cck)和/或正交頻分復(fù)用(ofdm)符號(hào))的組件或組件的組合，盡管實(shí)施例不限于任何特定的空中接口或調(diào)制方案。無(wú)線電接口906可以包括例如接收機(jī)912、發(fā)射機(jī)914和/或頻率合成器916。無(wú)線電接口906可以包括偏置控件、晶體振蕩器和/或一個(gè)或更多個(gè)天線918。在另一個(gè)實(shí)施例中，無(wú)線電接口906可以根據(jù)需要使用外部壓控
振蕩器(vco)、表面聲波濾波器、中頻(if)濾波器和/或rf濾波器。由于潛在rf接口設(shè)計(jì)的多樣性，省略了對(duì)其的擴(kuò)展描述。
294.基帶電路908可以與無(wú)線電接口906通信以處理接收和/或傳輸信號(hào)，并且可以包括例如用于下變頻接收信號(hào)的模數(shù)轉(zhuǎn)換器920和用于上變頻信號(hào)以進(jìn)行傳輸?shù)臄?shù)模轉(zhuǎn)換器922。此外，基帶電路908可以包括基帶或物理層(phy)處理電路924，用于相應(yīng)接收/傳輸信號(hào)的phy鏈路層處理。基帶電路908可以包括例如用于媒體訪問(wèn)控制(mac)/數(shù)據(jù)鏈路層處理的處理電路926?；鶐щ娐?08可以包括存儲(chǔ)器控制器928，用于例如經(jīng)由一個(gè)或更多個(gè)接口930與處理電路926和/或計(jì)算平臺(tái)910通信。
295.在一些實(shí)施例中，phy處理電路924可以包括與諸如緩沖存儲(chǔ)器的附加電路組合的幀構(gòu)造和/或檢測(cè)模塊，以構(gòu)造和/或解構(gòu)通信幀，如無(wú)線電幀。可替代地或附加地，mac處理電路926可以共享這些功能中某些功能的處理，或者獨(dú)立于phy處理電路924執(zhí)行這些處理。在一些實(shí)施例中，可以將mac和phy處理集成到單個(gè)電路中。
296.計(jì)算平臺(tái)910可以為設(shè)備900提供計(jì)算功能。如圖所示，計(jì)算平臺(tái)910可以包括處理組件932。除了基帶電路908，或者作為基帶電路908的替代，設(shè)備900可以使用處理組件932來(lái)執(zhí)行消息傳遞系統(tǒng)500和邏輯電路904的處理操作或邏輯。處理組件932(和/或phy 924和/或mac 926)可以包括各種硬件元件、軟件元件或兩者的組合。硬件元件的示例可以包括設(shè)備、邏輯設(shè)備、組件、處理器、微處理器、電路、處理器電路、電路元件(例如，晶體管、電阻器、電容器、電感器，等等)、集成電路、專用集成電路(asic)、可編程邏輯設(shè)備(pld)、數(shù)字信號(hào)處理器(dsp)、現(xiàn)場(chǎng)可編程門(mén)陣列(fpga)、存儲(chǔ)器單元、邏輯門(mén)、寄存器、半導(dǎo)體設(shè)備、芯片、微芯片、芯片組等。軟件元件的示例可以包括軟件組件、程序、應(yīng)用、計(jì)算機(jī)程序、應(yīng)用程序、系統(tǒng)程序、軟件開(kāi)發(fā)程序、機(jī)器程序、操作系統(tǒng)軟件、中間件、固件、軟件模塊、例程、子例程、功能、方法、過(guò)程、軟件接口、應(yīng)用程序接口(api)、指令集、計(jì)算代碼、計(jì)算機(jī)代碼、代碼段、計(jì)算機(jī)代碼段、字、值、符號(hào)或其任意組合。確定實(shí)施例是否使用硬件元件和/或軟件元件來(lái)實(shí)現(xiàn)可以根據(jù)任意數(shù)量的因素而變化，如所需的計(jì)算速率、功率水平、耐熱性、處理周期預(yù)算、輸入數(shù)據(jù)速率、輸出數(shù)據(jù)速率、存儲(chǔ)器資源、數(shù)據(jù)總線速度和如給定實(shí)現(xiàn)所需的其他設(shè)計(jì)或性能約束。
297.計(jì)算平臺(tái)910還可以包括其他平臺(tái)組件934。其他平臺(tái)組件934包括常用計(jì)算元件，如一個(gè)或更多個(gè)處理器、多核處理器、協(xié)處理器、存儲(chǔ)器單元、芯片組、控制器、外圍設(shè)備、接口、振蕩器、定時(shí)設(shè)備、視頻卡、音頻卡、多媒體輸入/輸出(i/o)組件(例如，數(shù)字顯示器)、電源等。存儲(chǔ)器單元的示例可以包括但不限于一個(gè)或更多個(gè)高速存儲(chǔ)器單元形式的各種類型的計(jì)算機(jī)可讀和機(jī)器可讀存儲(chǔ)介質(zhì)，如只讀存儲(chǔ)器(rom)、隨機(jī)存取存儲(chǔ)器(ram)、動(dòng)態(tài)ram(dram)、雙數(shù)據(jù)速率dram(ddram)、同步dram(sdram)、靜態(tài)ram(sram)、可編程rom(prom)、可擦除可編程rom(eprom)、電可擦除可編程rom(eeprom)、閃存、聚合物存儲(chǔ)器(如鐵電聚合物存儲(chǔ)器)、雙向存儲(chǔ)器、相變或鐵電存儲(chǔ)器、硅-氧化物-氮化物-氧化物-硅(sonos)存儲(chǔ)器、磁卡或光卡、設(shè)備陣列(如獨(dú)立磁盤(pán)冗余陣列(raid)驅(qū)動(dòng)器)、固態(tài)存儲(chǔ)器設(shè)備(例如，usb存儲(chǔ)器、固態(tài)驅(qū)動(dòng)器(ssd))、以及適于存儲(chǔ)信息的任何其他類型的存儲(chǔ)介質(zhì)。
298.設(shè)備900可以是例如超移動(dòng)設(shè)備、移動(dòng)設(shè)備、固定設(shè)備、機(jī)器對(duì)機(jī)器(m2m)設(shè)備、個(gè)人數(shù)字助理(pda)、移動(dòng)計(jì)算設(shè)備、智能電話、電話、數(shù)字電話、蜂窩電話、用戶裝備、電子書(shū)閱讀器、手持式裝置、單向?qū)ず魴C(jī)、雙向?qū)ず魴C(jī)、消息傳遞設(shè)備、計(jì)算機(jī)、個(gè)人計(jì)算機(jī)(pc)、臺(tái)
式計(jì)算機(jī)、膝上型計(jì)算機(jī)、筆記本計(jì)算機(jī)、上網(wǎng)本計(jì)算機(jī)、手持計(jì)算機(jī)、平板計(jì)算機(jī)、服務(wù)器、服務(wù)器陣列或服務(wù)器(server farm)、web服務(wù)器、網(wǎng)絡(luò)服務(wù)器、互聯(lián)網(wǎng)服務(wù)器、工作站、微型計(jì)算機(jī)、主框架計(jì)算機(jī)、超級(jí)計(jì)算機(jī)、網(wǎng)絡(luò)設(shè)備、web設(shè)備、分布式計(jì)算系統(tǒng)、多處理器系統(tǒng)、基于處理器的系統(tǒng)、消費(fèi)者電子產(chǎn)品、可編程消費(fèi)者電子產(chǎn)品、游戲設(shè)備、電視、數(shù)字電視、機(jī)頂盒、無(wú)線接入點(diǎn)、、節(jié)點(diǎn)b、演進(jìn)節(jié)點(diǎn)b(enb)、訂戶站、移動(dòng)訂戶中心、無(wú)線電網(wǎng)絡(luò)控制器、路由器、集線器、網(wǎng)關(guān)、網(wǎng)橋、交換機(jī)、機(jī)器或其組合。因此，根據(jù)合適的需要，本文描述的設(shè)備900的功能和/或特定配置可以被包括在設(shè)備900的各種實(shí)施例中，或者在設(shè)備900的各種實(shí)施例中被省略。在一些實(shí)施例中，設(shè)備900可以被配置成與一些協(xié)議和頻率兼容，這些協(xié)議和頻率與用于本文所引用的wman和/或其他寬帶無(wú)線網(wǎng)絡(luò)的3gpp lte規(guī)范和/或ieee 1402.16標(biāo)準(zhǔn)中的一個(gè)或更多個(gè)相關(guān)聯(lián)，盡管實(shí)施例在這方面不受限制。
299.設(shè)備900的實(shí)施例可以使用單輸入單輸出(siso)架構(gòu)來(lái)實(shí)現(xiàn)。然而，某些實(shí)現(xiàn)可以包括使用用于波束成形或空分多址(sdma)的自適應(yīng)天線技術(shù)和/或使用mimo通信技術(shù)進(jìn)行傳輸和/或接收的多個(gè)天線(例如，天線918)。
300.設(shè)備900的組件和特征可以使用分立電路、專用集成電路(asic)、邏輯門(mén)和/或單芯片架構(gòu)的任意組合來(lái)實(shí)現(xiàn)。此外，在適當(dāng)?shù)那闆r下，可以使用微控制器、可編程邏輯陣列和/或微處理器或前述的任意組合來(lái)實(shí)現(xiàn)設(shè)備900的特征。注意，硬件、固件和/或軟件元件在本文可以統(tǒng)稱或單獨(dú)稱為“邏輯”或“電路”。
301.將認(rèn)識(shí)到，圖9的框圖中所示的示例性設(shè)備900可以表示許多潛在實(shí)現(xiàn)的一個(gè)功能描述性示例。因此，附圖中描繪的塊功能的劃分、省略或包含并不意味著用于實(shí)現(xiàn)這些功能的硬件組件、電路、軟件和/或元件必須在實(shí)施例中被劃分、省略或包含。
302.至少一個(gè)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)936可以包括指令，這些指令在被執(zhí)行時(shí)使得系統(tǒng)執(zhí)行本文描述的任何計(jì)算機(jī)實(shí)現(xiàn)的方法。
303.術(shù)語(yǔ)的一般性說(shuō)明
304.一些實(shí)施例可以使用表達(dá)“一個(gè)實(shí)施例”或“實(shí)施例”及其派生詞來(lái)描述。這些術(shù)語(yǔ)意味著結(jié)合實(shí)施例描述的特定特征、結(jié)構(gòu)或特性被包括在至少一個(gè)實(shí)施例中。說(shuō)明書(shū)中不同地方出現(xiàn)的短語(yǔ)“在一個(gè)實(shí)施例中”不一定都指同一實(shí)施例。此外，除非另有說(shuō)明，上述特征被認(rèn)為可以以任何組合一起使用。因此，單獨(dú)討論的任何特征可以彼此組合使用，除非注意到這些特征彼此不兼容。
305.總體參考本文使用的符號(hào)和術(shù)語(yǔ)，本文的詳細(xì)描述可以按照在計(jì)算機(jī)或計(jì)算機(jī)網(wǎng)絡(luò)上執(zhí)行的程序過(guò)程來(lái)呈現(xiàn)。這些過(guò)程描述和表示由本領(lǐng)域技術(shù)人員用來(lái)最有效地將他們工作的實(shí)質(zhì)傳達(dá)給本領(lǐng)域中的其他技術(shù)人員。
306.過(guò)程在這里且通常被設(shè)想為導(dǎo)致期望結(jié)果的操作的前后一致的序列。這些操作是需要物理量的物理操縱的那些操作。通常，盡管不是必須地，但這些量采取能夠被存儲(chǔ)、傳輸、組合、比較和以其他方式操縱的電信號(hào)、磁信號(hào)或光信號(hào)的形式。主要由于常用的原因，將這些信號(hào)稱為位、值、元素、符號(hào)、字符、項(xiàng)、數(shù)字等有時(shí)被證明是方便的。然而，應(yīng)該注意的是，全部這些和類似的術(shù)語(yǔ)都與適當(dāng)?shù)奈锢砹肯嚓P(guān)聯(lián)，并且僅僅是應(yīng)用于這些量的方便標(biāo)簽。
307.此外，所執(zhí)行的操縱通常在術(shù)語(yǔ)方面被稱為例如相加或比較，它們通常與由人類操作員執(zhí)行的心理運(yùn)算相關(guān)聯(lián)。在形成一個(gè)或更多個(gè)實(shí)施例的一部分的本文所描述的任何
操作中，人類操作員的這種能力不是必需的，或者在大多數(shù)情況下是不期望的。相反，操作是機(jī)器操作。用于執(zhí)行各種實(shí)施例的操作的有用機(jī)器包括通用數(shù)字計(jì)算機(jī)或類似設(shè)備。
308.一些實(shí)施例可以使用表達(dá)“耦合”和“連接”以及它們的派生詞來(lái)描述。這些術(shù)語(yǔ)不一定旨在是彼此的同義詞。例如，可以使用術(shù)語(yǔ)“連接”和/或“耦合”來(lái)描述一些實(shí)施例，以指示兩個(gè)或更多個(gè)元件彼此直接物理接觸或電接觸。然而，術(shù)語(yǔ)“耦合”也可以意味著兩個(gè)或更多個(gè)元件彼此不直接接觸，但是仍然彼此合作或相互作用。
309.各種實(shí)施例還涉及用于執(zhí)行這些操作的裝置或系統(tǒng)。該裝置可以被特別構(gòu)造成用于所需的目的，或者它可以包括由存儲(chǔ)在計(jì)算機(jī)中的計(jì)算機(jī)程序選擇性地激活或重新配置的通用計(jì)算機(jī)。本文呈現(xiàn)的過(guò)程并不固有地與特定的計(jì)算機(jī)或其他裝置相關(guān)。各種通用機(jī)器可以與根據(jù)本文的教導(dǎo)編寫(xiě)的程序一起使用，或者可以證明構(gòu)造更專用的裝置來(lái)執(zhí)行所需的方法步驟是方便的。各種這些機(jī)器所需的結(jié)構(gòu)將從給出的描述中顯現(xiàn)出來(lái)。
310.需要強(qiáng)調(diào)的是，提供本公開(kāi)的摘要是為了允許讀者快速確定技術(shù)公開(kāi)的性質(zhì)。摘要按照這樣的理解進(jìn)行提交，即它將不用于解釋或限制權(quán)利要求的范圍或含義。此外，在前面的詳細(xì)描述中，可以看出，為了簡(jiǎn)化本公開(kāi)，在單個(gè)實(shí)施例中將各種特征組合在一起。本公開(kāi)方法不應(yīng)被解釋為反映所要求保護(hù)的實(shí)施例需要比每個(gè)權(quán)利要求中明確陳述的更多特征的意圖。更確切地，如所附權(quán)利要求所反映的，發(fā)明主題在于少于單個(gè)公開(kāi)的實(shí)施例的全部特征。因此，所附的權(quán)利要求由此被結(jié)合到詳細(xì)描述中，每個(gè)權(quán)利要求獨(dú)立地作為單獨(dú)的實(shí)施例。在所附權(quán)利要求中，術(shù)語(yǔ)“包括(including)”和“其中(in which)”分別用作相應(yīng)術(shù)語(yǔ)“包括(comprising)”和“其中(wherein)”的簡(jiǎn)單英語(yǔ)等價(jià)物。此外，術(shù)語(yǔ)“第一”、“第二”、“第三”等等僅用作標(biāo)簽，并不旨在對(duì)它們的對(duì)象強(qiáng)加數(shù)字要求。
311.根據(jù)本發(fā)明的實(shí)施例在針對(duì)方法、存儲(chǔ)介質(zhì)和系統(tǒng)的所附權(quán)利要求中被具體公開(kāi)，其中在一個(gè)權(quán)利要求類別(例如方法)中提到的任何特征也可以在另一個(gè)權(quán)利要求類別(例如系統(tǒng)、計(jì)算機(jī)程序產(chǎn)品)中被要求保護(hù)。在所附權(quán)利要求中的從屬性或往回引用僅為了形式原因而被選擇。然而，也可以要求保護(hù)由對(duì)任何前面權(quán)利要求的有意往回引用(特別是多項(xiàng)引用)而產(chǎn)生的任何主題，使得權(quán)利要求及其特征的任何組合被公開(kāi)并可被要求保護(hù)，而不考慮在所附權(quán)利要求中選擇的從屬性?？梢员灰蟊Ｗo(hù)的主題不僅包括如在所附權(quán)利要求中闡述的特征的組合，而且還包括在權(quán)利要求中的特征的任何其他組合，其中，在權(quán)利要求中提到的每個(gè)特征可以與在權(quán)利要求中的任何其他特征或其他特征的組合相結(jié)合。此外，本文描述或描繪的實(shí)施例和特征中的任一個(gè)可以在單獨(dú)的權(quán)利要求中和/或以與本文描述或描繪的任何實(shí)施例或特征的任何組合或以與所附權(quán)利要求的任何特征的任何組合被要求保護(hù)。
312.上面描述的內(nèi)容包括所公開(kāi)架構(gòu)的示例。當(dāng)然，不可能描述組件和/或方法的每個(gè)可想到的組合，但是本領(lǐng)域的普通技術(shù)人員可以認(rèn)識(shí)到許多進(jìn)一步的組合和置換是可能的。因此，該新穎的架構(gòu)旨在包含落入所附權(quán)利要求的精神和范圍內(nèi)的全部這些變更、修改和變化。

技術(shù)特征：

1.一種方法，包括：訪問(wèn)關(guān)于與多個(gè)用戶相關(guān)聯(lián)的協(xié)同交互的信息，所述協(xié)同交互至少與用于承載交互數(shù)據(jù)的數(shù)據(jù)信道和實(shí)時(shí)通信rtc信道相關(guān)聯(lián)；從與所述多個(gè)用戶中的第一用戶相關(guān)聯(lián)的設(shè)備接收在所述rtc信道中發(fā)起協(xié)同效果的指令，所述效果修改應(yīng)用于所述多個(gè)用戶中不同于所述第一用戶的至少第二用戶時(shí)的所述協(xié)同交互；將所述指令轉(zhuǎn)發(fā)給與所述第二用戶相關(guān)聯(lián)的設(shè)備；在所述rtc信道上從與所述第二用戶相關(guān)聯(lián)的設(shè)備接收發(fā)起所述協(xié)同效果的協(xié)定；將所述協(xié)定轉(zhuǎn)發(fā)給與所述第一用戶相關(guān)聯(lián)的設(shè)備；以及從與所述第二用戶相關(guān)聯(lián)的設(shè)備接收延遲請(qǐng)求，所述延遲請(qǐng)求指示與所述第二用戶相關(guān)聯(lián)的設(shè)備在發(fā)起所述協(xié)同效果之前需要附加數(shù)據(jù)。2.根據(jù)權(quán)利要求1所述的方法，還包括從與所述第一用戶相關(guān)聯(lián)的設(shè)備或與所述第二用戶相關(guān)聯(lián)的設(shè)備接收包括通用數(shù)據(jù)的應(yīng)用編程接口api調(diào)用，所述通用數(shù)據(jù)能夠應(yīng)用于所述協(xié)同效果。3.根據(jù)權(quán)利要求2所述的方法，還包括確定所述api調(diào)用是以不可靠模式還是以可靠模式傳輸，其中：如果所述api調(diào)用是以所述不可靠模式傳輸?shù)?，則所述通用數(shù)據(jù)被轉(zhuǎn)發(fā)到與所述第二用戶相關(guān)聯(lián)的設(shè)備，而沒(méi)有傳遞保證，或者如果所述api調(diào)用是以所述可靠模式傳輸?shù)?，則如果在預(yù)定時(shí)間量?jī)?nèi)沒(méi)有接收到所述通用數(shù)據(jù)的接收確認(rèn)，則所述通用數(shù)據(jù)被重新傳輸?shù)脚c所述第二用戶相關(guān)聯(lián)的設(shè)備。4.根據(jù)權(quán)利要求1所述的方法，其中所述協(xié)同交互包括視頻交換，所述交互數(shù)據(jù)包括視頻數(shù)據(jù)，并且所述協(xié)同效果以圖形方式修改所述視頻數(shù)據(jù)。5.根據(jù)權(quán)利要求1所述的方法，還包括從與所述第一用戶相關(guān)聯(lián)的設(shè)備或與所述第二用戶相關(guān)聯(lián)的設(shè)備接收對(duì)提供支持所述協(xié)同效果的功能的服務(wù)的調(diào)用，所述調(diào)用包括與所述服務(wù)相關(guān)聯(lián)的預(yù)定義類型的數(shù)據(jù)。6.根據(jù)權(quán)利要求5所述的方法，其中，所述功能包括以下中的一項(xiàng)或更多項(xiàng)：回合談判、回合讓步、記分或領(lǐng)導(dǎo)選擇。7.一種存儲(chǔ)指令的非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)，所述指令被配置成使一個(gè)或更多個(gè)處理器：訪問(wèn)關(guān)于與多個(gè)用戶相關(guān)聯(lián)的協(xié)同交互的信息，所述協(xié)同交互至少與用于承載交互數(shù)據(jù)的數(shù)據(jù)信道和實(shí)時(shí)通信rtc信道相關(guān)聯(lián)；從與所述多個(gè)用戶中的第一用戶相關(guān)聯(lián)的設(shè)備接收在所述rtc信道中發(fā)起協(xié)同效果的指令，所述效果修改應(yīng)用于所述多個(gè)用戶中不同于所述第一用戶的至少第二用戶時(shí)的所述協(xié)同交互；將所述指令轉(zhuǎn)發(fā)給與所述第二用戶相關(guān)聯(lián)的設(shè)備；在所述rtc信道上從與所述第二用戶相關(guān)聯(lián)的設(shè)備接收發(fā)起所述協(xié)同效果的協(xié)定；將所述協(xié)定轉(zhuǎn)發(fā)給與所述第一用戶相關(guān)聯(lián)的設(shè)備；以及從與所述第二用戶相關(guān)聯(lián)的設(shè)備接收延遲請(qǐng)求，所述延遲請(qǐng)求指示與所述第二用戶相關(guān)聯(lián)的設(shè)備在發(fā)起所述協(xié)同效果之前需要附加數(shù)據(jù)。8.根據(jù)權(quán)利要求7所述的介質(zhì)，還存儲(chǔ)用于從與所述第一用戶相關(guān)聯(lián)的設(shè)備或與所述第二用戶相關(guān)聯(lián)的設(shè)備接收包括通用數(shù)據(jù)的應(yīng)用編程接口api調(diào)用的指令，所述通用數(shù)據(jù)
能夠應(yīng)用于所述協(xié)同效果。9.根據(jù)權(quán)利要求8所述的介質(zhì)，還存儲(chǔ)用于確定所述api調(diào)用是以不可靠模式還是以可靠模式傳輸?shù)闹噶?，其中：如果所述api調(diào)用是以所述不可靠模式傳輸?shù)模瑒t所述通用數(shù)據(jù)被轉(zhuǎn)發(fā)到與所述第二用戶相關(guān)聯(lián)的設(shè)備，而沒(méi)有傳遞保證，或者如果所述api調(diào)用是以所述可靠模式傳輸?shù)模瑒t如果在預(yù)定時(shí)間量?jī)?nèi)沒(méi)有接收到所述通用數(shù)據(jù)的接收確認(rèn)，則所述通用數(shù)據(jù)被重新傳輸?shù)脚c所述第二用戶相關(guān)聯(lián)的設(shè)備。10.根據(jù)權(quán)利要求7所述的介質(zhì)，其中所述協(xié)同交互包括視頻交換，所述交互數(shù)據(jù)包括視頻數(shù)據(jù)，并且所述協(xié)同效果以圖形方式修改所述視頻數(shù)據(jù)。11.根據(jù)權(quán)利要求7所述的介質(zhì)，還存儲(chǔ)用于從與所述第一用戶相關(guān)聯(lián)的設(shè)備或與所述第二用戶相關(guān)聯(lián)的設(shè)備接收對(duì)提供支持所述協(xié)同效果的功能的服務(wù)的調(diào)用的指令，所述調(diào)用包括與所述服務(wù)相關(guān)聯(lián)的預(yù)定義類型的數(shù)據(jù)。12.根據(jù)權(quán)利要求11所述的介質(zhì)，其中，所述功能包括以下中的一項(xiàng)或更多項(xiàng)：回合談判、回合讓步、記分或領(lǐng)導(dǎo)選擇。13.一種裝置，包括：硬件處理器電路，其被配置成訪問(wèn)關(guān)于與多個(gè)用戶相關(guān)聯(lián)的協(xié)同交互的信息，所述協(xié)同交互至少與用于承載交互數(shù)據(jù)的數(shù)據(jù)信道和實(shí)時(shí)通信rtc信道相關(guān)聯(lián)；用于在網(wǎng)絡(luò)上通信的網(wǎng)絡(luò)接口；指令接收邏輯，其被配置成從與所述多個(gè)用戶中的第一用戶相關(guān)聯(lián)的設(shè)備接收在所述rtc信道中發(fā)起協(xié)同效果的指令，所述效果修改應(yīng)用于所述多個(gè)用戶中不同于所述第一用戶的至少第二用戶時(shí)的所述協(xié)同交互；指令轉(zhuǎn)發(fā)邏輯，其被配置成將所述指令轉(zhuǎn)發(fā)到與所述第二用戶相關(guān)聯(lián)的設(shè)備；協(xié)定接收邏輯，其被配置成在所述rtc信道上從與所述第二用戶相關(guān)聯(lián)的設(shè)備接收發(fā)起所述協(xié)同效果的協(xié)定；協(xié)定轉(zhuǎn)發(fā)邏輯，其被配置成將所述協(xié)定轉(zhuǎn)發(fā)到與所述第一用戶相關(guān)聯(lián)的設(shè)備；以及延遲邏輯，其被配置成從與所述第二用戶相關(guān)聯(lián)的設(shè)備接收延遲請(qǐng)求，所述延遲請(qǐng)求指示與所述第二用戶相關(guān)聯(lián)的設(shè)備在發(fā)起所述協(xié)同效果之前需要附加數(shù)據(jù)。14.根據(jù)權(quán)利要求13所述的裝置，還包括數(shù)據(jù)接收邏輯，其被配置成從與所述第一用戶相關(guān)聯(lián)的設(shè)備或與所述第二用戶相關(guān)聯(lián)的設(shè)備接收包含通用數(shù)據(jù)的應(yīng)用編程接口api調(diào)用，所述通用數(shù)據(jù)能夠應(yīng)用于所述協(xié)同效果。15.根據(jù)權(quán)利要求14所述的裝置，還包括數(shù)據(jù)轉(zhuǎn)發(fā)邏輯，其被配置成確定所述api調(diào)用是以不可靠模式還是以可靠模式傳輸，其中：如果所述api調(diào)用是以所述不可靠模式傳輸?shù)模瑒t所述通用數(shù)據(jù)被轉(zhuǎn)發(fā)到與所述第二用戶相關(guān)聯(lián)的設(shè)備，而沒(méi)有傳遞保證，或者如果所述api調(diào)用是以所述可靠模式傳輸?shù)?，則如果在預(yù)定時(shí)間量?jī)?nèi)沒(méi)有接收到所述通用數(shù)據(jù)的接收確認(rèn)，則所述通用數(shù)據(jù)被重新傳輸?shù)脚c所述第二用戶相關(guān)聯(lián)的設(shè)備。16.根據(jù)權(quán)利要求13所述的裝置，其中所述協(xié)同交互包括視頻交換，所述交互數(shù)據(jù)包括視頻數(shù)據(jù)，并且所述協(xié)同效果以圖形方式修改所述視頻數(shù)據(jù)。17.根據(jù)權(quán)利要求13所述的裝置，還包括從與所述第一用戶相關(guān)聯(lián)的設(shè)備或與所述第二用戶相關(guān)聯(lián)的設(shè)備接收對(duì)提供支持所述協(xié)同效果的功能的服務(wù)的調(diào)用，所述調(diào)用包括與所述服務(wù)相關(guān)聯(lián)的預(yù)定義類型的數(shù)據(jù)。

技術(shù)總結(jié)

本申請(qǐng)涉及視頻中的協(xié)同效果。示例性實(shí)施例涉及將協(xié)同或合作效果應(yīng)用于協(xié)同活動(dòng)。提供了協(xié)同活動(dòng)協(xié)議，用于跨多個(gè)設(shè)備同步交互式效果和體驗(yàn)。該協(xié)議允許經(jīng)由實(shí)時(shí)通信(RTC)信道在多個(gè)設(shè)備上發(fā)起并協(xié)同效果。可以交換消息以合作地發(fā)起效果，并且(一旦發(fā)起)通用數(shù)據(jù)可以經(jīng)由應(yīng)用編程接口(API)調(diào)用來(lái)交換。根據(jù)一些實(shí)施例，協(xié)同活動(dòng)是共享的視頻體驗(yàn)，如視頻會(huì)議或共享的視頻觀看體驗(yàn)。根據(jù)其他實(shí)施例，協(xié)同活動(dòng)涉及其他類型的體驗(yàn)，如單人或多人游戲、共享的書(shū)籍閱讀、與相冊(cè)的共同交互等。與相冊(cè)的共同交互等。與相冊(cè)的共同交互等。

技術(shù)研發(fā)人員：

沙馬蘭

受保護(hù)的技術(shù)使用者：

元平臺(tái)公司

技術(shù)研發(fā)日：

2018.01.22

技術(shù)公布日：

2023/1/19