2.3.9 图片讲解、视频讲解功能
## 2.3.9 图片讲解、视频讲解功能(可选功能)
* 图片讲解、视频讲解是提供给每个对接了硬件SDK的终端设备用来进行图片讲解和视频讲解的功能。开发者根据SDK端输出的图片讲解对象和视频讲解对象进行解析,完成相应的界面和语音操作。就能够使终端用户在灵聚机器人CMS上编辑的图片和视频内容在机器上输出并讲解相应的内容。
图片讲解、视频讲解功能的在灵聚机器人CMS上的操作请参考SDK包中的“灵聚机器人CMS操作指南”。
图片讲解的指令输出:
~~~
输入:打开手机的图片讲解。
输出:
{
"rtext": "好的", "synthetise": "","ttext": "","outc": "0","motions": [],
"actions": [
{
"action": "OPEN",
"target": {
"id": 332,
"setsname":"手机",
"name":"手机图片1",
"title":"价格",
"content":"移动电话,或称为无线电话,通常称为手机",
"contentmotions":
[{"index":content文本中字符的索引位置,"level":动作优先级,"motion":动作id(参见动作对象)},...]
}
}
]
}
~~~
图片功能对接:
这里打开手机的图片讲解需要用户在灵聚的机器人CMS上进行了图片讲解功能的编辑,并设置了图片讲解的触发语为“打开手机的图片讲解”。开发者需要对指令进行解析,展示图片信息,并处理相应的文本播放,在图片讲解的流程中,如果要进行翻页,或者暂停等操作时,只需使用相应的操作文本返回给灵聚SDK,比如“下一页”,“上一页”,“退出”等,SDK接到这些操作文本会返回对应的指令。
视频讲解的指令输出:
~~~
输入:打开手机的视频讲解。
输出:
{"rtext":"好的" ,"synthetise":"", "ttext":"","outc":0,"motions":[]
"actions":[
{"action":"OPEN",
"target":{"id":332,
"name":"手机视频",
"videocontent":[{
[{"timepoint":播放视频的时间轴位置,"content":"时间节点对应的文本"},...],
"contentmotions":
[{"index":content文本中字符的索引位置,"level":动作优先级,"motion":动作id(参见动作对象)},...]},...]
}
}]
}
~~~
视频功能对接:
这里打开手机的视频讲解需要用户在灵聚的机器人CMS上进行了图片视频功能的编辑,并设置了视频讲解的触发语为“打开手机的视频讲解”。
开发者者对视频指令进行对接,播放相应的视频,并在视频播放至视频讲解文本的时间节点处时,输出相应的文本的语音,如果进行暂停播放。继续播放只需使用相应的操作文本返回给灵聚SDK,比如“暂停播放”,“继续播放”,“退出”等,SDK接到这些操作文本会返回对应的指令。
图片讲解、视频讲解功能对接包括以下几点需要开发者注意:
* 图片和视频讲解的图片以及视频资源需要存储在设备本地,建议提供一个固定的文件夹来存放资源。然后后通过SDK返回的指令获取对应资源的名称来选择操作本地图片和视频的播放和讲解。
* 图片和视频讲解需要给终端用户在灵聚机器人CMS上编辑图片和视频的资源,编辑图片与视频讲解内容操作参见SDK包中的“灵聚机器人CMS操作指南”。
* 图片和视频讲解在设备中如果有界面或者语音进行流程控制,比如下一张、上一张、播放、暂停、继续、退出等一系列流程操作时需要用户通过语音对话 请求接口返回相应的文本信息,以便通知服务端控制流程。
* 图片和视频讲解的指令对象请参照灵聚SDK指令文档。