fountain下载 - fountain源代码下载

fountain

Ai源码

1.0.0

下载

喷泉

Fountain 是一种自然语言数据增强工具，可帮助开发人员创建和扩展机器学习算法的特定领域聊天机器人训练数据集。

概述。

为了构建更好的人工智能助手，我们需要更多的数据，仅仅更好的模型是不够的。

大多数 NLU 系统需要输入未来用户最有可能使用的数千个可能的查询，并对每个可以识别用户意图的句子片段进行注释。这通常是一个忙碌而乏味的手动过程。 Fountain 旨在帮助开发人员顺利完成这一过程并生成大量训练示例，以便更轻松地训练和构建强大的聊天机器人系统。

该工具旨在使为不同意图引擎（亚马逊的 Alexa、谷歌的 API.ai、Facebook 的 Wit、微软的 Luis）构建相同的数据集变得容易。目前，该工具生成与 RasaNLU 格式兼容的训练数据集。

入门

安装

您可以通过以下方式安装该软件包：

$ pip install git+git://github.com/tzano/fountain.git

安装依赖项：

$ pip install -r requirements.txt

句法

Fountain使用结构化的YAML模板，开发人员可以通过template和语法定义来确定意图范围。每个意图都应至少包含一个触发操作的sample utterances 。查询包括识别用户意图的属性。这些关键信息称为slots 。我们包含不同的样本以便能够生成数据集。

我们使用三个操作：

参数 ( {slot_name:slot_type} )：用于声明槽模式。
参数 ( ( first_word | second_word ) )：用于提供一组关键字，这些单词可以是同义词（例如：happy、joyful）或具有不同拼写的相同名称（例如：colors|colours）

意图的一个简单示例如下所示

 book_cab:
  - utterance: Book a (cab|taxi) to {location:place}
    slots:
      location:place:
        - airport
        - city center

这将使用to_json生成以下意图json file 。

 [
    {
        "entities": [
            {
                "end": 21, 
                "entity": "location", 
                "start": 14, 
                "value": "airport"
            }
        ], 
        "intent": "book_cab", 
        "text": "book a cab to airport"
    }, 
    {
        "entities": [
            {
                "end": 25, 
                "entity": "location", 
                "start": 14, 
                "value": "city center"
            }
        ], 
        "intent": "book_cab", 
        "text": "book a cab to city center"
    }, 
    {
        "entities": [
            {
                "end": 22, 
                "entity": "location", 
                "start": 15, 
                "value": "airport"
            }
        ], 
        "intent": "book_cab", 
        "text": "book a taxi to airport"
    }, 
    {
        "entities": [
            {
                "end": 26, 
                "entity": "location", 
                "start": 15, 
                "value": "city center"
            }
        ], 
        "intent": "book_cab", 
        "text": "book a taxi to city center"
    }
]

同一文件将使用to_csv生成以下csv file 。

 intent	utterance
book_cab	book a cab to airport
book_cab	book a cab to city center
book_cab	book a taxi to airport
book_cab	book a taxi to city center

内置

该库支持多种预定义的槽类型（实体），以简化和标准化槽中数据的识别方式。

这些实体是从不同的开源数据源收集的。

日期和时间
- FOUNTAIN:DATE
- FOUNTAIN:WEEKDAYS
- FOUNTAIN:MONTH_DAYS
- FOUNTAIN:MONTHS
- FOUNTAIN:HOLIDAYS
- FOUNTAIN:TIME
- FOUNTAIN:NUMBER
地点
- FOUNTAIN:COUNTRY
- FOUNTAIN:CITY
人们
- FOUNTAIN:FAMOUSPEOPLE

数据来源

为了构建Fountain's内置数据类型，我们处理了来自以下数据源的数据：

维基数据维基数据
GeoNames 地理数据库
万神殿数据集

使用方法：

您可以轻松加载和解析DSL模板并导出生成的数据集（Rasa格式）。

您可以在目录labs下找到此示例

 # DataGenerator
data_generator = DataGenerator()
# load template
template_fname = '<file>.yaml'
# parse the DSL template
results = data_generator.parse(template_fname)

# export to csv file
data_generator.to_csv('results.csv')
# export to csv file
data_generator.to_json('results.json')