当前位置: 首页 > news >正文

数据聚合——DSLRestAPI

聚合(aggregations)可以让我们极其方便的实现对数据的统计、分析、运算。

1.1.聚合的种类

聚合常见的有三类:

  • 桶(Bucket)聚合:用来对文档做分组

    • TermAggregation:按照文档字段值分组,例如按照品牌值分组、按照国家分组

    • Date Histogram:按照日期阶梯分组,例如一周为一组,或者一月为一组

  • 度量(Metric)聚合:用以计算一些值,比如:最大值、最小值、平均值等

    • Avg:求平均值

    • Max:求最大值

    • Min:求最小值

    • Stats:同时求max、min、avg、sum等

  • 管道(pipeline)聚合:其它聚合的结果为基础做聚合

注意:参加聚合的字段必须是keyword、日期、数值、布尔类型

1.2.DSL实现聚合

1.2.1.Bucket聚合语法(桶聚合)

相当于mysql中的分组

语法如下:

# 聚合 - 桶聚合(bucket)- terms(分组汇总)
GET /hotel/_search
{
  "size": 0,  // 设置size为0,结果中不包含文档详情,只包含聚合结果
  "aggs": { // 定义聚合,固定写法
    "brandAgg": { //给聚合起个名字
      "terms": { // 聚合的类型,按照品牌值聚合,所以选择terms
        "field": "brand", // 指定以哪个字段进行分组汇总
        "size": 20 // 希望获取的聚合结果数量
      }
    }
  }
}

 

1.2.2.聚合结果排序

默认情况下,Bucket聚合会统计Bucket内的文档数量,记为count,并且按照count降序排序。

我们可以指定order属性,自定义聚合的排序方式:

GET /hotel/_search
{
  "size": 0, 
  "aggs": {
    "brandAgg": {
      "terms": {
        "field": "brand",
        "order": {
          "_count": "asc" // 按照_count升序排列
        },
        "size": 20
      }
    }
  }
}

1.2.3.限定聚合范围

# 聚合 - 桶聚合(bucket)- terms(分组汇总)
# 限定数据范围
# 在聚合之前先按照条件过滤一次
GET /hotel/_search
{
  "query": {
    "term": {
      "city": {
        "value": "北京"
      }
    }
  },
  "size": 0,
  "aggs": {
    "brandAgg": {
      "terms": {
        "field": "brand",
        "size": 50
      }
    }
  }
}

1.2.4.Metric聚合语法(度量聚合)

用以计算一些值,比如:最大值、最小值、平均值等

语法如下:

# 聚合 - 度量聚合(metric)
# 计算最大值,最小值
# stats 表示要计算数值
# field 按照哪个字段进行聚合
GET /hotel/_search
{
  "size": 0,
  "aggs": {
    "scoreAgg": {
      "stats": {
        "field": "score"
      }
    }
  }
}

 不过,一般度量聚合与桶聚合一起使用

# 聚合 - 度量聚合(metric)
# 与桶聚合进行嵌套使用
# 先按照酒店品牌分组
# "size": 0 表示不显示文档详情
# "size": 50 显示的数量
# 在分组的基础上再计算总数和最值
GET /hotel/_search
{
  "size": 0,
  "aggs": {
    "brandAgg": {
      "terms": {
        "field": "brand",
        "size": 50
      },
      "aggs": {
        "scoreAgg": {
          "stats": {
            "field": "score"
          }
        }
      }
    }
  }
}

 1.3.RestAPI实现聚合

请求

 聚合结果解析

 代码实现:

@Test
    void testAggs() throws Exception{
        //初始化RestHighLevelClient:
        RestHighLevelClient client = new RestHighLevelClient(
                RestClient.builder(HttpHost.create("http://192.168.177.132:9200"))
        );
        //创建请求
        //hotel 是查询的文档名
        SearchRequest request = new SearchRequest("hotel");
        //设置参数
        //AggregationBuilders 工具类
        //terms 桶聚合--分组汇总,聚合的类型,按照品牌值聚合
        //field 按照哪个字段分组
        //size(50) 显示的数量
        request.source().size(0);//不在结果中包含文档详情
        request.source().aggregation(
                AggregationBuilders.terms("brandAgg").field("brand").size(50)
        );
        //执行请求
        //第一个参数:创建的请求,第二个参数:是否还有其他的选项,一般选DEFAULT
        SearchResponse response = client.search(request, RequestOptions.DEFAULT);
        //解析响应
        Aggregations aggregations = response.getAggregations();
        Terms brandAgg = aggregations.get("brandAgg");
        List<? extends Terms.Bucket> buckets = brandAgg.getBuckets();
        for (Terms.Bucket bucket : buckets) {
            String key = bucket.getKeyAsString();
            long count = bucket.getDocCount();
            System.out.println(key + ":" + count);
        }
    }

相关文章:

  • IBM SPSS Modeler分类决策树C5.0模型分析空气污染物数据
  • 软件测试工程师,如何工资过万?(经验之谈)
  • TextMeshPro源码移植-替换掉PackageManager
  • 【校招VIP】[推电影项目]产品的规划和商业化分析
  • chatGPT与世界杯的故事:人工智能的双重面对
  • 信号相角位移量的计算与信号位移计算-附Matlab代码
  • 小红书店铺需不需要开?在小红书开店需要注意什么
  • 通过图卷积网络从单词语义学习到句子句法,用于基于方面的情感分析
  • Springboot你写我评小说同好交流网站hp7zh计算机毕业设计-课程设计-期末作业-毕设程序代做
  • GitHub上架即巅峰!《Spring Cloud微服务架构实战》标星已超30k
  • ADI的DSP开发软件:CCES软件的使用说明(很早期写的一点心得)
  • Webpack完整打包流程分析
  • ubuntu 20.04 设置DNS
  • 小型扫雪机结构设计
  • Day17 | 每天五道题
  • 无人机边缘计算中的计算卸载——Stackelberg博弈方法论文复现附matlab代码
  • 【明天截稿】Wiley出版社,传感器网络与电路类SCI,仅2-3个月左右录用
  • Matplotlib学习笔记(第一章)
  • 做一个公司网站大概要多少钱?
  • MySQL 数据库主从复制
  • myBaits Target Capture Kits;myBaits 靶向捕获试剂盒,快速捕获富集目标序列
  • 【表格单元格可编辑】vue-elementul简单实现table表格点击单元格可编辑,点击单元格变成输入框修改数据
  • ES7-ES13 新特性
  • 【C++】打开C++的大门
  • 【深度学习】U-Net和FCN具体分析
  • Linux下 git 上传与删除 的基本指令
  • Swift 新 async/await 同步机制小技巧:消除“多余”的 await 关键字
  • Github如何使用详细介绍(保姆级教学)
  • 【ardunio+sx1268】与【esp32+sx1268】实现不同主控单片机lora通讯
  • Linux常用命令——pvscan命令
  • 旅游管理专业学什么 难就业吗
  • 2022海南高考体育专业考试时间 什么时候考试
  • 云南楚雄高考时间2021具体时间:6月7日
  • 高考什么特长可以加分 政策有哪些
  • 2022年贵州高考218分能报什么大学 218分能上哪些院校
  • 2022大专石油化工专业毕业后待遇 工资高吗
  • 中国科学院大学2021年各省录取分数线及专业分数线
  • 学英语用点读笔好不好 有效果吗
  • 2021河南职业技术学院学费多少 各专业收费标准
  • 2022广西外语口试成绩查询时间公布 什么时候查分