MySQL 统计总条数（需去重）的方法总结

在 MySQL 中统计去重后的总条数是数据分析中的常见需求，下面介绍几种常用的实现方法，并分析它们的特点和适用场景。

1. 使用 COUNT(DISTINCT column_name)

这是最直接的去重计数方法，用于统计某一列中不同值的数量。

SELECT COUNT(DISTINCT column_name) AS unique_count
FROM table_name;

​特点：​​

• 只对指定列的值进行去重统计
• 性能相对较好，特别是当列上有索引时
• 只能针对单个列进行去重

​适用场景：​​ 当只需要对单个字段的去重值进行计数时使用

​示例：​​ 统计用户表中不同城市的数量

SELECT COUNT(DISTINCT city) AS unique_city_count
FROM users;

2. 使用子查询 + COUNT(*)

当需要对多列组合进行去重计数时，可以使用子查询先获取去重后的结果集，再计算总数。

SELECT COUNT(*) AS unique_count
FROM (
    SELECT DISTINCT column1, column2, ...
    FROM table_name
) AS temp_table;

​特点：​​

• 可以对多列组合进行去重
• 逻辑清晰，易于理解
• 对于大数据量表可能性能较差

​适用场景：​​ 需要对多个字段的组合进行去重计数时使用

​示例：​​ 统计不同用户在不同日期的独立访问次数

SELECT COUNT(*) AS unique_visits
FROM (
    SELECT DISTINCT user_id, visit_date
    FROM user_visits
) AS unique_visits;

3. 使用 GROUP BY + 子查询

另一种对多列去重计数的方法是使用 GROUP BY。

SELECT COUNT(*) AS unique_count
FROM (
    SELECT column1, column2, ...
    FROM table_name
    GROUP BY column1, column2, ...
) AS grouped_table;

​特点：​​

• 与 DISTINCT 方法类似，但有时优化器处理方式不同
• 可以在 GROUP BY 后添加其他聚合函数
• 性能特点与 DISTINCT 方法类似

​适用场景：​​ 需要在去重的同时对数据进行分组聚合时使用

4. 使用窗口函数（MySQL 8.0+）

在 MySQL 8.0 及以上版本，可以使用窗口函数实现更复杂的去重计数。

SELECT COUNT(*) AS unique_count
FROM (
    SELECT column_name, 
           ROW_NUMBER() OVER (PARTITION BY column_name ORDER BY some_column) AS rn
    FROM table_name
) AS ranked
WHERE rn = 1;

​特点：​​

• 利用了 MySQL 8.0 的窗口函数特性
• 可以更灵活地控制去重逻辑
• 语法相对复杂

​适用场景：​​ 需要更复杂的去重逻辑或在 MySQL 8.0+ 环境中

性能比较与优化建议

1. ​单列去重计数：​​
   • COUNT(DISTINCT column) 通常是最高效的方法
   • 确保该列有索引可以显著提高性能
2. ​多列去重计数：​​
   • 使用 COUNT(DISTINCT CONCAT(column1, '|', column2)) 可以作为替代方案
   • 但要注意连接符不能出现在原始数据中
   • 子查询 + DISTINCT 方法更清晰但可能性能稍差
3. ​大数据量优化：​​
   • 对于非常大的表，考虑添加适当的 WHERE 条件先过滤数据
   • 在非高峰期执行统计查询
   • 考虑使用汇总表或物化视图预先计算结果
4. ​索引利用：​​
   • 为用于去重的列创建索引
   • 对于多列组合，考虑创建复合索引

实际应用示例

​示例1：统计网站不同访客数量（基于IP）​​

SELECT COUNT(DISTINCT visitor_ip) AS unique_visitors
FROM website_visits
WHERE visit_date BETWEEN '2025-01-01' AND '2025-12-31';

​示例2：统计销售系统中不同客户购买的不同产品组合​

SELECT COUNT(*) AS unique_customer_product_combinations
FROM (
    SELECT DISTINCT customer_id, product_id
    FROM sales_orders
) AS unique_combinations;

​示例3：使用 CONCAT 方法统计多列去重（替代方案）​​

SELECT COUNT(DISTINCT CONCAT_WS('|', column1, column2)) AS unique_combinations
FROM table_name;

总结

选择哪种去重计数方法取决于具体的需求、MySQL 版本和数据特点：

• ​简单单列去重：​​ 优先使用 COUNT(DISTINCT column)
• ​多列组合去重：​​ 使用子查询 + DISTINCT 或 GROUP BY
• ​MySQL 8.0+ 环境：​​ 可考虑使用窗口函数实现更灵活的逻辑
• ​大数据量：​​ 注意添加合适的索引和查询条件优化性能

在实际应用中，应根据数据量大小、索引情况和查询频率选择最合适的方法，并通过 EXPLAIN 分析查询执行计划来优化性能。