duckdb / duckdb

Problem: 开发者需要分析本地CSV或Parquet文件，但不想安装复杂数据库或依赖网络连接。

Solution: 使用DuckDB作为嵌入式数据库，直接在Python或CLI中通过SQL查询本地文件，无需数据导入过程。

Example: 在Python中直接查询CSV文件：`SELECT * FROM 'data.csv' WHERE sales > 1000`，或使用pandas集成进行复杂分析。

Problem: 使用pandas处理大型数据集时内存不足或性能较慢，特别是涉及复杂聚合和连接操作时。

Solution: 将pandas DataFrame加载到DuckDB中，利用其OLAP优化引擎执行高性能SQL查询，结果可无缝转回pandas。

Example: 将大型DataFrame注册为DuckDB表，用窗口函数和复杂子查询进行分析，比纯pandas操作快数倍且内存更友好。

Problem: 开发桌面应用或服务需要内置数据分析功能，但传统数据库太重或需要独立服务。

Solution: 将DuckDB作为嵌入式库集成到应用中，提供完整的SQL分析能力，无需外部数据库服务。

Example: 在Python/R/Java应用中嵌入DuckDB，让用户直接执行分析查询，支持复杂类型（数组、结构体）和丰富SQL语法。

Problem: 数据科学家需要快速探索和转换多个数据源，但工具链切换繁琐或性能不佳。

Solution: 使用DuckDB CLI或Python客户端，直接查询CSV、Parquet等多种格式，支持复杂SQL进行数据清洗和探索。

Example: 在终端中启动`duckdb`，直接查询本地Parquet文件：`SELECT user_id, COUNT(*) FROM 'logs/*.parquet' GROUP BY 1`，无需预处理。