sqlite-utils 9d7da06

用于操作 SQLite 数据库的 CLI 工具和 Python 库

这个库和命令行实用程序可以帮助从现有数据集合中创建 SQLite 数据库。

大部分功能都可以作为 Python API 或通过 sqlite-utils 命令行工具使用。

sqlite-utils 不是一个完整的 ORM：它的重点是提供实用程序助手，以尽可能高效地创建初始数据库并填充数据。

它被设计为 Datasette 的一个有用补充。

使用 sqlite-utils 和 Datasette 清理数据 提供了一个关于使用此工具的教程介绍（以及随附的十分钟视频）。

目录

• 安装
  • 使用 Homebrew
  • 使用 pip
  • 使用 pipx
  • sqlite3 的替代方案
  • 设置 shell 自动补全
• sqlite-utils 命令行工具
  • 运行 SQL 查询
    • 返回 JSON
    • 返回 CSV 或 TSV
    • 表格格式输出
    • 返回原始数据，例如二进制内容
    • 使用命名参数
    • UPDATE、INSERT 和 DELETE
    • 定义自定义 SQL 函数
    • SQLite 扩展
    • 附加其他数据库
  • 直接使用内存数据库查询数据
    • 直接针对 CSV 或 JSON 运行查询
    • 显式指定格式
    • 使用 --attach 将内存数据与现有数据库连接
    • --schema、--analyze、--dump 和 --save
  • 返回表中的所有行
  • 列出表
  • 列出视图
  • 列出索引
  • 列出触发器
  • 显示模式
  • 分析表
    • 保存分析后的表详细信息
  • 创建空数据库
  • 插入 JSON 数据
    • 插入二进制数据
    • 插入换行符分隔的 JSON
    • 展平嵌套的 JSON 对象
  • 插入 CSV 或 TSV 数据
    • 替代分隔符和引用字符
    • 没有标题行的 CSV 文件
  • 使用 --lines 和 --text 插入非结构化数据
  • 在插入数据时应用转换
    • --convert 与 --lines 结合使用
    • --convert 与 --text 结合使用
  • 插入替换数据
  • 插入更新数据
  • 批量执行 SQL
  • 从文件插入数据
  • 转换列中的数据
    • 导入额外模块
    • 使用调试器
    • 定义 convert() 函数
    • sqlite-utils convert 示例
    • 将结果保存到不同的列
    • 将一列转换为多列
  • 创建表
  • 重命名表
  • 复制表
  • 删除表
  • 转换表
    • 为 rowid 表添加主键
  • 将列提取到单独的表
  • 创建视图
  • 删除视图
  • 添加列
  • 在插入/更新时自动添加列
  • 添加外键约束
    • 一次添加多个外键
    • 为所有外键添加索引
  • 设置默认值和非空约束
  • 创建索引
  • 配置全文搜索
  • 执行搜索
  • 启用缓存计数
  • 使用 ANALYZE 优化索引使用
  • Vacuum
  • Optimize
  • WAL 模式
  • 将数据库导出为 SQL
  • 加载 SQLite 扩展
  • SpatiaLite 助手
    • 添加空间索引
  • 安装包
  • 卸载包
  • 实验性 TUI
• sqlite_utils Python 库
  • 入门
  • 连接或创建数据库
    • 附加其他数据库
    • 追踪查询
  • 执行查询
    • db.query(sql, params)
    • db.execute(sql, params)
    • 传递参数
  • 访问表
  • 列出表
  • 列出视图
  • 列出行
    • 计算行数
  • 列出带有主键的行
  • 检索特定记录
  • 显示模式
  • 创建表
    • 自定义列顺序和列类型
    • 显式创建表
    • 复合主键
    • 指定外键
    • 表配置选项
    • 设置默认值和非空约束
  • 重命名表
  • 复制表
  • 批量插入
  • 插入替换数据
  • 更新特定记录
  • 删除特定记录
  • 删除多个记录
  • 插入更新数据
  • 转换列中的数据
  • 使用查找表
    • 显式创建查找表
    • 在插入/更新时自动填充查找表
  • 处理多对多关系
    • 同时使用 m2m 和查找表
  • 分析列
  • 添加列
  • 在插入/更新时自动添加列
  • 添加外键约束
    • 一次添加多个外键约束
    • 为所有外键添加索引
  • 删除表或视图
  • 转换表
    • 修改列类型
    • 重命名列
    • 删除列
    • 更改主键
    • 更改非空状态
    • 修改列默认值
    • 更改列顺序
    • 添加外键约束
    • 替换外键约束
    • 删除外键约束
    • 使用 .transform_sql() 进行自定义转换
  • 将列提取到单独的表
  • 根据行内容的哈希设置 ID
  • 创建视图
  • 存储 JSON
  • 使用 SQL 函数转换列值
  • 检查 SQLite 版本
  • 将数据库导出为 SQL
  • 内省表和视图
    • .exists()
    • .count
    • .columns
    • .columns_dict
    • .default_values
    • .pks
    • .use_rowid
    • .foreign_keys
    • .schema
    • .strict
    • .indexes
    • .xindexes
    • .triggers
    • .triggers_dict
    • .detect_fts()
    • .virtual_table_using
    • .has_counts_triggers
    • db.supports_strict
  • 全文搜索
    • 为表启用全文搜索
    • 引用用于搜索的字符
    • 使用 table.search() 进行搜索
    • 使用 table.search_sql() 构建 SQL 查询
  • 重建全文搜索表
  • 优化全文搜索表
  • 使用触发器缓存表计数
  • 创建索引
  • 使用 ANALYZE 优化索引使用
  • Vacuum
  • WAL 模式
  • 建议列类型
  • 注册自定义 SQL 函数
  • 引用用于 SQL 的字符串
  • 从文件读取行
  • 设置最大 CSV 字段大小限制
  • 使用 TypeTracker 检测列类型
  • SpatiaLite 助手
    • 初始化 SpatiaLite
    • 查找 SpatiaLite
    • 添加几何列
    • 创建空间索引
• 插件
  • 构建插件
  • 插件钩子
    • register_commands(cli)
    • prepare_connection(conn)
• API 参考
  • sqlite_utils.db.Database
    • Database
  • sqlite_utils.db.Queryable
    • Queryable
  • sqlite_utils.db.Table
    • Table
  • sqlite_utils.db.View
    • View
  • 其他
    • sqlite_utils.db.Column
    • sqlite_utils.db.ColumnDetails
  • sqlite_utils.utils
    • sqlite_utils.utils.hash_record
    • sqlite_utils.utils.rows_from_file
    • sqlite_utils.utils.TypeTracker
    • sqlite_utils.utils.chunks
    • sqlite_utils.utils.flatten
• CLI 参考
  • query
  • memory
  • insert
  • upsert
  • bulk
  • search
  • transform
  • extract
  • schema
  • insert-files
  • analyze-tables
  • convert
  • tables
  • views
  • rows
  • triggers
  • indexes
  • create-database
  • create-table
  • create-index
  • enable-fts
  • populate-fts
  • rebuild-fts
  • disable-fts
  • tui
  • optimize
  • analyze
  • vacuum
  • dump
  • add-column
  • add-foreign-key
  • add-foreign-keys
  • index-foreign-keys
  • enable-wal
  • disable-wal
  • enable-counts
  • reset-counts
  • duplicate
  • rename-table
  • drop-table
  • create-view
  • drop-view
  • install
  • uninstall
  • add-geometry-column
  • create-spatial-index
  • plugins
• 贡献
  • 获取代码
  • 运行测试
  • 构建文档
  • 代码检查和格式化
  • 使用 Just 和 pipenv
  • 发布流程
• 变更日志
  • 3.38 (2024-11-23)
  • 3.37 (2024-07-18)
  • 3.36 (2023-12-07)
  • 3.35.2 (2023-11-03)
  • 3.35.1 (2023-09-08)
  • 3.35 (2023-08-17)
  • 3.34 (2023-07-22)
  • 3.33 (2023-06-25)
  • 3.32.1 (2023-05-21)
  • 3.32 (2023-05-21)
  • 3.31 (2023-05-08)
  • 3.30 (2022-10-25)
  • 3.29 (2022-08-27)
  • 3.28 (2022-07-15)
  • 3.27 (2022-06-14)
  • 3.26.1 (2022-05-02)
  • 3.26 (2022-04-13)
  • 3.25.1 (2022-03-11)
  • 3.25 (2022-03-01)
  • 3.24 (2022-02-15)
  • 3.23 (2022-02-03)
  • 3.22.1 (2022-01-25)
  • 3.22 (2022-01-11)
  • 3.21 (2022-01-10)
  • 3.20 (2022-01-05)
  • 3.19 (2021-11-20)
  • 3.18 (2021-11-14)
  • 3.17.1 (2021-09-22)
  • 3.17 (2021-08-24)
  • 3.16 (2021-08-18)
  • 3.15.1 (2021-08-10)
  • 3.15 (2021-08-09)
  • 3.14 (2021-08-02)
  • 3.13 (2021-07-24)
  • 3.12 (2021-06-25)
  • 3.11 (2021-06-20)
  • 3.10 (2021-06-19)
    • sqlite-utils memory
    • sqlite-utils insert --detect-types
    • 其他变更
  • 3.9.1 (2021-06-12)
  • 3.9 (2021-06-11)
  • 3.8 (2021-06-02)
  • 3.7 (2021-05-28)
  • 3.6 (2021-02-18)
  • 3.5 (2021-02-14)
  • 3.4.1 (2021-02-05)
  • 3.4 (2021-02-05)
  • 3.3 (2021-01-17)
  • 3.2.1 (2021-01-12)
  • 3.2 (2021-01-03)
  • 3.1.1 (2021-01-01)
  • 3.1 (2020-12-12)
  • 3.0 (2020-11-08)
  • 2.23 (2020-10-28)
  • 2.22 (2020-10-16)
  • 2.21 (2020-09-24)
  • 2.20 (2020-09-22)
    • 转换
    • 提取
    • 其他变更
  • 2.19 (2020-09-20)
  • 2.18 (2020-09-08)
  • 2.17 (2020-09-07)
  • 2.16.1 (2020-08-28)
  • 2.16 (2020-08-21)
  • 2.15.1 (2020-08-12)
  • 2.15 (2020-08-10)
  • 2.14.1 (2020-08-05)
  • 2.14 (2020-08-01)
  • 2.13 (2020-07-29)
  • 2.12 (2020-07-27)
  • 2.11 (2020-07-08)
  • 2.10.1 (2020-06-23)
  • 2.10 (2020-06-12)
  • 2.9.1 (2020-05-11)
  • 2.9 (2020-05-10)
  • 2.8 (2020-05-03)
  • 2.7.2 (2020-05-02)
  • 2.7.1 (2020-05-01)
  • 2.7 (2020-04-17)
  • 2.6 (2020-04-15)
  • 2.5 (2020-04-12)
  • 2.4.4 (2020-03-23)
  • 2.4.3 (2020-03-23)
  • 2.4.2 (2020-03-14)
  • 2.4.1 (2020-03-01)
  • 2.4 (2020-02-26)
  • 2.3.1 (2020-02-10)
  • 2.3 (2020-02-08)
  • 2.2.1 (2020-02-06)
  • 2.2 (2020-02-01)
  • 2.1 (2020-01-30)
  • 2.0.1 (2020-01-05)
  • 2.0 (2019-12-29)
  • 1.12.1 (2019-11-06)
  • 1.12 (2019-11-04)
  • 1.11 (2019-09-02)
  • 1.10 (2019-08-23)
  • 1.9 (2019-08-04)
  • 1.8 (2019-07-28)
  • 1.7.1 (2019-07-28)
  • 1.7 (2019-07-24)
  • 1.6 (2019-07-18)
  • 1.5 (2019-07-14)
  • 1.4.1 (2019-07-14)
  • 1.4 (2019-06-30)
  • 1.3 (2019-06-28)
  • 1.2.2 (2019-06-25)
  • 1.2.1 (2019-06-20)
  • 1.2 (2019-06-12)
  • 1.1 (2019-05-28)
  • 1.0.1 (2019-05-27)
  • 1.0 (2019-05-24)
  • 0.14 (2019-02-24)
  • 0.13 (2019-02-23)
  • 0.12 (2019-02-22)
  • 0.11 (2019-02-07)
  • 0.10 (2019-02-06)
  • 0.9 (2019-01-27)
  • 0.8 (2019-01-25)
  • 0.7 (2019-01-24)
  • 0.6 (2018-08-12)
  • 0.5 (2018-08-05)
  • 0.4 (2018-07-31)
  • 0.3.1 (2018-07-31)
  • 0.3 (2018-07-31)
  • 0.2 (2018-07-28)