数据库 | 全网优质资源汇总✨

🕷 🔁 AI 爬虫与数据采集工具合集📦 网页抓取｜ AI Agent ｜反爬工具｜数据处理框架

Tue, 30 Jun 2026 04:01:50 GMT

🕷 🔁 AI 爬虫与数据采集工具合集

📦 网页抓取｜ AI Agent ｜反爬工具｜数据处理框架

🤖 browser-use
➤ AI浏览器代理，可点击/登录/填表/操作网页
➤ 像真人一样执行复杂网页任务
➤ ETH团队开发
🔗 https://github.com/browser-use/browser-use

———

🧱 Crawlee
➤ 生产级爬虫框架（Apify）
➤ 支持代理轮换 / 自动重试 / 队列管理
➤ 反封禁能力完善
🔗 https://github.com/apify/crawlee

———

🐍 Scrapy
➤ 工业级爬虫框架
➤ 支持百万级网页抓取
➤ 数据采集稳定成熟
🔗 https://github.com/scrapy/scrapy

———

📄 MarkItDown
➤ 多格式转 Markdown（网页/PDF/Office/图片）
➤ AI数据处理标准化工具
🔗 https://github.com/microsoft/markitdown

———

🧠 Scrapling
➤ 自适应反爬框架
➤ 自动适配网站结构变化
➤ 提升稳定性
🔗 https://github.com/D4Vinci/Scrapling

———

📱 scrcpy
➤ 安卓远程控制工具
➤ 用于移动端数据采集/自动化
🔗 https://github.com/Genymobile/scrcpy

———

🔍 AutoScraper
➤ 自动规则爬虫（无需写选择器）
➤ 输入样本自动学习规则
🔗 https://github.com/alirezamika/autoscraper

———

🌐 curl_cffi
➤ 浏览器级HTTP请求库
➤ 模拟真实Chrome指纹（TLS/JA3）
➤ 反检测能力强
🔗 https://github.com/lexiforest/curl_cffi

📌 简单说：
👉 这是一整套从“AI自动操作网页”到“工业级爬虫与反反爬”的完整数据采集工具链。

📂 #爬虫 #数据采集 #AI工具 #Agent #WebScraping

DBX 15 MB 驾驭 50+ 种数据库

Wed, 17 Jun 2026 05:05:20 GMT

DBX 15 MB 驾驭 50+ 种数据库。桌面端 & Docker 自托管，内置 AI 助手

一款轻量级、跨平台、可离线使用的数据库桌面客户端，支持 MySQL、PostgreSQL、SQLite、Redis、MongoDB 等 40+ 种数据库。集成了连接管理、SQL 编辑、数据表格和 AI 助手功能，并提供 Docker 自托管、Web 版、MCP Server 和 CLI。

项目地址官网地址

#开源 #数据库软件 #电脑软件

PrivateAccess™ 一款为 SanDisk® USB 闪存盘设计的安全存储解决方案，可快速、便捷地保护重要与敏感文件

Wed, 13 Aug 2025 16:06:57 GMT

PrivateAccess™

一款为 SanDisk® USB 闪存盘设计的安全存储解决方案，可快速、便捷地保护重要与敏感文件。用户可通过个人密码访问专属的“私人保险库”，系统会对其中的文件进行自动加密，即使 U 盘被他人借用、遗失或被盗，也能确保数据无法被未经授权的访问者读取，从而最大程度保障信息安全。

点击访问

#SanDisk #PrivateAccess #文件加密 #数据安全 #USB闪存盘 #隐私保护

#数据库Surrealist-可视化管理SurrealDB数据库Surrealist 是可视化管理 SurrealDB 数据库的终极方式

Wed, 01 May 2024 10:21:24 GMT

#数据库
Surrealist-可视化管理SurrealDB数据库
Surrealist 是可视化管理 SurrealDB 数据库的终极方式。毫不费力地连接到任何 SurrealDB 数据库并执行查询、浏览表和记录、设计您喜欢的架构等等。Surrealist 旨在适应广泛的工作流程，因此无论您是将 SurrealDB 推向极限，还是刚刚入门，Surrealist 都是完美的工具。
Github：https://github.com/surrealdb/surrealist
官网：https://surrealist.app
特征
查询视图
使用查询视图对数据库执行查询。您可以在“变量”面板中定义变量并在查询中使用它们，并在“结果”面板中浏览结果。
此外，还可以在“已保存的查询”中保存和组织查询，同时可以在“历史记录”抽屉中查看最近查询的列表。
资源管理器视图
资源管理器视图用于浏览数据库和检查单个记录。当您在左侧面板中选择一个表时，表内容将显示在记录资源管理器中。您可以单击记录 ID 以打开记录检查器，您可以在其中编辑记录内容和遍历图形关系。
设计器视图
设计器视图是一个功能强大的工具，可用于定义和管理数据库架构。您可以创建表和边，修改数据库模式，并在图形视图中可视化数据库表。
身份验证视图
使用身份验证视图通过创建命名空间登录名、数据库登录名或作用域来管理对数据库的访问。
函数视图
使用“函数”视图创建和管理架构级函数。使用内置的 SurrealQL 编辑器轻松编写函数，定义其输入参数并配置访问权限。
模型视图
使用“模型视图”将 SurML 文件上传到数据库，并列出可用的机器学习模型。
API 文档视图
API 文档通过提供多种可用语言的个性化 API 文档，帮助您更快地针对 SurrealDB 数据库进行开发。
本地数据库服务…
📡发布：https://noisevip.cn/18124.html
🪧关注频道：@quanshoulu
💬频道社群：https://www.noisework.cn/qun/
📬投稿bot：@noisewowbot
📇搜索bot：@Efficiencysearchbot
🎁访问主页： www.noisework.cn

#AI #嵌入 #数据库AI 原生开源嵌入数据库-chromaChroma拥有使用嵌入所需的所有工具让嵌入变得简单安装：pip install chromadb核心 API 是 4 个命令import chromadbclient = chromadb.Client()collection = client.create_collection("sample_collection")# Add docs to the collection. Can also update and delete. Row-based API coming soon!collection.add(documents=["This is document1", "This is document2"], # we embed for you, or bring your ownmetadatas=[{"source": "notion"}, {"source": "google-docs"}], #…📡发布：

Thu, 13 Jul 2023 12:17:54 GMT

#AI #嵌入 #数据库
AI 原生开源嵌入数据库-chroma
Chroma拥有使用嵌入所需的所有工具

让嵌入变得简单

安装：

pip install chromadb

核心 API 是 4 个命令

import chromadb
client = chromadb.Client()

collection = client.create_collection("sample_collection")

# Add docs to the collection. Can also update and delete. Row-based API coming soon!
collection.add(
documents=["This is document1", "This is document2"], # we embed for you, or bring your own
metadatas=[{"source": "notion"}, {"source": "google-docs"}], #…
📡发布：https://noisevip.cn/16779.html
📢关注频道：@quanshoulu
💬留言讨论：@Efficiencyfollow
📬投稿bot：@noisewowbot
📇搜索bot：@Efficiencysearchbot
🎁访问主页： www.noisework.cn

#低代码 #数据 #自动化ussknacker低代码数据自动化ussknacker允许您使用易于使用的GUI设计，部署和监控实时决策算法

Wed, 12 Jul 2023 12:45:49 GMT

#低代码 #数据 #自动化
ussknacker低代码数据自动化
ussknacker允许您使用易于使用的GUI设计，部署和监控实时决策算法。
对于无状态用例，可以部署到 Kubernetes 的轻量级、可扩展和高性能引擎。当需要更高级的有状态场景时
可以利用 Apache Flink 的强大功能和可靠性来使您的流程快速准确
主要特点
易于使用、决策算法的流程图、强大的表达式语言
自动完成和验证、测试和监控工具
REST （OpenAPI）和数据库（JDBC）扩充、推断富集的 ML 模型
一键部署、版本历史、部署灵活性、在基于 Flink 或 K8s 的轻量级引擎上运行
Kafka® 和 HTTP 接口、与Kafka兼容平台集成，如Confluent® Cloud，Azure Event Hubs®和Aiven® for Apache Kafka®
流式处理和请求-响应模式、可定制和可扩展具有企业扩展的开源
访问：https://nussknacker.io
📡发布：https://noisevip.cn/16751.html
📢关注频道：@quanshoulu
💬留言讨论：@Efficiencyfollow
📬投稿bot：@noisewowbot
📇搜索bot：@Efficiencysearchbot
🎁访问主页： www.noisework.cn

#AI #云原生 #数据库开源云原生矢量数据库，为下一代 AI 应用提供存储使用 Milvus 向量数据库，您可以在不到一分钟的时间内创建大规模的相似性搜索服务

Mon, 19 Jun 2023 05:58:50 GMT

#AI #云原生 #数据库
开源云原生矢量数据库，为下一代 AI 应用提供存储
使用 Milvus 向量数据库，您可以在不到一分钟的时间内创建大规模的相似性搜索服务。简单直观的 SDK 也可用于各种不同的语言
Milvus 矢量数据库采用系统化的云原生方法，将计算与存储分离，并允许您向上和向外扩展
支持各种数据类型、具有属性过滤的增强矢量搜索、UDF 支持、可配置的一致性级别、时间旅行等
访问官方：https://milvus.io
📡发布：https://noisevip.cn/16633.html
📢关注频道：@quanshoulu
💬留言讨论：@Efficiencyfollow
📬投稿bot：@noisewowbot
📇搜索bot：@Efficiencysearchbot
🎁访问主页： www.noisework.cn

#开源 #数据库 #可视化开源无代码数据库APITable是一个面向API且易于使用的可视化数据库，适合所有人，使其成为Airtable的最佳开源替代品

Tue, 27 Dec 2022 06:59:42 GMT

#开源 #数据库 #可视化
开源无代码数据库
APITable是一个面向API且易于使用的可视化数据库，适合所有人，使其成为Airtable的最佳开源替代品。最重要的是，APITable具有更酷的UI和更多功能，可以将您的工作和生活优化到一个神奇的水平
https://apitable.com/

AITable.ai

Automate Data Across 6,000+ Apps

AITable.ai simplifies workflow automation with a visual database; connects to 6,000+ apps via Zapier, Make, Pabbly, Activepieces.

#数据库 #生产力 #笔记 #自动化deepnote 构建可协作自动化数据笔记本Deepnote是一种为协作而构建的新型数据笔记本 – 兼容Jupyter，在云中神奇地工作它能在几秒内链接来自谷歌云存储、postgre、mysql等十几种数据源同时在构建笔记生态的同时让你共享你的链接到你的团队中进行实时协作无论您是在团队中工作还是独自工作，Deepnote 都可以帮助您清理数据、编写复杂查询、构建预测模型以及发布精美的应用程序

Thu, 22 Dec 2022 04:54:56 GMT

#数据库 #生产力 #笔记 #自动化
deepnote 构建可协作自动化数据笔记本
Deepnote是一种为协作而构建的新型数据笔记本 – 兼容Jupyter，在云中神奇地工作
它能在几秒内链接来自谷歌云存储、postgre、mysql等十几种数据源
同时在构建笔记生态的同时让你共享你的链接到你的团队中进行实时协作
无论您是在团队中工作还是独自工作，Deepnote 都可以帮助您清理数据、编写复杂查询、构建预测模型以及发布精美的应用程序。
官方：https://deepnote.com
📡发布：https://noisevip.cn/15171.html
📢关注频道：@quanshoulu
💬留言讨论：@Efficiencyfollow
📬投稿bot：@noisewowbot
📇搜索bot：@Efficiencysearchbot
🎁访问主页： www.noisework.cn

#NOTION #数据库 #自动化通过API创建Json数据库导入notion数据库此前已在社区里分享过，是个非常值得学习的例子

Sun, 27 Nov 2022 02:45:55 GMT

#NOTION #数据库 #自动化
通过API创建Json数据库导入notion数据库
此前已在社区里分享过，是个非常值得学习的例子。
这是来自于Notion使用者的一个案例，通过这个案例的学习能更方便的满足自动化需求
开源地址：https://github.com/TonySteven/notion-create-exam-databace
案例地址：https://genesisorgcn.notion.site/Json-API-notion-0e28fa9199ce4ea681b823239c235d2b
📡发布：https://noisevip.cn/?p=14645
📢关注频道：@quanshoulu
💬留言讨论：@Efficiencyfollow
📬投稿bot：@noisewowbot
📇搜索bot：@Efficiencysearchbot
🎁访问主页： www.noisework.cn

#开源 #数据库🔨 MySQL数据库markdown文档生成工具

Wed, 16 Nov 2022 11:39:42 GMT

#开源 #数据库
🔨 MySQL数据库markdown文档生成工具
https://github.com/hackycy/db2md-cli

GitHub

GitHub - hackycy/db2md-cli: 🔨 MySQL数据库转Markdown或Word文档工具

🔨 MySQL数据库转Markdown或Word文档工具. Contribute to hackycy/db2md-cli development by creating an account on GitHub.

#开源 #数据库 #工具SmartSQL 是一款方便、快捷的数据库文档查询、导出工具

Wed, 16 Nov 2022 11:39:41 GMT

#开源 #数据库 #工具
SmartSQL 是一款方便、快捷的数据库文档查询、导出工具
https://github.com/TeslaFly01/SmartSqlT

GitHub

GitHub - TeslaFly01/SmartSqlT: 🔥🔥🔥 SmartSQL 是一款方便、快捷的数据库文档查询、导出工具！该工具从最初支持CHM文档格式开始，通过不断地探索开发、集思广益和不断改进，又陆续支持Word、Excel、PDF、Ht…

🔥🔥🔥 SmartSQL 是一款方便、快捷的数据库文档查询、导出工具！该工具从最初支持CHM文档格式开始，通过不断地探索开发、集思广益和不断改进，又陆续支持Word、Excel、PDF、Html、Xml、Json、MarkDown等文档格式的导出。同时支持SqlServer、MySql、PostgreSQL、SQLite等多种数据库的文档查询和导出功能。 - TeslaFly01/Smart...

#开源 #数据库数据库工具，根据表结构文档生成创建表sql，根据数据库表信息导出Model和表结构文档，根据文档生成数据库表，根据已有Model文件生成创建数据库表sql

Mon, 18 Apr 2022 12:37:58 GMT

#开源 #数据库
数据库工具，根据表结构文档生成创建表sql，根据数据库表信息导出Model和表结构文档，根据文档生成数据库表，根据已有Model文件生成创建数据库表sql
https://github.com/WeihanLi/DbTool

GitHub

GitHub - WeihanLi/DbTool: 数据库工具，根据表结构文档生成创建表sql，根据数据库表信息导出Model和表结构文档，根据文档生成数据库表，根据已有Model文件生成创建数据库表sql

数据库工具，根据表结构文档生成创建表sql，根据数据库表信息导出Model和表结构文档，根据文档生成数据库表，根据已有Model文件生成创建数据库表sql - GitHub - WeihanLi/DbTool: 数据库工具，根据表结构文档生成创建表sql，根据数据库表信息导出Model和表结构文档，根据文档生成数据库表，根据已有Model文件生成创建数据库表sql

数据库 | 全网优质资源汇总✨

🕷 🔁 AI 爬虫与数据采集工具合集📦 网页抓取 ｜ AI Agent ｜ 反爬工具 ｜ 数据处理框架

DBX 15 MB 驾驭 50+ 种数据库

PrivateAccess™ 一款为 SanDisk® USB 闪存盘设计的安全存储解决方案，可快速、便捷地保护重要与敏感文件

#数据库Surrealist-可视化管理SurrealDB数据库Surrealist 是可视化管理 SurrealDB 数据库的终极方式

#低代码 #数据 #自动化ussknacker低代码数据自动化ussknacker允许您使用易于使用的GUI设计，部署和监控实时决策算法

#AI #云原生 #数据库开源云原生矢量数据库，为下一代 AI 应用提供存储使用 Milvus 向量数据库，您可以在不到一分钟的时间内创建大规模的相似性搜索服务

#开源 #数据库 #可视化开源无代码数据库APITable是一个面向API且易于使用的可视化数据库，适合所有人，使其成为Airtable的最佳开源替代品

#NOTION #数据库 #自动化通过API创建Json数据库导入notion数据库此前已在社区里分享过，是个非常值得学习的例子

#开源 #数据库🔨 MySQL数据库markdown文档生成工具

#开源 #数据库 #工具SmartSQL 是一款方便、快捷的数据库文档查询、导出工具

#开源 #数据库数据库工具，根据表结构文档生成创建表sql，根据数据库表信息导出Model和表结构文档，根据文档生成数据库表，根据已有Model文件生成创建数据库表sql

🕷 🔁 AI 爬虫与数据采集工具合集📦 网页抓取｜ AI Agent ｜反爬工具｜数据处理框架