Markdown Crawler 使用教程

Markdown Crawler 使用教程

markdown-crawlerA multithreaded 🕸️ web crawler that recursively crawls a website and creates a 🔽 markdown file for each page, designed for LLM RAG项目地址:https://gitcode.com/gh_mirrors/ma/markdown-crawler

项目介绍

Markdown Crawler 是一个多线程的 Python 网络爬虫，它能够递归地爬取网站并为每个页面创建 Markdown 文件。该项目主要用于大型语言模型文档解析，以简化 RAG（检索增强生成）用例的大型文档的分块和处理。Markdown 文件本质上是人类可读的，并保持文档结构，同时占用空间较小。

项目快速启动

安装

首先，你需要安装 Markdown Crawler 包。你可以通过 pip 来安装：

pip install markdown-crawler

执行

安装完成后，你可以通过命令行来运行爬虫。以下是一个示例命令：

markdown-crawler -t 5 -d 3 -b /markdown https://en.wikipedia.org/wiki/Morty_Smith

代码示例

你也可以在 Python 代码中直接使用该库：

from markdown_crawler import md_crawl
 
url = 'https://en.wikipedia.org/wiki/Morty_Smith'
md_crawl(url, max_depth=3, num_threads=5, base_path='markdown')

应用案例和最佳实践

RAG（检索增强生成）

Markdown Crawler 可以用于标准化大型文档，并按标题、段落或句子的块进行分块。这对于 RAG 用例非常有用。

LLM 微调

作为第一步，你可以使用 Markdown Crawler 创建大型 Markdown 文件语料库，并利用 GPT-3.5-turbo 或 Mistral-7B 提取问答对。

代理知识

你可以将 Markdown Crawler 与 autogen 结合用于专家代理。例如，如果你想重建视频游戏或电影的知识语料库，可以使用它来生成给定的专家语料库。

典型生态项目

BeautifulSoup

Markdown Crawler 使用 BeautifulSoup 解析 HTML，这是一个非常流行的 Python 库，用于从网页中提取数据。

requests

该爬虫使用 requests 库进行 HTTP 请求，这是一个功能强大且易于使用的 HTTP 库。

markdownify

Markdown Crawler 使用 markdownify 将 HTML 转换为 Markdown 格式，这是一个简单而强大的工具。

通过以上步骤和示例，你可以快速上手并使用 Markdown Crawler 进行网站内容的抓取和转换。

markdown-crawlerA multithreaded 🕸️ web crawler that recursively crawls a website and creates a 🔽 markdown file for each page, designed for LLM RAG项目地址:https://gitcode.com/gh_mirrors/ma/markdown-crawler