实现网
11人浏览/2人投稿
5天前
待托管赏金
🌐 GraphRAG 开发者挑战赛——法律文档处理（原型）
职位类型： 合同 / 自由职业
报酬方式： 仅在通过评测（总体得分 95% 以上）后支付
开发周期： 从接收材料起 7–10 天内完成现场演示
项目范围： GraphRAG 原型（无前端、无生产环境）
我们正在寻找一位紧跟当前图结构检索（Graph-based Retrieval）研究的专家，能够为法律文档设计一个高精度 GraphRAG 管道系统。
本项目不是聊天机器人或界面开发项目，也不是比拼延迟速度的竞赛。
系统可包含多跳检索或智能 Agent 调度。
知识图谱的构建与遍历属于项目范围。
⚠️ 必须实现 GraphRAG，而非普通的 RAG！
📂 你将获得的资料
/docs/ → 10 份预处理的 Markdown 法律文档（包含丰富元数据）
/sample_questions.json → 2 个示例问题（格式参考）
/sample_answers_rag.json → 2 个示例答案（风格与结构参考）
以上仅为格式参考。正式评测将使用未公开的新问题。
🛠️ 你需要完成的内容（仅限原型阶段）
请在 Python 3.12 环境下（Poetry 项目结构）实现以下两个函数：
def ingest(document_paths: List[str]) -> None:
"""导入提供的法律 Markdown 文档，构建知识图谱等。"""
def query(questions: List[str]) -> List[str]:
"""返回基于检索结果的答案，并使用 Vancouver 风格的引文格式。"""
要求：
无需前端 UI、无需 API Key、无需云环境；
可使用任意技术栈，重点在于方法与结果；
query(...) 必须支持并行执行，并能在终端显示进度；
在 60 分钟的现场测试中需处理约 400 个问题。
🧪 评测与报酬（如何获得支付）
你在本地使用示例文件进行开发与调试；
现场测试时（60 分钟内），我们提供约 400 个新问题；
你运行 query(...) 并生成 /answers.json 文件；
我们使用 LLM 作为评测者对你的答案进行打分（你无需构建评估框架）。
若你的总体得分在以下四项指标中超过 95%，则视为通过：
忠实性（Faithfulness）：无幻觉，回答内容来源明确；
相关性（Relevance）：检索内容与问题高度匹配；
完整性（Completeness）：覆盖问题的所有关键要点；
清晰度（Clarity）：结构清晰、逻辑严谨、法律表达规范。
通过后需提交完整代码库（包含仓库、Poetry 锁文件、运行说明及技术说明文档）。
我们验证可复现性后支付报酬，并考虑与你签订长期合作。
注意事项：
不使用 F1 指标；
不考察延迟时间；
官方统一运行评测；
若未通过评测 → 无报酬，你保留代码所有权；不做例外处理。
英文版：We’re hiring an expert who follows current graph-based retrieval research and can design a
high-accuracy GraphRAG pipeline for legal documents. This is not a chatbot/UI project and
not a latency contest. The system may include multi-hop/agentic orchestration.
Knowledge-graph construction and traversal are in scope. Must be GraphRAG not vanilla RAG!
----------------------------------------------------------------------
📂 What You Receive
- /docs/ → 10 pre-processed Markdown legal documents (rich metadata)
- /sample_questions.json → 2 sample questions (format reference)
- /sample_answers_rag.json → 2 sample answers (style/structure reference)
These are for orientation only. The live benchmark uses unseen questions.
----------------------------------------------------------------------
🛠️ What You Must Build (Prototype Only)
Expose exactly two Python functions (Python 3.12, Poetry project):
def ingest(document_paths: List[str]) - None:
"""Ingest the provided legal markdown documents, build knowledge graph etc."""
def query(questions: List[str]) - List[str]:
"""Return answers as strings with Vancouver-style citations grounded in retrieved sources."""
- No UI, no API keys provided, no cloud required
- Use any stack—we care about your approach and results, not tools
- query(...) must support parallel execution to process ~400 questions
in the 60-min live session. Must show a progress indicator in the terminal.
----------------------------------------------------------------------
🧪 Demo & Evaluation (How You Get Paid)
- You implement locally using the samples for orientation
- Live 60-min session: we provide ~400 questions
- You run query(...) live and produce /answers.json
- We run the benchmark (LLM-as-judge) on your answers; you don’t need to
build an evaluation framework
If your overall score is more than 95% across:
• Faithfulness (no hallucinations; grounded in retrieved text)
• Relevance (retrieval matches the query)
• Completeness (key points fully covered)
• Clarity (clear, structured, legally coherent)
You hand over the entire codebase (repo, Poetry lock, run instructions, and short tech note).
Payment is released only after you deliver the full repo and we verify reproducibility.
You are considered for hiring/further engagement.
NOTE:
- We do not use F1
- We do not measure latency
- We run the benchmark
- Fail → No payment; you keep your code. No exceptions
