任务详情
【总体任务目标】：目前国内外有多种生成式大语言模型，我想选择一个对其做微调，从而得到一种新语言的生成式大模型。这个工作重点是在一个小型语料上，要打通代码，实现微调的全部过程，从而为用大规模数据做微调得到经验和具体代码。【具体任务描述】：可以选择一个大模型，这个模型目前我想选择清华的ChatGLM或者Meta的LLAMa，这个可以商榷。我们选择的上述模型，不支持蒙古语。因此，我要先进性词表扩充，然后再用我的语料进行相关微调，从而获得小型蒙古语ChatGPT或者就一个领域GPT模型。相关微调数据都已经准备好。【想实现的主要功能】：要实现反向词典的功能。具体而言：用户给模型一段话，如，形容天很蓝的词语有什么？模型按照一定的计算生成“蔚蓝”，“深蓝”等等词汇。【模型所用框架】：前段时间看到有几个微调的框架，简化了工作量。如，LMFlow,阿里Pai等，只需要几个小时，一张卡就能实现。
