Skip to content

finetune_cosmopedia.sh如何训练出来8B模型 #27

@RuipingWang1986

Description

@RuipingWang1986

您好,根据您的指导,我目前已经可以跑通finetune_cosmopedia脚本的训练,但是我发现生成的模型和之前使用的llama2-7B模型规模基本是相同的,并没有增大;另外,按照您论文里提到的,应该是可以自己设计添加多少层,但我在训练脚本中也没有发现。

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions