Эксперты сомневаются в использовании Moonshot эксплуатации Fable

Эксперты сомневаются, что китайская компания Moonshot использовала эксплуатацию Anthropic's Fable для создания Kimi K3, Сэмого мощного открытого весового LLM. Об этом заявил Майкл Кратсиос, научный советник Белого дома.

Кратсиос заявил, что Moonshot использовала чипы NVIDIA, не допущенные к экспорту в Китай, для создания Kimi K3. «Большомасштабная, тайная промышленная дистилляция с целью кражи американской интеллектуальной собственности и подрыва американских исследований недопустима», - написал Кратсиос.

Эксперты сомневаются в эффективности дистилляции

Эксперты сомневаются в эффективности дистилляции, поскольку это процесс требует значительного времени и ресурсов. «Я не думаю, что вы можете получить такой сильный и быстрый модель, как Kimi K3, исключительно за счет дистилляции Fable», - сказал Бреден Хэнкок, исследователь в Laude Institute и сооснователь Snorkel AI.

Хэнкок отметил, что дистилляция Fable не может дать такого же результата, как Kimi K3, за короткий период времени. «Есть просто не достаточно времени, чтобы дистиллировать такое большое количество данных, обучить модель и выпустить ее за две недели», - сказал он.

Дистилляция не является единственным фактором успеха

Эксперты также сомневаются в том, что дистилляция является единственным фактором успеха китайских компаний в области ИИ. «Я всегда считал, что дистилляция становится все менее эффективной с течением времени, поскольку китайские модели приближаются к фронтиру и обучение модели смещается к [обучению с подкреплением]», - сказал Натан Лэмберт, исследователь в Allen Institute for AI.

Лэмберт отметил, что дистилляция не может дать такого же результата, как Kimi K3, даже с использованием Сэмых современных технологий. «Если бы это было так, то все могли бы легко догнать GLM или K3 за счет дистилляции. Но мы этого не видим, или мы не увидим этого, за счет только обучения с подкреплением», - сказал он.

Дистилляция не является единственной проблемой

Эксперты также сомневаются в том, что дистилляция является единственной проблемой в области ИИ. «Американцы недооценивают технические возможности китайских команд», - сказал Хэнкок. «Одним из основателей Moonshot был студент PhD в КМУ. Это настоящие исследователи и инженеры, которые делают серьезную работу. Если американские модели остановятся, я думаю, что китайский прогресс замедлится, но все равно продолжится. Они не просто едут на китайских велосипедах».

Эксперты также сомневаются в том, что дистилляция является единственной проблемой в области ИИ. «Дистилляция не является единственной проблемой в области ИИ. Есть и другие факторы, которые влияют на успех китайских компаний в этой области», - сказал Лэмберт.

Навыки дистилляции не являются единственными факторами успеха

Эксперты также сомневаются в том, что навыки дистилляции являются единственными факторами успеха китайских компаний в области ИИ. «Навыки дистилляции не являются единственными факторами успеха китайских компаний в области ИИ. Есть и другие факторы, которые влияют на успех этих компаний», - сказал Хэнкок.

Эксперты также сомневаются в том, что навыки дистилляции являются единственными факторами успеха китайских компаний в области ИИ. «Навыки дистилляции не являются единственными факторами успеха китайских компаний в области ИИ. Есть и другие факторы, которые влияют на успех этих компаний», - сказал Лэмберт.