Hern, analisa o lançamento do LLaMA, um modelo de linguagem de grande porte desenvolvido pela Meta, que afirma ser mais eficiente e ecologicamente correcto do que modelos semelhantes, como o GPT-3 da OpenAI e o LaMDA da Google.

A Meta também afirma que o LLaMA é "aberto", permitindo que outros investigadores testem abordagens para limitar ou eliminar problemas como enviesamento, toxicidade e desinformação em modelos de linguagem de grande porte.

No entanto, houve uma fuga e o modelo acabou por ter o acesso desbloqueado. A Meta ainda não divulgou uma resposta oficial.

O autor também discute algumas das consequências do controle dos modelos de linguagem de grande porte (LLM), onde as empresas de tecnologia com modelos abertos, como o LLaMA, podem impactar significativamente a pesquisa da inteligência artificial.

Com a partilha do código do LLaMA, outros investigadores podem testar mais facilmente novas abordagens para limitar ou eliminar os problemas que se verificam neste tipo de grandes modelos de linguagem.

Ao dar acesso livre ao LLaMA para uso dos investigadores, a Meta eliminou um dos principais limites da pesquisa académica de IA: o vasto custo de treinar um LLM. Três anos atrás, cada sessão de treinamento do GPT-3 custava entre dez a doze milhões de dólares.

Mas, a generosidade da Meta não é ilimitada. “Para manter a integridade e evitar o uso indevido… o acesso ao modelo será concedido caso a caso”, disse a empresa.

Também não está claro qual será a resposta da Meta. “O objectivo da companhia é partilhar modelos de IA de última geração com membros da comunidade de investigação para nos ajudar a avaliar e melhorar esses modelos”, disse um porta-voz da Meta.

O objectivo da Meta não era simplesmente replicar o GPT. A empresa diz que a LLaMA é um modelo "mais pequeno e com melhor performance" do que os seus pares, foi concebido para alcançar os mesmos feitos de compreensão e articulação com uma pegada computacional menor, e por isso tem um impacto ambiental correspondentemente menor.

De acordo com Alex Hern, é muito cedo para dizer qual será o efeito dessa fuga do novo sistema de linguagem da Meta, no desenvolvimento da tecnologia IA. O modelo, como está, é inutilizável para qualquer pessoa sem sérios conhecimentos técnicos e um computador extremamente robusto ou a vontade de gastar algumas centenas em contas de armazenamento em nuvem.