O campo da IA de código aberto tem sido limitado pelas vantagens das grandes empresas de tecnologia em poder de computação e tecnologia pós-treinamento. No entanto, o programa de pós-treinamento Tülu3 lançado pela AI2 (antigo Allen Artificial Intelligence Institute) está tentando mudar esta situação. O Tülu3 fornece um processo pós-treinamento completo e personalizável, permitindo aos usuários ajustar os recursos do modelo de acordo com as necessidades e, por fim, obter uma aplicação eficaz do modelo em campos específicos. Este avanço tecnológico não só reduz o limiar de aplicação da IA de código aberto, mas também proporciona às empresas e instituições escolhas mais independentes e controláveis, especialmente em domínios que envolvem processamento de dados sensíveis, como a investigação médica.
No campo da IA de código aberto, a lacuna com as grandes empresas de tecnologia não se reflete apenas no poder computacional. AI2 (anteriormente Allen Artificial Intelligence Institute) está preenchendo essa lacuna por meio de uma série de iniciativas inovadoras. Seu recém-lançado programa de pós-treinamento Tülu3 torna possível converter modelos de linguagem grande "originais" em sistemas práticos de IA.
Ao contrário da cognição comum, os modelos básicos de linguagem não podem ser utilizados diretamente após o pré-treinamento. Na verdade, o processo pós-treinamento é o elo chave que determina o valor final do modelo. É nesta fase que o modelo passa de uma rede que “sabe tudo”, mas carece de julgamento, para uma ferramenta prática com uma orientação funcional específica.
Durante muito tempo, as grandes empresas mantiveram segredo sobre os programas pós-treinamento. Embora qualquer pessoa possa construir um modelo usando a tecnologia mais recente, são necessárias técnicas pós-treinamento exclusivas para tornar um modelo útil em campos específicos, como aconselhamento psicológico ou análise de pesquisa. Mesmo para projetos como o Llama da Meta, que é anunciado como “código aberto”, a fonte de seu modelo original e os métodos de treinamento comuns ainda são estritamente confidenciais.
O surgimento do Tülu3 altera esta situação. Este conjunto completo de soluções pós-treinamento abrange uma gama completa de processos, desde a seleção de tópicos até o gerenciamento de dados, desde o aprendizado por reforço até o ajuste fino. Os usuários podem ajustar as capacidades do modelo de acordo com suas necessidades, como fortalecer as capacidades matemáticas e de programação ou reduzir a prioridade do processamento multilíngue.
O teste do AI2 mostra que o desempenho do modelo treinado por Tülu3 atingiu o nível dos principais modelos de código aberto. Este avanço é significativo: proporciona às empresas uma escolha totalmente autónoma e controlável. Especialmente para instituições que lidam com dados confidenciais, como pesquisas médicas, elas não precisam mais depender de APIs de terceiros ou serviços personalizados. Elas podem concluir todo o processo de treinamento localmente, economizando custos e protegendo a privacidade.
A AI2 não só lançou esta solução, mas também assumiu a liderança na sua aplicação nos seus próprios produtos. Embora os resultados dos testes atuais sejam baseados no modelo Llama, eles têm planos de lançar um novo modelo baseado em seu próprio OLMo e treinado por Tülu3, que será uma solução verdadeiramente totalmente aberta do início ao fim.
Esta tecnologia de código aberto não só demonstra a determinação da AI2 em promover a democratização da IA, mas também injeta um impulso em toda a comunidade de IA de código aberto. Isso nos aproxima um passo de um ecossistema de IA verdadeiramente aberto e transparente.
O código aberto do Tülu3 injetou nova vitalidade no desenvolvimento do campo de IA e anunciou um futuro de IA mais aberto e transparente. Isto promoverá a popularização e aplicação da tecnologia de IA, promoverá o processo de democratização da IA e permitirá que mais pessoas beneficiem do progresso da tecnologia de IA.