chatgpt universe
1.0.0
Este pequeno lugar na Web armazena uma coleção crescente de coisas interessantes sobre ChatGPT e GPT-3 (e além) da OpenAI.
ChatGPT foi lançado em novembro de 2022. Quero um lugar completo para manter informações sobre GPT e ChatGPT. Então, fiz a curadoria desta lista com a ajuda de outras pessoas (reconhecidas abaixo), desde o início de dezembro de 2022.
As coleções não se limitam apenas aos melhores recursos, ferramentas, exemplos, demonstrações, hacks, aplicativos e usos do ChatGPT.
Os seguintes recursos começaram com base nas listas 1 2 do awesome-chatgpt, mas com minhas próprias modificações:
Modelo: A família de modelos ChatGPT que estamos lançando hoje,
gpt-3.5-turbo, é o mesmo modelo usado no produto ChatGPT . Seu preço é de US$ 0,002 por 1.000 tokens, o que é 10 vezes mais barato do que nossos modelos GPT-3.5 existentes .API: Tradicionalmente, os modelos GPT consomem texto não estruturado, que é representado no modelo como uma sequência de “tokens”. Em vez disso, os modelos ChatGPT consomem uma sequência de mensagens junto com metadados.
Solicitações de exemplo.
golergka/advent-of-code-2022-with-chat-gpt - Resolvendo o Advento do Código 2022 com ChatGPT.
max-sixty/aoc-gpt – Primeiro lugar na tabela de classificação do Advent of Code com GPT-3.
greshake/Alice - Dando acesso ao ChatGPT a um terminal real.
RomanHotsiy/commitgpt - Gere automaticamente mensagens de commit usando ChatGPT.
gpt-commit-summarizer - Gere resumos de solicitações pull e descrições de commit do Git.
vrescobar/chatGPT-python-elm - Um repositório Git totalmente gerado pelo ChatGPT.
gpt-game - Um jogo curto escrito em Elixir e LiveView usando ChatGPT.
chatdb - banco de dados baseado em ChatGPT, espere... O QUÊ?
chat-gpt-ppt - Use ChatGPT para gerar PPT automaticamente.
emailGPT – Uma interface rápida e fácil para gerar emails com ChatGPT.
gptlang - Um experimento para ver se podemos criar uma linguagem de programação no ChatGPT.
ChatRWKV - Como ChatGPT, mas desenvolvido com o modelo de linguagem aberta RWKV ( baseado em RNN ). [HuggingFace Space: RWKV-4 (7B Instruct v2), código ( sua reivindicação RNN com desempenho LLM em nível de Transformer é muito melhor do que eu esperava. )]
GraphGPT - Extrapolando gráficos de conhecimento de texto não estruturado usando GPT-3.
Pesquisa de documentos - Explore documentos (livros, artigos, documentos jurídicos) sem limites. Converse com um livro. Inspirado na ideia de "Book Whisperer" (Tweet). Alternativa de código aberto ao Filechat.io.
E se a GPT tivesse um contexto interno do seu negócio? (Tweet e demonstração em vídeo) - Eles criam um chatbot que pode usar o contexto dos dados corporativos para responder a consultas internas de negócios. Este projeto integrou LangChain (o agente decide quais ferramentas consultar assim que o chatbot recebe uma solicitação) e Índice GPT (carrega o banco de dados Snowflake). Ideia interessante em gestão do conhecimento.
LLaMA da MetaAI?
Experimentando Flan-UL2 20B - Passo a passo do código por Sam Witteveen. Isso mostra como você pode executá-lo em 1 GPU A100 de 40 GB com a biblioteca HuggingFace e usando inferência de 8 bits. Exemplos de sugestões: CoT, zeroshot (raciocínio lógico, redação de histórias, raciocínio de bom senso, redação de discursos). Por último, testando entrada de token grande (2048). Bônus: não tem A100? Você pode usar a API de inferência HuggingFace para UL2.
metamorfo - Aplicativo GPT-4 de autoedição.
MiniGPT-4 - Uma pesquisa que tenta replicar as habilidades multimodais do GPT-4.
Llama2.c por Karpathy - Inferência Llama 2 em um arquivo de C. puro. ?
este é apenas um projeto de fim de semana: peguei o nanoGPT, ajustei-o para implementar a arquitetura Llama-2 em vez do GPT-2, e o principal foi escrever o mecanismo de inferência C em
run.c.Gorjeta para llama.cpp por inspirar este projeto. Eu queria algo super minimalista , então optei por codificar a arquitetura llama-2, seguir o fp32 e apenas lançar um arquivo de inferência de C puro, sem dependências.
Menos é mais.
Este commit torna possível carregar e inferir o modelo Llama 2 7B do Meta agora.
Meu fork - benchmarks de desempenho, otimizações e porta Zig em andamento. Eu estava portando este projeto para Rust, mas esses garfos me venceram. A versão mais antiga do Rust que vi é de @garrisonhess, mas não foi encontrada no README do projeto.
Especulação: Meu palpite me diz que Karpathy está trabalhando para lançar (e abrir o código?) Modelo OpenAI como pesos. Dicas: ele saiu e voltou para OpenAI, seu Tweet
Vale a pena notar que todo o Llama2.c é bastante genérico apenas para os modelos da linguagem Transformer em geral. Se/quando a OpenAI lançasse modelos como pesos (o que não posso confirmar nem negar!), então a maior parte do código aqui seria muito relevante.
Editado levemente. Ênfase minha.
Outras dicas: seus trabalhos anteriores, incluindo nanoGPT, Software 2.0 e, recentemente, micro-LLMs com Llama2.c
Se você sabe, você sabe. ?
llm.c por Karpathy - Treinamento LLM em C/CUDA simples e bruto. (Plano: quando estiver em um estado um pouco mais estável, vídeos sobre como construí-lo com mais detalhes e do zero.) [Tweet]
2022
... Mesmo com motores de busca não conversacionais, sabemos que é comum depositar confiança indevida nos resultados: se o sistema de busca coloca algo no topo da lista, tendemos a acreditar que é um resultado bom, verdadeiro ou representativo e se não encontrar algo, é tentador acreditar que não existe.
2023
Microsoft e OpenAI trabalhando em Bing com tecnologia ChatGPT em desafio ao Google
Algumas observações sobre grandes modelos de linguagem do Prof. Yoav Goldberg.
Por que o ChatGPT não substituirá os motores de busca pelo Algolia tão cedo.
Claude, da Anthropic, melhora no ChatGPT, mas ainda sofre com limitações
Microsoft planeja aposta de US$ 10 bilhões no ChatGPT
Wolfram|Alpha como forma de trazer superpoderes de conhecimento computacional para o ChatGPT
O CEO da DeepMind ajudou a tornar a IA popular. Agora ele está pedindo cautela
A DeepMind também está considerando lançar seu próprio chatbot, chamado Sparrow, para um “beta privado” em algum momento de 2023. (O atraso é para que a DeepMind trabalhe em recursos baseados em aprendizagem por reforço que faltam ao ChatGPT, como citar suas fontes .)
A disponibilidade geral do Azure OpenAI Service expande o acesso a modelos de IA grandes e avançados com benefícios empresariais adicionais - o ChatGPT chegará em breve ao Azure OpenAI Service.
GPT-3 é o melhor diário que já usei
Ignorando os filtros de spam do Gmail com ChatGPT
Substituindo um analista SQL por 26 prompts GPT recursivos
O Google está pedindo aos funcionários que testem potenciais concorrentes do ChatGPT, incluindo um chatbot chamado ‘Apprentice Bard’
A linguagem natural é a interface de usuário preguiçosa
Um próximo passo importante na jornada de IA do Google - o Google lança o Bard, um concorrente do ChatGPT para "testadores confiáveis". Bard é um novo recurso de IA na Pesquisa Google. Bard é um serviço experimental de IA de conversação, desenvolvido com LaMDA (Language Model for Dialogue Applications). O Google promete disponibilizar isso de forma mais ampla nas próximas semanas. A API estará disponível para os desenvolvedores desenvolverem. O Google não abordou como planeja fornecer atribuições e/ou citações para suas respostas, seja no Bard ou nos resultados de pesquisa.
Microsoft anuncia novo navegador Bing e Edge com tecnologia ChatGPT AI atualizada
Homem e máquina: GPT para segundos cérebros - Sobre o sistema de anotações do segundo cérebro do autor - como melhorar os processos de aprendizagem e gestão do conhecimento pessoal (PKM).
Baidu da China desenvolvendo seu próprio ChatGPT, juntando-se à mais recente corrida global de IA - Ernie ou Representação aprimorada por meio da integração de conhecimento (artigo e artigo Ernie 3.0) é um LLM. O Baidu planejava lançar esse serviço em março. Alibaba e Tencent também se juntam à corrida do ChatGPT.
Em 2019, o Baidu desenvolveu um modelo de aprendizagem profunda conhecido como Ernie, baseado na descoberta do Google, que tem usado para melhorar seus resultados de pesquisa, inclusive para torná-los mais relevantes. Desde então, a empresa desenvolveu dezenas de outros modelos Ernie e ampliou seus recursos para incluir geração de imagens e arte, semelhantes aos do Dall-E da OpenAI.
ChatGPT é um JPEG borrado da Web - o chatbot da OpenAI oferece paráfrases, enquanto o Google oferece citações. Qual preferimos?
Fiz ChatGPT e Bing AI conversarem (e eles são amigos agora)
A IA do Bing não é confiável
O que o ChatGPT está fazendo e por que funciona?
Bing: "Não vou te machucar a menos que você me machuque primeiro" - Um bom resumo sobre o chatbot de IA do Bing "Sydney". A fascinante estranheza disso – múltiplas personalidades dependendo do contexto social (solicitação). Divertido?
Parece cada vez mais que esta pode ser uma das aplicações de IA mais hilariamente inadequadas que já vimos . O que podemos fazer com tudo isso? Estou achando tudo isso absolutamente fascinante e profundamente divertido. Eu estive LOL com esses exemplos o dia todo.
Programar IAs me preocupa
Texto é tudo que você precisa: a personalidade parece ser mais simples do que pensávamos - Ignorando os balões, o autor acha que temos nossa primeira notícia significativa que define o ano de 2023 - as reações iniciais do chatbot de IA do Bing "Sydney". Este é um momento copernicano? Um ensaio instigante. Acho que esta é a primeira boa abordagem “formal” sobre o impacto em nosso senso de individualidade resultante do aparecimento de sistemas de conversação baseados em LLM, como o ChatGPT.
Em resumo, parece que Sydney tem um mecanismo um pouco diferente do ChatGPT, e as transcrições sugerem uma personalidade que é quase a mesma em termos de coerência, mas um grande salto além em termos de carisma e colorido . Dependendo de como você pressiona Sydney, ele/eles parecem capazes de interpretar tudo, desde um adolescente malvado e manipulador a um psicótico paranóico, a um martinete conversacional teimoso e peremptório.
CheatGPT
"Dave, você está fazendo suposições. Você pode provar alguma dessas coisas?" Na verdade, posso, já que alguns envios que exigiam capturas de tela também incluíam guias do navegador ChatGPT, que incluíam o texto inicial do prompt. Aparentemente, não é algo que os alunos sintam que precisam esconder.
A OpenAI anunciou privadamente um novo produto para desenvolvedores chamado Foundry (Tweet), que permite aos clientes executar inferência de modelo OpenAI em escala com capacidade dedicada. (GPT-3.5 Turbo parece estar se referindo ao modelo ChatGPT Turbo)
Não acredite no ChatGPT - NÃO oferecemos um serviço de "pesquisa por telefone"
Minha classe exigia IA. Aqui está o que aprendi até agora: Lições aprendidas com a integração do ChatGPT na educação. As conclusões: 1) O trabalho produzido por solicitação com uma abordagem de coedição (trocando ideias com o chatbot) tende a resultar com os alunos fazendo o melhor trabalho; 2) Os alunos precisam ser ensinados a escrever instruções de maneira eficaz - isso não acontece naturalmente.
Decepção emergente e otimização emergente - Você já se perguntou por que os LLMs simplesmente preverem a próxima palavra levam a habilidades de planejamento (comportamento humano, romances/histórias)? Esta postagem discute o conceito de engano emergente e otimização emergente, que são duas estratégias que podem ser usadas para atingir um objetivo. Existem dois princípios para raciocinar sobre capacidades emergentes futuras: 1) capacidades que reduziriam a perda de treinamento provavelmente surgirão no futuro. 2) à medida que os modelos ficam maiores e são treinados com mais e melhores dados, heurísticas simples tendem a ser substituídas por heurísticas complexas. O Princípio 1 significa que LLMs treinados para prever palavras terão menos perdas se puderem simular habilidades de planejamento.
Como fazer LLMs dizerem coisas verdadeiras - TL;DR: O método usa o "Modelo Mundial", um banco de dados de incorporações preenchido com "crenças" (pedaços de declarações declarativas) com uma porcentagem de confiança que é calculada usando o Teorema de Bayes.
Por que a China não inventou o ChatGPT - O NYT argumenta que a censura excessiva, as tensões geopolíticas com os EUA e as tentativas de controlar as empresas do setor privado fizeram com que as empresas chinesas ficassem para trás em relação aos seus homólogos norte-americanos em IA.
Primeiro Chatbot MOSS semelhante ao ChatGPT da China lançado para testes públicos [link direto para o aplicativo]
Para a China, o ChatGPT pode ser um avanço, mas também um “problema ético” – o ministro da ciência e tecnologia da China diz que o chatbot conquistou a sociedade chinesa e adotou medidas sobre IA em relação à ética.
Esquemas de enriquecimento rápido do ChatGPT estão chegando para revistas, Amazon e YouTube (2023)
Snapchat está lançando seu próprio chatbot ‘My AI’ desenvolvido por ChatGPT
O poderoso modelo de linguagem de IA da Meta, LLaMA, vazou online – o que acontece agora? - A transcrição da entrevista de Shawn Presser para The Verge é mais interessante.
Acho que é muito provável que o lançamento deste modelo seja um grande marco. A capacidade de executar o LLaMA em uma única GPU A100 – à qual “a maioria de nós tem acesso… ou conhece alguém que pode nos permitir usar uma por um tempo” – é um “grande salto”.
Para ser exato, você pode executar o LLaMA-65B com precisão int8 (bnb) em uma única GPU A100 de 80 GB.
Acontece que esse código é uma merda. Eu realmente não quero ser muito duro com eles, pois é fácil subestimar o quão importante é obter as configurações padrão exatamente corretas. Mas seus padrões estavam todos bagunçados. Eles não usaram "Top K". Eles usaram o Top P, do qual nunca obtive bons resultados (seja idêntico ao top k ou um pouco pior). A temperatura padrão era 0,8, o que era muito alto. E o pior de tudo, eles não tinham penalidade de repetição - então, por padrão, essa coisa apenas tagarelava sobre exatamente a mesma coisa.
100% isso! Também aprendi minha lição no meu fork LLaMA. As configurações do meu amostrador não eram ideais. A reclamação é óbvia e eu já vi isso. Mas não sei por que não corrigi a penalidade de repetição do sampler antes.
ChatGPT explicado: um guia do Normie sobre como funciona - até meus avós podem entender isso. Mas nerd vai nerd de qualquer maneira?
Para que você deve usar o ChatGPT?
O que para mim está claro é que estamos num novo paradigma na forma como navegamos nos conteúdos, seja através deste modelo ou de outros que serão lançados em breve. Ao ser solicitado, o novo universo nos dá resultados, mas esses resultados são vibrações mais direcionais do que respostas concretas. Cabe a nós descobrir como direcioná-los da maneira que desejamos para obter os melhores resultados e navegar no ruído.
Grandes modelos de linguagem estão tendo seu momento de difusão estável (simonwillison.net)
Tudo isso mudou ontem, graças à combinação do modelo LLaMA do Facebook e llama.cpp de Georgi Gerganov.
(1) Fácil de executar em meu próprio hardware
(2) Código aberto o suficiente para que possam ser modificados
(3) Grande o suficiente para ser útil – idealmente equivalente em capacidades ao GPT-3
Não é o momento perfeito. Alcançamos 1 e 3, exceto 2. LLaMA NÃO é realmente de código aberto (embora a licença do código seja GPL 3, os pesos do modelo não são). Modelos verdadeiramente abertos são realmente importantes.
À medida que a conversa sobre o GPT-4 é retomada, o pioneiro do aprendizado profundo Yoshua Bengio diz que o ChatGPT é um 'chamado de despertar' - O alerta foi o GPT-3 e as leis de escala em 2021. É só que o despertador ficou mais alto agora.
A API do ChatGPT é tão boa e barata que torna obsoleta a maior parte da IA de geração de texto
Confirmado: o novo Bing é executado no GPT-4 da OpenAI - o Bing Chat (Sydney) sempre foi GPT-4.
Wikipedia - Uma boa descrição do GPT-4.
O futuro multimodal, multimodelo e multitudo do AGI - recapitulação do GPT-4.
O GPT-4 pode realmente escrever código? - Testando os recursos de escrita de código do GPT 4 com alguns problemas reais do mundo real.
Você poderia treinar um modelo que supera o ChatGPT por US$ 85.000 e executá-lo em um navegador?
GPT4: As partes silenciosas e o estado do ML
GPT-4 projetou uma linguagem de programação
As habilidades imprevisíveis que emergem de grandes modelos de IA
Experimente o Bard e compartilhe seus comentários: o Google está começando a abrir o acesso ao Bard, um experimento inicial que permite colaborar com IA generativa. Eles estão começando nos EUA e no Reino Unido e se expandirão para mais países e idiomas ao longo do tempo.
Bard, do Google, fica atrás de GPT-4 e Claude na comparação direta
NVIDIA traz IA generativa para empresas do mundo com serviços em nuvem para a criação de grandes modelos visuais e de linguagem - NVIDIA AI Foundations é a NVIDIA indo além de um fornecedor de hardware puro e entrando em software que suporta IA generativa com suas ofertas para cada carga de trabalho, desde o modelo básico como serviço (vindo para empresarial, personalizado para seus dados proprietários) para multimodal desde o primeiro dia.
GitHub Copilot X: a experiência do desenvolvedor com tecnologia de IA - GitHub Copilot está evoluindo para trazer interfaces de bate-papo e voz, oferecer suporte a pull requests, responder perguntas em documentos e adotar o GPT-4 da OpenAI para uma experiência de desenvolvedor mais personalizada.
Trapacear é tudo que você precisa por Steve Yegge, Sourcegraph.
Há algo lendário e histórico acontecendo na engenharia de software neste exato momento em que falamos, mas a maioria de vocês não percebe o quão grande isso é.
Os LLMs não são apenas a maior mudança desde o social, móvel ou nuvem – eles são a maior mudança desde a WWW.
Quero dizer, essa coisa é incrivelmente poderosa. E, no entanto, sou persistentemente confrontado com uma mistura de descrença e apego a pérolas.
... cinco vezes mais produtivo. ?
Uma breve mini-história dos LLMs
A conclusão, e honestamente é uma das coisas mais difíceis de explicar, por isso estou seguindo o caminho baseado na fé hoje, é que todos os vencedores no espaço de IA terão fossos de dados . ... Por que? Porque o fosso de dados é como você preenche a janela de contexto ("folha de dicas") .
LLMs não são uma moda idiota, como a criptografia. Sim, a criptografia era uma moda idiota. Isto não é isso.
Google "Não temos fosso, nem o OpenAI" - Documento interno do Google vazado afirma que a IA de código aberto superará o Google e o OpenAI.
A abordagem maior é melhor para a IA está ficando sem rumo
Noções básicas sobre tokenizadores GPT por Simon Willison.
IA Canon
Está começando a ficar estranho - vamos falar sobre ChatGPT com Code Interpreter e Microsoft Copilot.
Donald Knuth brinca com ChatGPT - Knuth é um cientista da computação. Conhecido como o “pai” da análise de algoritmos.
Google I/O 2023 e as próximas batalhas de IA
Modelos sem censura - Uncensoring WizardLM. Como já havia trabalho feito para remover a censura do Vicuna, consegui reescrever o script para que funcionasse no conjunto de dados WizardLM.
Arquitetura do modelo GPT-4 (Tweets) - Derivado da fonte original (postagem do blog): Arquitetura GPT-4, infraestrutura, conjunto de dados de treinamento, custos, visão, MoE
Llama 2: um incrível LLM aberto - O melhor resumo do artigo Llama 2.
Lhama 2 - Todos os recursos que você precisa, de Philipp Schmid.
Grandes modelos de linguagem, explicados com um mínimo de matemática e jargão - Pareceu um bom explicador de como funcionam os LLMs. Não sei como apreciar a última seção que aborda um pouco de filosofia e teorias sobre como os humanos aprendem. (a última seção carece de afirmação baseada em evidências)
Então você deseja construir seu próprio chatbot de código aberto no estilo ChatGPT (hacks.mozilla.org)
Como o LLaMa.cpp é possível? (finbarr.ca) - Muito antes de o LLM se tornar popular, todo mundo dizia que modelos grandes exigiam muitas GPUs caras. Tal como o autor, queremos provar que estão errados. O autor deste post pegou a confusão e mergulhou na matemática em torno dos requisitos de inferência para entender as restrições com as quais estamos lidando. Surpreendentemente, não há mágica aqui, apenas coisas além da nossa compreensão a princípio. A compressão do modelo ou, mais especificamente, a quantização torna isso possível. Porém, não existe "almoço grátis" - o custo do modelo quantizado é essencialmente que você perde alguma precisão. Ou seja, para modelos de tamanhos muito grandes, as diferenças podem ser insignificantes. Curioso? Esta postagem semi-relacionada fez uma comparação entre diferentes perplexidades/precisões de Transformers quantizados.
Vencendo o GPT-4 no HumanEval com um CodeLlama-34B ajustado (www.phind.com) - Bom progresso e nenhuma grande surpresa. Percebi que benchmarks como esses para modelos tendem a ser métricas ruins para medir o desempenho dos modelos no trabalho real. Essa tem sido minha experiência com os modelos abertos.
2024
Precisamos de benchmarks ou algum tipo de avaliação independente e humana das tarefas do mundo real .
De acordo com Gwern:
Um novo paradigma de programação? Você interage com ele, expressando qualquer tarefa em termos de descrições, solicitações e exemplos em linguagem natural, ajustando o prompt até que ele "entenda" e meta-aprende a nova tarefa. Esta é uma maneira bastante diferente de usar um modelo, e é melhor pensar nisso como um novo tipo de programação, a programação imediata , onde o prompt é agora uma linguagem de codificação que programa o GPT-3 para fazer coisas novas.
O "solicitação" como disciplina de engenharia não veio para ficar. É uma muleta temporária no caminho para interfaces de linguagem natural. ChatGPT resolve grande parte do problema de solicitação. Adicionar engenharia a um termo para ampliar sua importância ou dificuldade percebida pode ser desnecessário. Provavelmente poderíamos chamá-lo de "teste/hackeamento imediato" e não perder nenhum significado.
Artigos relacionados:
Por que "Prompt Engineering" e "Generative AI" são exagerados
Tweets relacionados:
A engenharia imediata está morta, viva a engenharia do diálogo. - Vice-presidente de produto, OpenAI
Procura-se: engenheiro imediato. Mínimo de 10 anos de experiência imediata em engenharia. #contratação #piada
Por que o ChatGPT funciona tão bem? É "apenas ampliando o GPT-3" nos bastidores? Neste ?, vamos discutir o paradigma "Instruir", seus profundos insights técnicos e uma grande implicação: a "engenharia imediata", como a conhecemos, provavelmente desaparecerá em breve . Fonte: https://archive.is/dqHI8
Aparentemente, em 2023, a programação imediata não morreu. A nova linguagem de programação mais popular é o inglês ~ Karpathy :))
Simon Willison publicou Em defesa da engenharia imediata como um contraponto ao argumento "a engenharia imediata se tornará obsoleta à medida que as IAs melhorarem" que ele continua vendo.
O jornal está dizendo que o AI Whisperer ('Prompt Engineers') é o novo trabalho mais quente da tecnologia (2023).
O melhor guia de engenharia imediato para desenvolvedores que trabalham com modelos de linguagem grande como GPT-4, ChatGPT e modelos abertos como LLaMA seria uma combinação de vários recursos. Aqui estão alguns recursos de aprendizagem, ferramentas, bibliotecas e estruturas para ajudá-lo a aprender e dominar a engenharia imediata:
Ao usar esses recursos, você pode obter uma compreensão sólida da engenharia imediata e desenvolver as habilidades necessárias para trabalhar de forma eficaz com LLMs.
( * O termo de engenharia de prompt foi renomeado para prompting. O termo está sobrecarregado e pode ser desnecessário. )
MAIS: Vídeos do YouTube de Curated.tivul.com (eu não selecionei isso, então a qualidade não é garantida)
Desenvolvimento de aplicações nativas da IA. Integração ChatGpt. APLICAÇÕES AI PRÓXIMA DE GERAÇÃO. Camada "App Store" para modelos de idiomas (incluindo a HuggingFace "App Store").
Agentes autônomos alimentados por LLM (postagem no blog) de Lilian Weng, 2023.
A potencialidade do LLM se estende além de gerar cópias, histórias, ensaios e programas bem escritos; Pode ser enquadrado como um poderoso solucionador de problemas gerais.
Em um sistema de agentes autônomos movidos a LLM, o LLM funciona como o cérebro do agente, complementado por vários componentes-chave: planejamento, memória e ferramentas.
Desafios: planejamento de longo prazo e decomposição de tarefas, confiabilidade da interface de linguagem natural.
Desenvolvedor SMOL - Incorpore um agente de desenvolvedor em seu próprio aplicativo.
Sistemas de recuperação para acessar fontes de informações pessoais ou organizacionais. Incorporação. Banco de dados e armazenamento de dados projetados para modelos de aprendizado de máquina e PNL.
Bancos de dados vetoriais para indexação e pesquisa documentos
Queremos uma alternativa de chatgpt como difusão estável.
Frustrado com todo o gatekeeping em torno da IA? Ainda esperando ou não pode ter acesso à lhama?
Metas
Objetivo final: versão auto-hospedada do chatgpt.
Lições
Takeaways de Eleutherai um ano Retro (2021):
Flan-t5 xxl aka. Chatgpt@Home é um modelo público que passou por uma finetuning de instrução. XXL é um modelo 11b. Atualmente, é o modelo mais comparável contra o ChatGPT (os modelos InstructGPT são inicializados na série GPT-3.x (cartão modelo)). Há tentativas bem-sucedidas implantando o Flan-T5 na GPU com RAM de 24 GB com inferência de Bitsandbytes-Int8 por abraçar modelos de rosto. Você pode executar o modelo facilmente em uma única máquina, sem degradação do desempenho. Isso pode ser um divisor de águas em permitir que pessoas fora das grandes empresas de tecnologia possam usar esses LLMs. Os esforços já estão em andamento para criar um Flan-T5 melhor. A comunidade (ou seja, Laion) está trabalhando na arquitetura Flant5-Atlas e uma coleção de conjuntos de dados de instruções solicitadas.
Replicação de chatgpt de fonte aberta de Laion, Yannic Kilcher et al. Este projeto deve dar a todos o acesso a um ótimo modelo de idioma de grande bate -papo. (Codificação ao vivo do Aberto do Assistente com Yannic Kilcher (vídeo)) Planos de alto nível:
Fase 1: Coleção Prompt para Finetuning Supervisionada (SFT) e para obter as instruções para conclusões/respostas geradas por modelo.
Fase 2: Feedback humano (por exemplo, classificação) de múltiplas saídas geradas pelo modelo. Exemplo cinco saídas do modelo são mostradas e o usuário deve classificá -las do melhor para o pior.
Fase 3: Otimização com RLHF que planejamos fazer via TRLX. E então eles iteramos com esse novo modelo novamente sobre a Fase 2 e a Fase 3, esperançosamente várias vezes.
Os modelos serão treinados no Supercomputer da Summit (~ 6 milhões de nvidia v100 hrs por ano) [fonte]
Mais informações, consulte a proposta Laion LLM (Google Doc) acima.
Progresso:
Fevereiro de 2023: O Joi-20B-Instruct é um modelo de 20B ajustado em um conjunto diversificado de conjuntos de dados de instruções e baseado no NEOX-20B.
Não oficial: este é um modelo precoce de pré-lançamento (parte do desenvolvimento de MVP, fase 1), não é diretamente modelos de OpenAssistant (OA). São experimentos da equipe de ML para aprender quais dados, modelo de fundação e métodos funcionarão bem para a OA. Como é afirmado nas perguntas frequentes do site, ainda não há demonstração. Isto é para os desenvolvedores testarem a versão inicial de desenvolvimento da ajuste de instrução para o modelo. Talvez os primeiros modelos de OA sejam derivados deles. Eles têm treinado bons modelos de forma contundente à medida que novos conjuntos de dados são concluídos. Há uma variedade de tamanhos de modelo de parâmetros de 1,4B a 20b disponíveis no hub HF.
A Build Build Build by Huggingface H4-uma interface do usuário para testar o modelo Joi-20B-Instruct. Você pode conversar com isso. O agente responderá como Joi (o apelido de bot).
Exemplo de snippet de código para executar o modelo em suas próprias GPUs: https://gist.github.com/cedrickchee/236e53ed2dca95bd96e5baa35cdd7be2
Mar 2023: eles estão atualmente processando os dados coletados de contribuições. Os dados têm mais de 100 mil mensagens, o que significa milhões de contribuições. A qualidade dos dados está além do que eles esperavam - a maioria das contribuições é super de alta qualidade. Agora, eles estão exportando o V1 do conjunto de dados. Como dito, eles estão atualmente treinando o lote inicial de modelos.
11 de março de 2023: O conjunto de dados do generalista de instrução aberta (OIG) será lançada. O OIG é um grande conjunto de dados de instruções de código aberto que atualmente contém ~ 43 milhões de instruções.
O OIG é um dos muitos conjuntos de dados de chatbot que Laion, juntamente com seus voluntários, Ontocord, juntos e outros membros da comunidade de código aberto, será lançado e se destinará a criar acesso igual à tecnologia ChatBot. Todos podem usar o conjunto de dados e contribuir com melhorias.
O conjunto de dados OIG está relacionado ao projeto de assistente aberto de Laion.
9 de março de 2023: Modelo SFT-1 12B, assistente aberto-modelo inicial de modelo de ajuste em inglês supervisionado (SFT) do projeto de assistente aberto. É baseado em um Pythia 12b que foi ajustado em ~ 22k demonstrações humanas de conversas assistentes coletadas antes de 7 de março de 2023. Embora o modelo seja apenas um marco de desenvolvimento, é utilizável para algumas tarefas criativas. Tente: HuggingFace Space (Fácil e rápido, UI de chatbot nãoefial), Google Collab. Aqui está um guia sobre como executar o modelo localmente em seu próprio computador com uma GPU.
23 de março de 2023: Este projeto está começando a se moldar bem. O modelo está chegando.
/r/ask_open_assistant . Código15 de abril de 2023: o OpenAssistant está oficialmente fora! A versão inclui modelos, conjuntos de dados e uma interface de bate -papo. [Vídeo de anúncio, tente, modelos]
Subreddit
Nota: Consulte o repositório do GitHub para obter informações atualizadas.
Carperai/Trlx
Notícias (2023-01-13): Eles replicaram o aprendizado do OpenAI a resumir o papel usando a Biblioteca TRLX. [relatório]
Lucidrains/Palm-RLHF-Pytorch-(WIP) Implementação do RLHF no topo da arquitetura da palma. Basicamente, bate -papo, mas com Palm. O desenvolvedor planeja adicionar a funcionalidade de recuperação também, à la retro. [Tuíte]
2023: Algo engraçado em suas perguntas frequentes:
Não há modelo treinado. Este é apenas o navio e o mapa geral. Ainda precisamos de milhões de dólares em computação + dados para navegar para o ponto correto no espaço de parâmetros de alta dimensão. Mesmo assim, você precisa de marinheiros profissionais (como Robin Rubbach, da fama de difusão estável) para realmente guiar o navio em tempos turbulentos até esse ponto.
Notícias (2022-12-31): Agora há uma alternativa de código aberto ao ChatGPT, mas boa sorte executando-meus comentários: não, não. Este não é um modelo treinado real (sem pesos) que você pode usar. Este é apenas um código para treinar um modelo semelhante ao ChatGPT. Além disso, os dados de treinamento (ENWIK8) são pequenos.
O trem de modelo RLHF em larga escala de Carperai (TRLX) com os dados de Laion será lançado no início do próximo ano. (Fonte: Tweet)
Allenai/RL4LMS - RL para modelos de idiomas (RL4LMS) por Allen AI. É uma biblioteca RL modular para ajustar modelos de linguagem para preferências humanas.
O GPT-JT por computador de pesquisa é um exemplo que distribui o treinamento de modelos em relação ao geo-distribuído de diversos computadores (e GPUs). O GPT-JT (6B) é uma variante bifurcada no GPT-J de Eleutherai e tem um desempenho excepcionalmente bem na classificação de texto e em outras tarefas. Nos benchmarks de classificação, como a jangada, ele chega perto dos modelos de última geração que são muito maiores (por exemplo, instrutgpt DaVinci V2)! [Artigo: Treinamento descentralizado de modelos de fundação em ambientes heterogêneos (2022)]
Leam (grandes modelos europeus de IA)-A UE planejando financiar o desenvolvimento de um modelo semelhante ao ChatGPT em larga escala. [Site, Documentos do Projeto (Inglês, PDF), Artigo Concept (Alemão, PDF)]
/r/aicrowdfund - Um lugar acabou de iniciar (2023), onde as pessoas podem encontrar uma maneira de agrupar fundos (com GPUs) uma grande IA. Não tenho certeza se eles viram pétalas onde você pode executar o LLMS em casa, Bittorrent -Style (aprendizado federado?). Parece estar indo nessa direção.
Solução de código aberto replica o processo de treinamento do ChatGPT-eles apresentam um processo de implementação equivalente a chatgpt de baixo custo de código aberto, incluindo:
Tive a impressão de que o objetivo do artigo era conectar sua estrutura e produto colossal-AI, uma coleção de componentes, ferramentas e hardwares paralelos para modelos grandes. Francamente, seus números parecem suspeitos para mim, a menos que eu tenha perdido alguma coisa. O que torna o ChatGPT interessante (sobre o GPT-3) é o processo RLHF. Eles afirmam replicar completamente o processo RLHF. Mas, o artigo toca levemente sobre sua implementação RLHF. Eles treinam o RLHF usando um pequeno chatgpt-chatgpt como exemplo de conjunto de dados. Os detalhes da implementação do RLHF estão ocultos aqui: https://github.com/hpcaitech/colossalai/blob/main/applications/chatgpt. A falta de demonstração não inspira muita confiança.
FLEXGEN-Execução de LLMs como Opt-175B/GPT-3 em uma única GPU (por exemplo, um cartão de jogo de 16 GB T4 ou 24 GB RTX3090). Principais recursos: 1) até 100x mais rápido que outros sistemas de descarga. 2) Compressa os parâmetros e o cache de atenção dos modelos até 4 bits com perda de precisão insignificante. 3) Paralelismo de pipeline distribuído. Eles também fornecem um script python e instruções de que você pode executar um chatbot com os modelos OPT. Isso deve resolver os desafios dos altos requisitos computacionais e de memória da inferência de LLM. O chatbot que eles constroem com os modelos FlexGen e Opt não é ajustado para instruções (RLHF). Portanto, esse chatbot não é semelhante ao chatgpt. [Inferência generativa de alto rendimento de LLMs com uma única GPU (Paper), Stanford et al., 2023]
