Inicio>Relacionado con la programación>Otro código fuente
Descargar

Notas de IA

Notas sobre el estado del arte de IA, con un enfoque en modelos de idiomas generativos y grandes. Estas son las "materias primas" para https://lspace.swyx.io/ Newsletter.

Este repositorio solía llamarse https://github.com/sw-yx/prompt-eng, pero fue renombrado porque la ingeniería rápida se sobrevalora. Este es ahora un repositorio de notas de ingeniería de IA.

Este ReadMe es solo la descripción general de alto nivel del espacio; Debería ver la mayoría de las actualizaciones en los otros archivos de Markdown en este repositorio:

  • TEXT.md - Generación de texto, principalmente con GPT -4
    • TEXT_CHAT.md : información sobre chatgpt y competidores, así como productos derivados
    • TEXT_SEARCH.md : información sobre la búsqueda semántica habilitada para GPT -4 y otra información
    • TEXT_PROMPTS.md : un pequeño archivo de deslizamiento de buenas indicaciones GPT3
  • INFRA.md - Notas sin procesar sobre infraestructura de IA, hardware y escala
  • AUDIO.md - Tracking Audio/Music/Voice Transcripción + Generación
  • CODE.md - modelos Codegen, como Copilot
  • IMAGE_GEN.md : el archivo más desarrollado, con las notas de énfasis más pesadas sobre la difusión estable y algunas sobre Midjourney y Dalle.
    • IMAGE_PROMPTS.md : un pequeño archivo de deslizamiento de buenas indicaciones de imagen
  • Recursos : de pie, limpio recursos que están destinados a estar permitidos para
  • Notas de stub - Páginas de proto muy pequeñas/livianas de áreas de cobertura futuras - AGENTS.md - Seguimiento de "AI de agente"
  • Ideas de blog : posibles ideas de publicaciones de blog derivadas de estas notas BC
Tabla de contenido
  • Casos de uso motivacionales
  • Top Ai lee
  • Comunidades
  • Gente
  • Maga
  • Citas, realidad y desmotivación
  • Legal, ética y privacidad

Casos de uso motivacionales

  • imágenes
    • https://mpost.io/best-100-stable-diffusion-prompts-the-most-beautiful-ai-text-to-image-prompts
    • Imágenes del cerebro sintético de MRI 3D: recepción positiva del estadístico de neuroimagen
    • difusión estable multijugador
  • video
    • img2img de famosas escenas de películas (Lalaland)
      • IMG2IMG Transformando actor con EBSYNTH + KOE_RECAST
      • Cómo funciona Ebsynth https://twitter.com/tomlikesrobots/status/1612047103806545923?s=20
    • Moda virtual (Karenxcheng)
    • Imágenes de mosaico sin costuras
    • Evolución de las escenas (Xander)
    • superando https://twitter.com/orbamsterdam/status/1568200010747068417?s=21&t=rliacnwoijjmis37s8qccww
    • Webui img2img colaboración https://twitter.com/_akhaliq/status/1563582621757898752
    • Imagen en video con rotación https://twitter.com/tomlikesrobots/status/1571096804539912192
    • "Pintura rápida" https://twitter.com/1littlecoder/status/1572573152974372864
    • Audio2video Animación de tu cara https://twitter.com/siavashg/status/1597588865665363969
    • Juguetes físicos al modelo 3D + animación https://twitter.com/sergeyglkn/status/1587430510988611584
    • videos musicales
      • El video mató a la estrella de radio, Colab esto usa el discurso de OpenAi's Whisper a favor, lo que le permite tomar un video de YouTube y crear una animación de difusión estable provocada por la letra en el video de YouTube
      • Los videos de difusión estable generan videos interpolando entre indicaciones y audio
    • Proyecto Direct Text2Video
      • https://twitter.com/_akhaliq/status/1575546841533497344
      • https://makeavideo.studio/ - Explorer https://webvid.datasette.io/webvid/videos
      • https://phenaki.video/
      • https://github.com/thudm/cogvideo
      • https://imagen.research.google/video/
  • Text-to-3d https://twitter.com/_akhaliq/status/1575541930905243652
    • https://dreamfusion3d.github.io/
    • Open Source impl: https://github.com/ashawkey/stable-dreamfusion
    • demostración https://twitter.com/_akhaliq/status/1578035919403503616
  • productos de texto
    • Tiene una lista de Usecases al final https://huyenchip.com/2023/04/11/llm-ingineering.html
  • Jaspe
  • GPT para Obsidian https://Rasonableviations.com/2023/02/05/gpt-for-second-brain/
  • GPT3 Correo electrónico https://github.com/sw-yx/gpt3-email y clúster de correo electrónico
  • GPT3 () en Google Hoja 2020, 2022 - Hojas de Google https://twitter.com/mehran__jalali/status/1608159307513618433
    • https://gpt3demo.com/apps/google-sheets
    • Encanto https://twitter.com/shubroski/status/1620139262925754368?s=20
  • https://www.summari.com/ Resumen ayuda a las personas ocupadas a leer más
  • Mapas/paisajes del mercado
    • Elad Gil 2024 Gráfico de la pila
    • Sequoia Market Mapa Jan 2023, julio de 2023, septiembre de 2023
    • Base10 Mapa de mercado https://twitter.com/letsenhance_io/status/1594826383305449491
    • mapa del mercado de Matt Shumer https://twitter.com/mattshumer_/status/1620465468229451776 https://docs.google.com/document/d/1sewtbzrf087f6hfxiyeoisgc1n4n3o7ryzizijvexcgoq/editit
    • NFX https://www.nfx.com/post/generative-ai-tech-5-layers?ref=context-by-cohere
    • A16Z https://a16z.com/2023/01/19/who-owns-the-generative-ai-platform/
      • https://a16z.com/2023/06/20/emerging-architectures-for-llm-applications/
      • https://a16z.com/100-gen-ai-apps
    • madrona https://www.madrona.com/foundation-models/
    • bacha
      • https://www.coatue.com/blog/perspective/ai-the-coming-revolution-2023
      • https://x.com/sam_awrabi/status/1742324900034150646?s=20
  • Activos del juego -
    • hilo emad https://twitter.com/emostacque/status/1591436813750906882
    • escenario.gg https://twitter.com/emmanuel_2m/status/1593356241283125251
    • Ejemplo de modelado de personajes del juego 3D
    • Mariogpt https://arxiv.org/pdf/2302.05981.pdf https://www.slashgear.com/1199870/mariogpt-uses-ai-to-generate-endless-super-mario--levelsssssfor liber //github.com/shyamsn97/mario-gpt/blob/main/mario_gpt/level.py
    • https://news.ycombinator.com/item?id=36295227

Top Ai lee

Las lecturas GPT3 más avanzadas se han dividido en https://github.com/sw-yx/ai-notes/blob/main/text.md

  • https://www.gwern.net/gpt-3#prompts-sprogramming
  • https://learnpromppting.org/

Principiante lectura

  • Bill Gates en AI (Tweet)
    • "El desarrollo de la IA es tan fundamental como la creación del microprocesador, la computadora personal, Internet y el teléfono móvil. Cambiará la forma en que las personas trabajan, aprenden, viajan, reciben atención médica y se comunicarán entre sí".
  • Steve Yegge en IA para desarrolladores
  • Karpathy 2023 Introducción a LLMS (notas de Sarah Chieng)
  • Guía de ingeniería rápida de OpenAi en Neurips a través de Sarah Chieng
  • Por qué este momento de IA podría ser el verdadero negocio
  • Sam Altman - La ley de Moore para todo
  • Excelente introducción a los modelos fundamentales de MSR https://youtu.be/hqi6o5dlyfc
  • Tutorial de inmediato https://beta.openai.com/docs/quickstart/add-some-examples
  • Google Lamda Introducción https://aitestkitchen.withgoogle.com/how-lamda-works
  • Curso de descenso de gradiente de Karpathy
  • Ft Visual Storytelling sobre "Cómo funcionan los transformadores"
  • Dalle2 Premio Escribir libro http://dallery.gallery/wp-content/uploads/2022/07/the-dall%c2%b7e-2-prompt-book-v1.02.pdf
  • https://medium.com/nerd-for-tech/prompt-ingineering-the-career-of-future-2fb93f90f117
  • Cómo usar la IA para hacer cosas en obtener información, trabajar con datos y hacer imágenes
  • https://ourworldindata.org/brief-history-of-ai AI Progress Overview con bonitas gráficos
  • Generación de contenido de IA de Jon Stokes, Parte 1: Conceptos básicos de aprendizaje automático
  • Andrew Ng - Oportunidades en AI
  • ¿Qué son los modelos de transformadores y cómo funcionan? - Quizás un nivel demasiado alto
  • generación de texto
    • La pronta ingeniería de Humanloop 101
    • Explicaciones de Stephen Wolfram https://writings.stephenwolfram.com/2023/02/what-is-chatgpt-doing-and-why-does-it-work/
    • equivalente de Jon Stokes Jonstokes.com/p/the-chat-stack-gpt-4-and-the-near
    • https://andymatuschak.org/prompts/
    • Cohere's LLM University https://docs.cohere.com/docs/llmu
      • Guía de Jay Alammar para todas las cosas: https://llm.university/
    • https://www.jonstokes.com/p/chatgpt-explaned-a-guide-for-normies para normas
  • generación de imágenes
    • https://wiki.installgentoo.com/wiki/stable_diffusion Descripción general
    • https://www.reddit.com/r/stablediffusion/comments/x41n87/how_to_get_images_that_dont_suck_a/
    • https://mpost.io/best-100-stable-diffusion-prompts-the-most-beautiful-ai-text-to-image-prompts/
    • https://www.kdnuggets.com/2021/03/beginners-guide-clip-model.html
  • por no técnico
    • https://www.jonstokes.com/p/ai-content-generation-part-1-machine
    • https://www.protocol.com/generative-ai-startup-landscape-map
    • https://twitter.com/saranormous/status/1572791179636518913

Lecturas intermedias

  • Informe del estado de la IA : 2018, 2019, 2020, 2021, 2022
  • eventos cronológicos inversos https://bleedingedge.ai/
  • Lo que sabemos sobre LLM - Gran resumen de la investigación
  • Guía de 1 hora de Karpathy para LLMS - Resumen de Sarah Chieng
      1. ¿Qué es un modelo de lenguaje grande (LLM)?
      • Hay dos componentes principales de un LLM
        • ¿Qué hace un LLM?
    1. ¿Cómo se crea un LLM?
      • Etapa 1: Modelo de pre-entrenamiento
      • Etapa 2: modelo ajustado
        • Etapa 2b: [opcional] Ajuste adicional adicional
      • Etapa 3: Inferencia del modelo
      • Etapa 4: [opcional] Su sobrealimentación LLMS con personalización
    2. La actual "tabla de clasificación" de LLM
    3. El futuro de LLM: ¿Qué sigue?
      • ¿Cómo mejorar el rendimiento de LLM?
        • Leyes de escala de LLM
        • Superación personal
      • ¿Cómo mejorar las habilidades de LLM?
        • Multimodalidad
        • Sistema 1 + 2 Pensamiento
    4. Las artes oscuras llm
      • Jailbreaking
      • Inyectación rápida
      • Envenenamiento de datos y ataques de puerta trasera
    • Evan Morikawa Guide to LLM Math, especialmente la pieza de los 5 desafíos de escala
  • Una guía del hacker para modelos de idiomas (YouTube) La descripción completa de 90 minutos de Jeremy Howard de los aprendizajes de LLM, comenzando en lo básico: el enfoque de pre-entrenamiento / ajuste fino / clasificador de 3 pasos utilizado en todos los LLM modernos.
  • https://spreadsheets-ear-all-you-need.ai
  • "Ponerse al día con Weird World of LLMS" - Descripción general de 40 minutos de Simon Willison + preguntas abiertas para ingenieros de IA
  • Descripción general de LLMS de Flyte
  • Clementine Fourrier sobre cómo se hacen las evals
  • Patrones para la construcción de sistemas y productos basados ​​en LLM: excelente resumen
    • Evals: para medir el rendimiento
    • Rag: para agregar conocimientos recientes y externos
    • Ajuste fino: mejorar en tareas específicas
    • Estimulación de almacenamiento en caché: para reducir la latencia y el costo
    • Barandas: para garantizar la calidad de la salida
    • UX defensivo: anticipar y administrar errores con gracia
    • Recopilar comentarios de los usuarios: para construir nuestro volante de datos
  • Bases de datos vectoriales: un imprimador técnico [PDF] Muy buenas diapositivas en DBS vectorial
    • Cobertura faltante de la búsqueda híbrida (vector + léxico). Más discusiones
  • A16Z AI Canon https://a16z.com/2023/05/25/ai-canon/
    • Software 2.0 : Andrej Karpathy fue uno de los primeros en explicar claramente (¡en 2017!) Por qué la nueva ola de IA realmente importa. Su argumento es que AI es una forma nueva y poderosa de programar computadoras. A medida que LLMS ha mejorado rápidamente, esta tesis ha demostrado ser profética y ofrece un buen modelo mental sobre cómo puede progresar el mercado de IA.
    • Estado de GPT : también de Karpathy, esta es una explicación muy accesible de cómo los modelos ChatGPT / GPT en general funcionan, cómo usarlos y qué instrucciones pueden tomar I + D.
    • ¿Qué está haciendo Chatgpt ... y por qué funciona? : El científico informático y empresario Stephen Wolfram da una explicación larga pero altamente legible, desde los primeros principios, de cómo funcionan los modelos modernos de IA. Sigue la línea de tiempo de las primeras redes neuronales a los LLM y Chatgpt de hoy.
    • Transformers, explicado : Esta publicación de Dale Markowitz es una respuesta más corta y directa a la pregunta "¿Qué es un LLM y cómo funciona?" Esta es una excelente manera de facilitar el tema y desarrollar intuición para la tecnología. Fue escrito sobre GPT-3, pero aún se aplica a modelos más nuevos.
    • Cómo funciona la difusión estable : esta es el análogo de la visión por computadora a la última publicación. Chris McCormick da la explicación de un laico sobre cómo funciona y desarrolla la intuición en torno a los modelos de texto a imagen en general. Para una introducción aún más suave , consulte este cómic de R/StableFusion.
    • Explosiones
      • Aprendizaje profundo en pocas palabras: conceptos centrales : esta serie de cuatro partes de Nvidia camina a través de los conceptos básicos del aprendizaje profundo como se practica en 2015, y es un buen recurso para cualquier persona que solo aprenda sobre IA.
      • Aprendizaje profundo práctico para codificadores : curso integral y gratuito sobre los fundamentos de la IA, explicado a través de ejemplos prácticos y código.
      • Word2Vec explicó : Fácil introducción a los incrustaciones y tokens, que son bloques de construcción de LLM (y todos los modelos de idiomas).
      • Sí, debe comprender el backprop : Publicación más profunda en la propagación de retroceso si desea comprender los detalles. Si desea aún más, pruebe la conferencia Stanford CS231N (curso aquí) en YouTube.
    • Cursos
      • Stanford CS229 : Introducción al aprendizaje automático con Andrew Ng, que cubre los fundamentos del aprendizaje automático.
      • Stanford CS224N : PNL con aprendizaje profundo con Chris Manning, que cubre los conceptos básicos de PNL a través de la primera generación de LLM.
  • https://github.com/mlabonne/llm-course
  • https://cims.nyu.edu/~sbowman/eightthings.pdf
    1. Previsiblemente se vuelve más capaz de aumentar la inversión, incluso sin innovación específica.
    2. Muchos comportamientos importantes de LLM emergen de manera impredecible como un subproducto del aumento de la inversión.
    3. Los LLM a menudo parecen aprender y usar representaciones del mundo exterior.
    4. No hay técnicas confiables para dirigir el comportamiento de los LLM.
    5. Los expertos aún no pueden interpretar el funcionamiento interno de los LLM.
    6. El rendimiento humano en una tarea no es un límite superior en el rendimiento de LLM.
    7. Los LLM no necesitan expresar los valores de sus creadores ni los valores codificados en el texto web.
    8. Las interacciones breves con LLM a menudo son engañosas.
    9. Simonw destaca https://fedi.simonwillison.net/@simon/110144185463887790
  • 10 Desafíos abiertos en LLM Research https://huyenchip.com/2023/08/16/llm-research-open-challenges.html
  • Operai solicit en inglés Https://github.com/openai/openai-cookbook/blob/main/techniques_to_improve_reliability.md
  • En el aviso de Ingview Https://lilianweng.github.io/posts/2023-03-15-prompt-ingineering/
  • https://moultano.wordpress.com/2023/06/28/the-many-ways-that-digital-minds-can-know/ Comparación de búsqueda vs ai
  • Resumen de los principales desarrollos de IA de 2022 https://www.deeplearning.ai/the-batch/issue-176/
  • Dalle2 Generación de activos + Inpainting https://twitter.com/aifunhouse/status/1576202480936886273?s=20&t=5exa1uydpva2sjzm-sxhcq
  • Viaje de Suhail https://twitter.com/suhail/status/1541276314485018625?s=20&t=x2mvkqkhdr28iz3vzeeo8w
  • Difusión compuesta - "y" en lugar de "y" https://twitter.com/tomlikesrobots/status/1580293860902985728
  • en BPE Tokenization https://towardsdatascience.com/byte-pair-coding-subword basado en-tokenization-algorithm-77828a70bee0 Vea también Google SentencePiece y OpenAi Tiktokenkoken
    • Fuente en GPT2 Fuente https://github.com/openai/gpt-2/blob/master/src/encoder.py
    • Tenga en cuenta que los BPE son https://www.lesswrong.com/posts/dfbfclza4pejckekc/a-mechanistic-explanation-for-solidgoldmagikarp-like-tokens?commentId=9Jndkscwewbbbbbbtcq
      • // ------------------------------------------------ -------------------------------------------------- -------------- es una sola token GPT-4
      • GPT-3.5 se bloquea cuando piensa en UseralativeImagePath demasiado
      • Causas problemas de caracteres de matemáticas y cadenas https://news.ycombinator.com/item?id=35363769
      • y causar problemas con evals
      • Los tokens de fallas ocurren cuando el tokenizer tiene un conjunto de datos diferente al LLM
      • Karpathy hablando de por qué la tokenización es desordenada
    • https://platform.openai.com/tokenizer y https://github.com/openai/tiktoken (más actualizado: https://tiktokenizer.vercel.app/)
    • Piece de Word -> BPE -> Sentencetransformer
      • Lectura preliminar sobre incrustaciones
      • https://youtu.be/qddoffkvkcw?si=qefzsddspxdnd313
      • Huggingface Mteb Benchmark de un montón de embedidas
      • Problemas notables con incrustaciones de GPT3 y alternativas a considerar
    • https://observablehq.com/@simonw/gpt-3-token-coder-decoder
    • Karpathy quiere que la tokenización se vaya https://twitter.com/karpathy/status/1657949234535211009
    • Codificación posicional no necesaria para decodificador solo https://twitter.com/a_kazemnejad/status/1664277559968927744?s=20
  • Crea su propio idioma https://twitter.com/giannis_daras/status/1531693104821985280
  • Google Cloud Generation AI Learning Rath https://www.cloudskillsboost.google/paths/118
  • img2img https://andys.page/posts/how-to-draw/
  • en modelado de idiomas https://lena-voita.github.io/nlp_course/language_modeling.html y explicación accesible pero técnica de la generación de idiomas, incluido el muestreo de las distribuciones y alguna intrecretibilidad mecanicista (encontrar la neurona que rastrea el estado de cotización)
  • Quest for PhotoreRealism https://www.reddit.com/r/stablediffusion/comments/x9zmjd/quest_for_ultimate_photorealism_part_2_colors/
    • https://medium.com/merzazine/prompt-design-for-dall-e-photorealism-emulating-reality-6f478df6f186
  • Configuración Ajuste https://www.reddit.com/r/stablediffusion/comments/x3k79h/the_feeling_of_discovery_sd_is_like_a_great_proc/
    • Selección de semillas https://www.reddit.com/r/stablediffusion/comments/x8szj9/tutorial_seed_selection_and_the_impact_on_your//
    • Estudio de diferencia de parámetros de parámetros menores (pasos, clamp_max, eta, cutn_batches, etc) https://twitter.com/kyrickyoung/status/1500196286930292742
    • AI generativo: Autocompletar para todo https://noahpinion.substack.com/p/generative-ai-autocomplete-for-everything?sd=pf
    • ¿Cómo obtiene GPT su capacidad? Tracing de habilidades emergentes de modelos lingüísticos para sus fuentes Buen papel con el historial de desarrollo de la familia de modelos GPT y cómo se desarrollaron las capacidades
  • https://barryz-architecture-of-agentic-llm.notion.site/almost-everything-ik know-upout-llms-d117ca25d4624199be07e9b0ab356a77

Lecturas avanzadas

  • https://github.com/mooler0410/llmspracticalguide
    • buena lista curada de todos los documentos impt
  • https://github.com/eleutherai/cookbook#the-cookbook Eleuther AI Lista de recursos para capacitación. Comparar con https://github.com/google-research/tuning_playbook
  • Anti Hype LLM Lista de lectura https://gist.github.com/veekaybee/be375ab33085102f9027853128dc5f0e
  • 6 documentos de Jason Wei de Openai (blog)
    • Papel GPT-3 (https://arxiv.org/abs/2005.14165)
    • Entrada de la cadena de pensamiento (https://arxiv.org/abs/2201.11903)
    • Leyes de escala, (https://arxiv.org/abs/2001.08361)
    • Habilidades emergentes (https://arxiv.org/abs/2206.07682)
    • Los modelos de idiomas pueden seguir tanto las etiquetas volcadas como las etiquetas semánticamente no relacionadas (https://arxiv.org/abs/2303.03846)
  • Notas en papel de LLM - Notas del Latent Space Paper Club de Eugene Yan
  • Transformadores desde cero https://e2eml.school/transformers.html
    • Transformers vs LSTM https://medium.com/analytics-vidhya/why-ear-ear-lstms-struggling-to-matchup-hith-transformers-a1cc5b2557e3
    • Código Transformer Walkthru https://twitter.com/mark_riedl/status/1555188022534176768
    • Transformer familiari https://lilianweng.github.io/posts/2023-01-27-the-transformer-family-v2/
      • Lista de papel de Carmack https://news.ycombinator.com/item?id=34639634
      • Modelos Transformer: una introducción y catálogo https://arxiv.org/abs/2302.07730
      • DeepMind - Algoritmos formales para Transformers https://arxiv.org/pdf/2207.09238.pdf
    • Explicadores de Jay Alammar
      • https://jalammar.github.io/illustrated-transformer/
      • https://jalammar.github.io/visualizing-neural-machine-translation-mechanics-of-seq2seq-models-with-attention/
  • Karpathy en Transformers
    • Convergencia : La consolidación en curso en AI es increíble. Cuando comencé ~ hace década, la visión, el habla, el lenguaje natural, el aprendizaje de refuerzo, etc. estaban completamente separados; No podía leer documentos en todas las áreas: los enfoques eran completamente diferentes, a menudo ni siquiera basados ​​en ML. En 2010, todas estas áreas comenzaron a hacer la transición 1) al aprendizaje automático y específicamente 2) redes neuronales. Las arquitecturas eran diversas, pero al menos los documentos comenzaron a leer más similares, todos utilizando grandes conjuntos de datos y optimizando las redes neuronales. Pero a partir de aprox. Últimos dos años, incluso las arquitecturas de redes neuronales en todas las áreas están comenzando a parecer idénticas: un transformador (definible en ~ 200 líneas de Pytorch https://github.com/karpathy/mingpt/blob/master/mingpt/model.py… ), con diferencias muy menores. Ya sea como una línea de base fuerte o (a menudo) de estado del arte. (Tweetstorm)
    • Por qué los transformadores ganaron : el transformador es una magnífica arquitectura de la red neuronal porque es una computadora diferenciable de uso general. Es simultáneamente: 1) expresivo (en el pase hacia adelante) 2) optimizable (a través de backpropagation+descenso de gradiente) 3) eficiente (gráfico de cómputo de paralelismo alto) Tweetstorm
      • https://twitter.com/karpathy/status/1593417989830848512?s=20
      • Elaborado en la conferencia de 1 hora de Stanford y el resumen de 8min Lex Fridman
    • Babygpt con dos tokens 0/1 y longitud de contexto de 3, viéndolo como una cadena de Markov de estado finito. Fue entrenado en la secuencia "111101111011110" para 50 iteraciones. Los parámetros y la arquitectura del transformador modifican las probabilidades en las flechas.
    • Construya GPT desde cero https://www.youtube.com/watch?v=kcc8fmeb1ny
    • Diferente GPT desde cero en 60 loc de https://jaykmody.com/blog/gpt-from-scratch/
  • Modelos de difusión desde cero, desde una nueva perspectiva teórica: introducción de modelos de difusión impulsada por código
  • 137 habilidades emergentes de modelos de idiomas grandes
    • Tareas emergentes de pocos disparos: Big Bench y MMLU Benchmarks
    • Estrategias emergentes de impulso
      • Seguimiento de instrucciones
      • Panecal
      • Uso de conocimientos de libro abierto para verificar hechos
      • Indicador de la cadena de pensamiento
      • Índice de búsqueda diferenciable
      • Autoconsistencia
      • Aprovechando las explicaciones al solicitar
      • Menos a la vez más
      • Cadena de pensamiento
      • Calibración a través de P (verdadero)
      • Cadena de pensamiento multilingüe
      • Pregunta y cualquier cosa,
    • Algunos rechazos, ¿son un espejismo? simplemente no uses métricas duras
      • https://www.jasonwei.net/blog/common-arguments-arding-emergent-aLisities
      • https://hai.stanford.edu/news/ais-ostensible-emergent-abilies-ear-ear-mirage
    • Imágenes
      • Eugene yan explicación del texto a la pila de imágenes https://eugeneyan.com/writing/text-to-image/
      • Vqgan/clip https://minimaxir.com/2021/08/vqgan-clip/
      • 10 años de historia de generación de imágenes https://zentralwerkstatt.org/blog/ten-iples-of-image-synthesis
      • Vision Transformers (VIT) explicó https://www.pinecone.io/learn/visision-transformers/
    • Proporcionar negativo https://minimaxir.com/2022/11/stable-diffusion-negative-promppt/
    • Los mejores documentos de 2022 https://www.yitay.net/blog/2022-best-nlp-papers
    • Previsibilidad y sorpresa en grandes modelos generativos: buen documento de encuesta de lo que sabemos sobre la escala y las capacidades y el aumento de los LLM hasta ahora
  • Más documentos de Eng Eng https://github.com/dair-ai/prompt-ingineering-guide
  • https://creator.nightcafe.studio/vqgan-clip-keyword-modifier-comparison vqgan+clip comparación de modificador de palabras clave
  • Historia de los transformadores
    • Richard Scher sobre su contribución al mecanismo de atención que condujo a Transformers https://overcast.fm/+r1p4nkffu/1:00:00
    • https://kipp.ly/blog/transformer-taxonomy/ Este documento es mi revisión de literatura en ejecución para personas que intentan ponerse al día con la IA. Cubre 22 modelos, 11 cambios arquitectónicos, 7 técnicas de entrenamiento posterior y 3 técnicas de entrenamiento (y 5 cosas que no son de lo anterior)
    • Comprender los modelos de lenguaje grande Una sección transversal de la literatura más relevante para ponerse al día
      • Dar crédito a Bandanau et al (2014), que creo que primero propuso el concepto de aplicar una función Softmax sobre las puntuaciones de token para calcular la atención, preparando el escenario para el transformador original de Vaswani et al (2017). https://news.ycombinator.com/item?id=35589756
    • https://finbarrtimbers.substack.com/p/five-iples-of-progress-in-gpts GPT1/2/3, Megatron, Gopher, Chinchilla, Palm, Llama
    • Buen documento resumido (8 cosas que saber) https://cims.nyu.edu/~sbowman/eightthings.pdf
  • Huggingface MOE Explicador
  • https://blog.alexalemi.com/kl-is-all-you-need.html

Comparamos 126 modificadores de palabras clave con el mismo aviso e imagen inicial. Estos son los resultados.

  • https://creator.nightcafe.studio/collection/8dmygkm1evxg7z9pv23w
  • Google lanzó Partiprompts como un punto de referencia: https://parti.research.google/ "Partiprompts (P2) es un rico conjunto de más de 1600 indicaciones en inglés que lanzamos como parte de este trabajo. P2 se puede usar para medir las capacidades de modelo Varias categorías y aspectos de desafío ".
  • Tutoriales de video
    • Pixel Art https://www.youtube.com/watch?v=uvjkqptr-8s&feature=youtu.be
  • Historia de los documentos
    • 2008: Arquitectura unificada para NLP (Collobert-Weston) https://twitter.com/ylecun/status/1611921657802768384
    • 2015: aprendizaje de secuencia semi-supervisado https://twitter.com/deliprao/status/1611896130589057025?s=20
    • 2017: Transformers (Vaswani et al)
    • 2018: GPT (Radford et al)
  • Maga
    • Perspectiva del CIO de estabilidad.
    • https://github.com/awesome-stable-diffusion/awesome-stable-diffusion
    • https://github.com/microsoft/lmops Guía para la investigación de inmediato
    • Discusión detrás de escena de Gwern de Bing, GPT4 y la relación Microsoft-Openai https://www.lesswrong.com/posts/jtopawehlnxnxvgtt/bing-chat-is-latanty-agresiva

Otras listas como esta

  • https://gist.github.com/rain-1/eebd5e5eb2784feecf450324e3341c8d
  • https://github.com/underlines/awesome-marketing-datascience/blob/master/awesome-ai.md#llama-models
  • https://github.com/imaurer/awesome-decentralized-llm

Comunidades

  • Discords (ver https://buttondown.email/ainews para resúmenes de correo electrónico diarios, actualizado en vivo)
    • Discordia de espacio latente (¡nuestra!)
    • Piratería y aprendizaje general
      • Discordia de los piratas informáticos chatgpt
      • Laboratorio de alineación ai discord
      • Nous investigación discordia
      • Discordia discolm
      • Discordia de karpathy (inactiva)
      • Discord de la cara de abrazo
      • Skunkworks ai discord (nuevo)
      • Jeff Wang/LLM Discordia
      • Modo CUDA (Mark Saroufim) Ver YouTube y Github
    • Arte
      • Discordia de infusión estable
      • Deforum Discord https://discord.gg/upmxxsrwzc
      • Léxica Discord https://discord.com/invite/bmhbjj9wrh
    • Investigación de IA
      • Laion discord https://discord.gg/xbpbxfcfhd
      • Eleuther Discord: https://www.eleuther.ai/get-involved/ (Primer)
    • Varias startups
      • Perplejidad discord https://discord.com/invite/kwjzsxpdux
      • Discordia de MidJourney
        • Cómo usar MidJourney v4 https://twitter.com/fabianstelzer/status/1588856386540417024?s=20&t=plGlugaeeds9hwfegvrpg
  • https://stablehorde.net/
    • Agentes
      • Discord de autogpt
      • Discordia babyagi
  • Reddit
    • https://reddit.com/r/stablediffusion
    • https://www.reddit.com/r/localllama/
    • https://www.reddit.com/r/bing
    • https://www.reddit.com/r/openai

Gente

*Desconocido para muchas personas, una cantidad creciente de alfa ahora está fuera de ARXIV, las fuentes incluyen, pero no se limitan a: https://github.com/trending, hn, ese servidor de discordia de nicho, imagen de perfil de anime en x, reddit *- K

Esta lista estará desactualizada, pero te hará comenzar. Mi lista de personas en vivo a seguir es en: https://twitter.com/i/lists/1585430245762441216

  • Investigadores/desarrolladores
    • https://twitter.com/_jasonwei
    • https://twitter.com/johnowhitaker/status/1565710033463156739
    • https://twitter.com/altryne/status/1564671546341425157
    • https://twitter.com/schmidhuberai
    • https://twitter.com/nearcyan
    • https://twitter.com/karinanguyen_
    • https://twitter.com/abhi_venigalla
    • https://twitter.com/advadnoun
    • https://twitter.com/polynoamial
    • https://twitter.com/vovohimself
    • https://twitter.com/sarahookr
    • https://twitter.com/shaneguml
    • https://twitter.com/maartensap
    • https://twitter.com/ethancaballero
    • https://twitter.com/shayneredford
    • https://twitter.com/seb_ruder
    • https://twitter.com/rasbt
    • https://twitter.com/wightmanr
    • https://twitter.com/garymarcus
    • https://twitter.com/ylecun
    • https://twitter.com/karpathy
    • https://twitter.com/pirroh
    • https://twitter.com/eerac
    • https://twitter.com/teknium
    • https://twitter.com/alignment_lab
    • https://twitter.com/picocreator
    • https://twitter.com/charlespacker
    • https://twitter.com/ldjconfirmed
    • https://twitter.com/nisten
    • https://twitter.com/far__el
    • https://twitter.com/i/lists/1713824630241202630
  • Noticias/agregadores
    • https://twitter.com/ai__pub
    • https://twitter.com/weirdstableai
    • https://twitter.com/multimodalart
    • https://twitter.com/lastweekinai
    • https://twitter.com/paperswithcode
    • https://twitter.com/deeplearningai_
    • https://twitter.com/dl_weekly
    • https://twitter.com/slashml
    • https://twitter.com/_akhaliq
    • https://twitter.com/aaditya_ai
    • https://twitter.com/bentossell
    • https://twitter.com/johnvmcdonnell
  • Fundadores/constructores/VCS
    • https://twitter.com/Levelsio
    • https://twitter.com/goodside
    • https://twitter.com/c_valenzuelab
    • https://twitter.com/raza_habib496
    • https://twitter.com/sharifshameem/status/15624556907147775552
    • https://twitter.com/genekogan/status/1555184488606564353
    • https://twitter.com/levelsio/status/1566069427501764613?s=20&t=campswtmhdshqwd0k7ig
    • https://twitter.com/amanrsanger
    • https://twitter.com/ctjlewis
    • https://twitter.com/sarahcat21
    • https://twitter.com/jackclarksf
    • https://twitter.com/alexandr_wang
    • https://twitter.com/rameerez
    • https://twitter.com/scotttevenson
    • https://twitter.com/denisyarats
  • Estabilidad
    • https://twitter.com/stabilidadi
    • https://twitter.com/stablediffusion
    • https://twitter.com/hardmaru
    • https://twitter.com/jjitsev
  • Opadai
    • https://twitter.com/sama
    • https://twitter.com/ilyasut
    • https://twitter.com/miramurati
  • Cara de abrazo
    • https://twitter.com/younesbelkada
  • Artistas
    • https://twitter.com/karenxcheng/status/1564626773001719813
    • https://twitter.com/tomlikesrobots
  • Otro
    • Empresas
      • https://twitter.com/ANTHROPEAI
      • https://twitter.com/assemblyai
      • https://twitter.com/cohereai
      • https://twitter.com/mosaicml
      • https://twitter.com/metai
      • https://twitter.com/deepmind
      • https://twitter.com/hellopaperspace
  • Bots y aplicaciones
    • https://twitter.com/dreamtweetapp
    • https://twitter.com/aiarteveryhour

Citas, realidad y desmotivación

  • Dominio de tedio estrecho usos de dominio https://twitter.com/willmanidis/status/1584900092615528448 y https://twitter.com/willmanidis/status/1584900100480192516
  • antihype https://twitter.com/alexandr_wang/status/1573302977418387457
  • antihype https://twitter.com/fchollet/status/1612142423425138688?s=46&t=plcnw9pf-co4bn08qqvaug
  • Memes de Eng Engmes
    • https://twitter.com/_jasonwei/status/1516844920367054848
  • Las cosas estabilizadas luchan con https://opguides.info/posts/aiartpanic/
  • Nuevo Google
    • https://twitter.com/alexandr_wang/status/1585022891594510336
  • Nuevo PowerPoint
  • Vía Emad
  • Agregar indicaciones de forma predeterminada en UI
  • Dalle: https://twitter.com/levelsio/status/1588588888115912705?s=20&t=0ojpgmh9k6miedyvg2i6gg
  • Ha habido dos inviernos anteriores, un 1974-1980 y otro 1987-1993. https://www.erichgrunewald.com/posts/the-prospect-of-an-ai-winter/. Un poco más de comentarios aquí. Relacionado - Efecto Ai - "Una vez que funciona, no es ai"
  • Es solo multiplicación de matriz/loros estocásticos
    • Incluso LLM Skeptic Yann Lecun dice que los LLM tienen cierto nivel de comprensión: https://twitter.com/ylecun/status/1667947166764023808
    • El "aprendizaje profundo de Gary Marcus está golpeando un muro" https://nautil.us/deep-letarning-is-hitting-a-wall-238440/ sistemas simbólicos empujados
  • "Guo Lai Ren" Antihypers-> Worriers
    • https://adamkarvonen.github.io/machine_learning/2024/03/20/chess-gpt-interventions.html#next-token-predictors

Legal, ética y privacidad

  • Filtro NSFW https://vickiboykis.com/2022/11/18/some-notes-on-the-stable-diffusion-safety-filter/
  • En "Ai Art Panic" https://opguides.info/posts/aiartpanic/
    • Perdí todo lo que me hizo amar mi trabajo a través de MidJourney
    • Lista de artistas de Midjourney
  • Yannick influye en OpenRail-M https://www.youtube.com/watch?v=W5M-DVZPZSQ
  • Escuelas de arte que aceptan arte ai https://twitter.com/daverogenmoser/status/1597746558145265664
  • Problemas de DRM https://undeleted.ronsor.com/voice.ai-gpl-violations-with-a-side-of-drm/
  • Art de robo https://stablediffusionLitigation.com
    • http://www.stablediffusionfrivolous.com/
    • Atribución estable https://news.ycombinator.com/item?id=34670136
    • argumento de Coutner para Disney https://twitter.com/jonst0kes/status/1616219435492163584?s=46&t=hqqqdh1yewhwusqxytmf8w
    • Investigación sobre la copia de difusión estable https://twitter.com/officialzhvng/status/1620535905298817024?s=20&t=nc-nw7pfda8nyrd08lx1nw Este documento utilizó el establo estable para generar 175 millones de imágenes sobre 350,000 indicaciones y solo 109 cerca de los datos de entrenamiento. ¿Tengo razón en que mi conclusión principal de esto es lo buena que es la difusión estable para no memorizar ejemplos de entrenamiento?
  • deseche de contenido
    • https://blog.ericgoldman.org/archives/2023/08/web-scraping-for-me-but-not-for-thee-guest-log-post.htm
    • Caso Sarah Silverman-Respuesta de Openai https://arstechnica.com/tech-policy/2023/08/openai-disputes-authors-claims-that-every-chatgpt-response-is-a--derovative-work/
    • Respuesta de OpenAI
  • Licencia
    • Los pesos de IA no están abiertos "fuente" - Sid Sijbrandij
  • Diversidad y equidad
    • Minorías sexualizantes https://twitter.com/lanadenina/status/16802388833206832129 La razón es que el porno es bueno en los cuerpos
    • OpenAi tachando al azar "negro" para hacer que Dalle sea diverso
  • Privacidad-Computación confidencial https://www.edgeless.systems/blog/how-confidential-computing-and-ai-fit-together/
  • AI tomando trabajos https://donaldclarkplanb.blogspot.com/2024/02/this-is-why-idea-that-ai-will-just.html

Alineación, seguridad

  • Anthropic - https://arxiv.org/pdf/2112.00861.pdf
    • Helpful: attempt to do what is ask. concise, efficient. ask followups. redirect bad questions.
    • Honest: give accurate information, express uncertainty. don't imitate responses expected from an expert if it doesn't have the capabilities/knowledge
    • Harmless: not offensive/discriminatory. refuse to assist dangerous acts. recognize when providing sensitive/consequential advice
    • criticism and boundaries as future direction https://twitter.com/davidad/status/1628489924235206657?s=46&t=TPVwcoqO8qkc7MuaWiNcnw
  • Just Eliezer entire body of work
    • https://twitter.com/esyudkowsky/status/1625922986590212096
    • agi list of lethalities https://www.lesswrong.com/posts/uMQ3cqWDPHhjtiesc/agi-ruin-a-list-of-lethalities
    • note that eliezer has made controversial comments in the past and also in recent times (TIME article)
  • Connor Leahy may be a more sane/measured/technically competent version of yud https://overcast.fm/+aYlOEqTJ0
    • it's not just paperclip factories
    • https://www.lesswrong.com/posts/HBxe6wdjxK239zajf/what-failure-looks-like
  • the 6 month pause letter
    • https://futureoflife.org/open-letter/pause-giant-ai-experiments/
    • yann lecun vs andrew ng https://www.youtube.com/watch?v=BY9KV8uCtj4
    • https://scottaaronson.blog/?p=7174
    • emily bender response
    • Geoffrey Hinton leaving Google
    • followed up by one sentence public letter https://www.nytimes.com/2023/05/30/technology/ai-threat-warning.html
  • xrisk - Is avoiding extinction from AI really an urgent priority? (enlace)
    • AI Is not an arms race. (enlace)
    • If we're going to label AI an 'extinction risk,' we need to clarify how it could happen. (enlace)
  • OpenAI superalignment https://www.youtube.com/watch?v=ZP_N4q5U3eE

regulación

  • chinese regulation https://www.chinalawtranslate.com/en/overview-of-draft-measures-on-generative-ai/
    • https://twitter.com/mmitchell_ai/status/1647697067006111745?s=46&t=90xQ8sGy63D2OtiaoGJuww
    • China is the only major world power that explicitly regulates generative AI
  • italy banning chatgpt
    • At its annual meeting in Japan, the Group of Seven (G7), an informal bloc of industrialized democratic governments, announced the Hiroshima Process, an intergovernmental task force empowered to investigate risks of generative AI. G7 members, which include Canada, France, Germany, Italy, Japan, the United Kingdom, and the United States, vowed to craft mutually compatible laws and regulate AI according to democratic values. These include fairness, accountability, transparency, safety, data privacy, protection from abuse, and respect for human rights.
  • US President Joe Biden issued a strategic plan for AI. The initiative calls on US regulatory agencies to develop public datasets, benchmarks, and standards for training, measuring, and evaluating AI systems.
  • Earlier this month, France's data privacy regulator announced a framework for regulating generative AI.
  • regulation vs Xrisk https://1a3orn.com/sub/essays-regulation-stories.html
  • Multimodal Prompt Injection in GPT4V

Maga

  • Susurro
    • https://huggingface.co/spaces/sensahin/YouWhisper YouWhisper converts Youtube videos to text using openai/whisper.
    • https://twitter.com/jeffistyping/status/1573145140205846528 youtube whipserer
    • multilingual subtitles https://twitter.com/1littlecoder/status/1573030143848722433
    • video subtitles https://twitter.com/m1guelpf/status/1574929980207034375
    • you can join whisper to stable diffusion for reasons https://twitter.com/fffiloni/status/1573733520765247488/photo/1
    • known problems https://twitter.com/lunixbochs/status/1574848899897884672 (edge case with catastrophic failures)
  • textually guided audio https://twitter.com/FelixKreuk/status/1575846953333579776
  • Codegen
    • CodegeeX https://twitter.com/thukeg/status/1572218413694726144
    • https://github.com/salesforce/CodeGen https://joel.tools/codegen/
  • pdf to structured data - Impira used t to do it (dead link: https://www.impira.com/blog/hey-machine-whats-my-invoice-total) but if you look hard enough on twitter there are some alternativas
  • text to Human Motion diffusion https://twitter.com/GuyTvt/status/1577947409551851520
    • abs: https://arxiv.org/abs/2209.14916
    • project page: https://guytevet.github.io/mdm-page/
Expandir
Información adicional
Aplicaciones relacionadas
Recomendado para ti
Información relacionada Todo