ai notes 다운로드 -AI ai notes 소스 코드 다운로드

ai notes

기타 소스코드

1.0.0

다운로드

AI 노트

생성 및 대형 언어 모델에 중점을 둔 AI 최신 예술에 대한 메모. https://lspace.swyx.io/ 뉴스 레터의 "원자재"입니다.

이 저장소는 https://github.com/sw-yx/prompt-eng이라고 불렀지 만 프롬프트 엔지니어링이 과장되어 있기 때문에 이름이 바뀌 었습니다. 이것은 이제 AI 엔지니어링 노트 repo입니다.

이 readme은 공간에 대한 높은 수준의 개요입니다. 이 repo의 다른 Markdown 파일에서 가장 많은 업데이트가 표시됩니다.

TEXT.md 텍스트 생성, 대부분 GPT -4
- TEXT_CHAT.md Chatgpt 및 경쟁사에 대한 정보 및 파생 상품
- TEXT_SEARCH.md GPT -4에 대한 정보 시맨틱 검색 및 기타 정보에 대한 정보
- TEXT_PROMPTS.md 좋은 gpt3 프롬프트의 작은 스 와이프 파일
INFRA.md AI 인프라, 하드웨어 및 스케일링에 대한 원시 노트
AUDIO.md 오디오/음악/음성 전사 + 생성 추적
CODE.md Colecilot과 같은 CodeGen 모델
IMAGE_GEN.md 가장 큰 파일, 안정적인 확산에 대한 가장 중점을 둔 파일, 일부는 Midjourney 및 Dalle에 있습니다.
- IMAGE_PROMPTS.md 좋은 이미지 프롬프트의 작은 스 와이프 파일
자원 : 서서히 정리, 청소 자원은
AGENTS.md 노
블로그 아이디어 -이 노트에서 파생 된 잠재적 블로그 게시물 아이디어 BC

동기 부여 사용 사례
최고 AI가 읽습니다
커뮤니티
사람들
기타
인용문, 현실 및 민원화
법률, 윤리 및 개인 정보

동기 부여 사용 사례

이미지
- https://mpost.io/best-100-stable-diffusion-prompts-the-most-beautiful-ai-text-to-image-prompts
- 3D MRI 합성 뇌 이미지 - 신경 이미징 통계 학자의 긍정적 수신
- 멀티 플레이어 안정 확산
동영상
- 유명한 영화 장면의 img2img (Lalaland)
  - ebsynth + koe_recast를 사용한 IMG2IMG 변환 액터
  - Ebsynth의 작동 방식 https://twitter.com/tomlikesrobots/status/1612047103806545923?s=20
- 가상 패션 (Karenxcheng)
- 원활한 타일링 이미지
- 장면의 진화 (Xander)
- https://twitter.com/orbamsterdam/status/1568200010747068417?s=21&t=RLIACNWOIJMIS37S8QCCW
- webui img2img 협업 https://twitter.com/_akhaliq/status/1563582621757898752
- 로테이션 https://twitter.com/tomlikesrobots/status/1571096804539912192로 비디오에서 이미지
- "프롬프트 페인트"https://twitter.com/1littlecoder/status/1572573152974372864
- 얼굴의 Audio2Video 애니메이션 https://twitter.com/siavashg/status/159758886565363969
- 물리적 장난감 3D 모델 + 애니메이션 https://twitter.com/sergeyglkn/status/1587430510988611584
- 뮤직 비디오
  - 비디오는 라디오 스타, Colab이 OpenAi의 Whisper Speech-to-Text를 사용하여 YouTube 비디오를 찍고 YouTube 비디오에서 가사로 제출 된 안정적인 확산 애니메이션을 만들 수 있습니다.
  - 안정적인 확산 비디오는 프롬프트와 오디오를 보간하여 비디오를 생성합니다.
- 직접 Text2Video 프로젝트
  - https://twitter.com/_akhaliq/status/1575546841533497344
  - https://makeavideo.studio/- 탐색기 https://webvid.datasette.io/webvid/videos
  - https://phenaki.video/
  - https://github.com/thudm/cogvideo
  - https://imagen.research.google/video/
Text-to-3d https://twitter.com/_akhaliq/status/1575541930905243652
- https://dreamfusion3d.github.io/
- 오픈 소스 임시 : https://github.com/ashawkey/stable-dreamfusion
- 데모 https://twitter.com/_akhaliq/status/1578035919403503616
텍스트 제품
- 끝 https://huyenchip.com/2023/04/11/llm-engineering.html에 usecases 목록이 있습니다
벽옥
Obsidian https://reasonabledeviations.com/2023/02/05/gpt-for-second-brain/에 대한 GPT
gpt3 이메일 https://github.com/sw-yx/gpt3-email 및 이메일 클러스터링
GPT3 () Google 시트 2020, 2022- 시트 Google 시트 https://twitter.com/mehran__jalali/status/1608159307513618433
- https://gpt3demo.com/apps/google-sheets
- Charm https://twitter.com/shubroski/status/1620139262925754368?s=20
https://www.summari.com/ summari는 바쁜 사람들이 더 많은 것을 읽을 수 있도록 도와줍니다
시장지도/풍경
- Elad Gil 2024 스택 차트
- 세쿼이아 시장지도 2023 년 1 월 2023 년 7 월, 2023 년 9 월
- Base10 시장지도 https://twitter.com/letsenhance_io/status/1594826383305449491
- Matt Shumer Market Map https://twitter.com/mattshumer_/status/1620465468229451776 https://docs.google.com/document/d/1sewtbzrf087f6hfxiyeoisgc1n4n3o7ryzijvexcgoq/edit
- nfx https://www.nfx.com/post/generative-ai-tech-5layers?ref=context-by-cohere
- A16Z https://a16z.com/2023/01/19/who-ons-the-generative-ai-platform/
  - https://a16z.com/2023/06/20/emerging-architectures-for-llm-applications/
  - https://a16z.com/100-gen-ai-apps
- Madrona https://www.madrona.com/foundation-models/
- 코팅
  - https://www.coatue.com/blog/perspection/ai-the-coming-revolution-2023
  - https://x.com/sam_awrabi/status/1742324900034150646?s=20
게임 자산 -
- EMAD 스레드 https://twitter.com/emostaque/status/1591436813750906882
- 시나리오 .gg https://twitter.com/emmanuel_2m/status/1593356241283125251
- 3D 게임 캐릭터 모델링 예제
- Mariogpt https://arxiv.org/pdf/2302.05981.pdf https://www.slashgear.com/1199870/mariogpt-uses-ai-tonerate-endless-super-mario-levels-for-free/ https : //github.com/shyamsn97/mario-gpt/blob/main/mario_gpt/level.py
- https://news.ycombinator.com/item?id=36295227

최고 AI가 읽습니다

고급 GPT3 읽기가 https://github.com/sw-yx/ai-notes/blob/main/text.md로 나뉩니다.

https://www.gwern.net/gpt-3#prompts-as-programming
https://learnprompting.org/

초보자 읽기

AI의 Bill Gates (트윗)
- "AI의 개발은 마이크로 프로세서, 개인용 컴퓨터, 인터넷 및 휴대폰의 생성만큼이나 기본적입니다. 사람들이 일하고 배우고 여행하고 건강 관리를 받고 서로 의사 소통하는 방식을 바꿀 것입니다."
개발자를위한 AI의 Steve Yegge
Karpathy 2023 LLMS 소개 (Sarah Chieng의 메모)
Sarah Chieng을 통해 Neurips에서 Openai의 신속한 엔지니어링 안내서
이 AI 순간이 실제 거래 일 수있는 이유
Sam Altman- 모든 것을위한 무어의 법칙
MSR https://youtu.be/hqi6o5dlyfc의 기초 모델에 대한 훌륭한 소개
OpenAi 프롬프트 자습서 https://beta.openai.com/docs/quickstart/add-some-examples
Google Lamda Intro https://aitestkitchen.withgoogle.com/how-lamda-works
Karpathy Gradient 하강 과정
FT "변압기 작동 방식"에 대한 비주얼 스토리 텔링
Dalle2 프롬프트 서적 http://dallery.gallery/wp-content/uploads/2022/07/the-dall%C2%B7E-2-prompt-book-v1.02.pdf
https://medium.com/nerd-for-tech/prompt-engineering-the-career-of-future-2fb93f90f117
AI를 사용하여 정보를 얻고 데이터 작업을 수행하고 이미지 만들기 방법
https://ourworldindata.org/brief-history-of-ai ai 좋은 차트가있는 진행 개요
Jon Stokes의 AI Content Generation, 1 부 : 기계 학습 기본 사항
Andrew Ng- AI의 기회
변압기 모델은 무엇이며 어떻게 작동합니까? - 어쩌면 너무 높은 수준 일 수도 있습니다
텍스트 생성
- HumanLoop의 신속한 엔지니어링 101
- Stephen Wolfram의 설명 https://writings.stephenwolfram.com/2023/02/what-is-chatgpt-doing-and-why-does-it-work/
- Jon Stokes jonstokes.com/p/the-chat-stack-gpt-4-and-the-near와 동일합니다
- https://andymatuschak.org/prompts/
- Cohere의 LLM University https://docs.cohere.com/docs/llmu
  - Jay Alammar의 모든 것들에 대한 가이드 : https://llm.university/
- https://www.jonstokes.com/p/chatgpt-explained-a-guide-for-normies for Normies
이미지 생성
- https://wiki.installgentoo.com/wiki/stable_diffusion 개요
- https://www.reddit.com/r/stableiffusion/comments/x41n87/how_to_get_images_that_dont_suck_a/
- https://mpost.io/best-100-stable-diffusion-prompts-the-most-beautiful-ai-text-to-image-prompts/
- https://www.kdnuggets.com/2021/03/beginners-guide-clip-model.html
비 기술적 인 경우
- https://www.jonstokes.com/p/ai-content-generation-part-1-machine
- https://www.protocol.com/generative-ai-startup-landscape-map
- https://twitter.com/saranormous/status/1572791179636518913

중간 읽기

AI 보고서 : 2018, 2019, 2020, 2021, 2022
역학적 주요 사건 https://bleedingedge.ai/
LLM에 대해 우리가 알고있는 것 - 큰 연구 요약
Karpathy의 1 시간 LLMS 가이드 - Sarah Chieng의 요약
- 1. 큰 언어 모델 (LLM)은 무엇입니까?
  - LLM에는 두 가지 주요 구성 요소가 있습니다
    - LLM은 무엇을합니까?
1. LLM을 어떻게 만드나요?
  - 1 단계 : 모델 사전 훈련
  - 2 단계 : 모델 미세 조정
    - 2B 단계 : [선택 사항] 추가 미세 조정
  - 3 단계 : 모델 추론
  - 4 단계 : [선택 사항] 사용자 정의로 LLM을 과급합니다
2. 현재 LLM "리더 보드"
3. LLM의 미래 : 다음은 무엇입니까?
  - LLM 성능을 향상시키는 방법?
    - LLM 스케일링 법
    - 자기 개선
  - LLM 능력을 향상시키는 방법?
    - 다분위
    - 시스템 1 + 2 사고
4. LLM Dark Arts
  - 탈옥
  - 프롬프트 주입
  - 데이터 중독 및 백도어 공격
- LLM 수학에 대한 Evan Morikawa 가이드, 특히 5 가지 스케일링 챌린지 작품
해커의 언어 모델에 대한 안내서 (YouTube) Jeremy Howard의 90 분 LLM 학습에 대한 완전한 개요-기본 사항부터 시작 : 모든 현대 LLM에 사용되는 3 단계 사전 훈련 / 미세 조정 / 분류기 ULMFIF 접근법.
https://spreadsheets-are-all-you-need.ai
"LLM의 이상한 세계를 따라 잡기" - Simon Willison의 40 분 개요 + AI 엔지니어를위한 공개 질문
Flyte의 LLMS 개요
Clementine Fourrier는 EVAL이 어떻게 수행되는지에 대한
LLM 기반 시스템 및 제품 구축 패턴 - 훌륭한 요약
- Evals : 성능을 측정합니다
- 래그 : 최근의 외부 지식을 추가합니다
- 미세 조정 : 특정 작업을 개선하기 위해
- 캐싱 : 대기 시간 및 비용을 줄이기 위해
- 가드 레일 : 출력 품질을 보장합니다
- 방어 UX : 오류를 우아하게 예상하고 관리합니다
- 사용자 피드백 수집 : 데이터 플라이휠을 구축하려면
벡터 데이터베이스 : 기술 프라이머 [PDF] 벡터 DBS의 매우 멋진 슬라이드
- 하이브리드 검색의 범위 누락 (벡터 + 어휘). 추가 토론
A16Z AI Canon https://a16z.com/2023/05/25/ai-canon/
- Software 2.0 : Andrej Karpathy는 새로운 AI 웨이브가 왜 중요한지 명확하게 설명한 최초의 사람 중 하나였습니다. 그의 주장은 AI는 컴퓨터를 프로그래밍하는 새롭고 강력한 방법이라는 것입니다. LLM이 빠르게 향상됨에 따라이 논문은 유명한 것으로 입증되었으며 AI 시장이 어떻게 진행될 수 있는지에 대한 좋은 정신 모델을 제공합니다.
- GPT의 상태 : Karpathy에서도 이것은 ChatGpt / GPT 모델이 일반적인 작동 방식, 사용 방법 및 방향 R & D가 어떻게 취할 수 있는지에 대한 매우 접근하기 쉬운 설명입니다.
- chatgpt는 무엇을하고 있는데 왜 작동합니까? : 컴퓨터 과학자이자 기업가 Stephen Wolfram은 첫 번째 원칙에서 현대 AI 모델의 작동 방식에 대한 길고 읽기 쉬운 설명을 제공합니다. 그는 초기 신경망에서 오늘의 LLM 및 Chatgpt까지의 타임 라인을 따릅니다.
- Transformers, 설명 : Dale Markowitz 의이 게시물은“LLM이란 무엇이며 어떻게 작동합니까?”라는 질문에 대한 더 짧고 직접적인 답변입니다. 이것은 주제를 완화하고 기술에 대한 직관을 개발하는 좋은 방법입니다. 그것은 GPT-3에 대해 작성되었지만 여전히 최신 모델에 적용됩니다.
- 안정된 확산이 작동하는 방법 : 이것은 마지막 게시물에 대한 컴퓨터 비전 아날로그입니다. Chris McCormick은 안정된 확산이 어떻게 작동하는지에 대한 계층의 설명을 제공하고 일반적으로 텍스트-이미지 모델에 대한 직관을 개발합니다. 더 온화한 소개를 보려면 R/StableDiffusion 에서이 만화를 확인하십시오.
- 설명 자
  - 간단히 말해서 딥 러닝 : 핵심 개념 : Nvidia 의이 네 부분으로 구성된 시리즈는 2015 년에 실천 된 딥 러닝의 기본 사항을 살펴보고 AI에 대해 배우는 사람에게는 좋은 자료입니다.
  - 코더를위한 실용적인 딥 러닝 : AI의 기본 사항에 대한 포괄적이고 무료 코스는 실제 예와 코드를 통해 설명됩니다.
  - Word2Vec은 설명 : LLM (및 모든 언어 모델)의 빌딩 블록 인 임베딩 및 토큰에 대한 쉬운 소개.
  - 예, 백 프롭을 이해해야합니다 . 세부 사항을 이해하려면 역전에 대한 심층적 인 게시물입니다. 더 많은 것을 원한다면 YouTube에서 Stanford CS231N 강의 (코스)를 사용해보십시오.
- 행동
  - Stanford CS229 : 기계 학습의 기본 사항을 다루는 Andrew NG와의 기계 학습 소개.
  - Stanford CS224N : Chris Manning과의 딥 러닝이있는 NLP, 1 세대 LLM을 통해 NLP 기본 사항을 다루었습니다.
https://github.com/mlabonne/llm-course
https://cims.nyu.edu/~sbowman/eightthings.pdf
1. LLMS는 목표 혁신 없이도 투자 증가에 더 능숙 해지고 있습니다.
2. 많은 중요한 LLM 행동은 투자 증가의 부산물로 예측할 수 없을 정도로 나타납니다.
3. LLM은 종종 외부 세계의 표현을 배우고 사용하는 것으로 보입니다.
4. LLM의 동작을 조종하기위한 신뢰할 수있는 기술은 없습니다.
5. 전문가들은 아직 LLM의 내부 작업을 해석 할 수 없습니다.
6. 작업의 휴먼 성능은 LLM 성능의 상한이 아닙니다.
7. LLM은 제작자의 값이나 웹 텍스트에서 인코딩 된 값을 표현할 필요가 없습니다.
8. LLM과의 간단한 상호 작용은 종종 오해의 소지가 있습니다.
9. Simonw는 https://fedi.simonwillison.net/@simon/11014418546387790을 강조합니다
10 LLM 연구에서 열린 도전 https://huyenchip.com/2023/08/16/llm-research-open-challenges.html
Openai 프롬프트 ENG ENG COOKBOOK https://github.com/openai/openai-cookbook/blob/main/techniques_to_improve_reliability.md
신속한 ENG 개요 https://lilianweng.github.io/posts/2023-03-15-prompt-engineering/
https://moultano.wordpress.com/2023/06/28/the-many-ways- that-digital-minds-can-know/ 검색 대 AI 비교
2022 년의 주요 AI 개발 요약 https://www.deeplearning.ai/the-batch/issue-176/
Dalle2 Asset Generation + Inpainting https://twitter.com/aifunhouse/status/157620248093686273?s=20&t=5exa1uydpva2sjzm-sxhcq
Suhail Journey https://twitter.com/suhail/status/1541276314485018625?s=20&t=x2mvkqkhdr28iz3vzeeo8w
Composable 확산 - "및"대신 "및"https://twitter.com/tomlikesrobots/status/1580293860902985728
BPE 토큰 화 https://towardsdatascience.com/byte-pair-encoding-subword--tokenization-algorithm-77828a70bee0 Google 문장 및 Openai Tiktoken 참조
- gpt2 소스 https://github.com/openai/gpt-2/blob/master/src/encoder.py의 소스
- BPE는 차선책이 차선책입니다
  - // ---------------------------------------------------- --------------------------------------------------------- ------------------ 단일 GPT-4 토큰입니다
  - GPT-3.5는 UseraliveAmagePath에 대해 너무 많이 생각할 때 충돌합니다
  - 수학 및 문자열 문자 문제 https://news.ycombinator.com/item?id=35363769를 일으 킵니다
  - EVAL에 문제가 발생합니다
  - 글리치 토큰은 토큰 화기가 LLM과 다른 데이터 세트를 가지고있을 때 발생합니다.
  - 왜 토큰 화가 지저분한 지에 대해 이야기합니다
- https://platform.openai.com/tokenizer 및 https://github.com/openai/tiktoken (최신 정보 : https://tiktokenizer.verscel.app/)
- 워드 피스 -> bpe-> sentencetransformer
  - 임베딩에 대한 예비 독서
  - https://youtu.be/qddoffkvkcw?si=qefzsddspxdnd313
  - Huggingface 많은 임베딩의 MTEB 벤치 마크
  - GPT3 임베딩 및 고려해야 할 대안과 관련된 주목할만한 문제
- https://observablehq.com/@simonw/gpt-3-token-encoder-decoder
- Karpathy는 https://twitter.com/karpathy/status/1657949234535211009를 떠나기를 원합니다
- 디코더에만 필요하지 않은 위치 인코딩 https://twitter.com/a_kazemnejad/status/166427759968927744?s=20
자체 언어를 작성합니다 https://twitter.com/giannis_daras/status/1531693104821985280
Google 클라우드 생성 AI 학습 경로 https://www.cloudskillsboost.google/paths/118
img2img https://andys.page/posts/how-to-draw/
언어 모델링 https://lena-voita.github.io/nlp_course/language_modeling.html 및 접근 가능하지만 접근하기 쉽지만 분포에서 샘플링 및 일부 기계적 intepretability (견적 상태를 추적하는 뉴런 찾기)를 포함한 기술적 설명에 대한 기술적 설명
사진에 대한 퀘스트 https://www.reddit.com/r/stableiffusion/comments/x9zmjd/quest_for_ultimate_photorealism_part_2_colors/
- https://medium.com/merzazine/prompt-design-dall-e-photorealism-emulating-6f478df6f186
설정 조정 https://www.reddit.com/r/stableiffusion/comments/x3k79h/the_feeling_of_discovery_sd_is_ike_a_great_proc/
- 종자 선택 https://www.reddit.com/r/stableiffusion/comments/x8szj9/tutorial_seed_selection_and_the_impact_on_your/
- 마이너 매개 변수 매개 변수 차이 연구 (단계, CLAMP_MAX, ETA, CUTN_BATCHES 등) https://twitter.com/kyrickyoung/status/1500196286930292742
- 생성 AI : 모든 것에 대한 자동 완성 https://noahpinion.substack.com/p/generative-ai-autocomplete-for-everthing ?sd=pf
- GPT는 어떻게 능력을 얻습니까? GPT 모델 패밀리의 개발 이력과 능력이 어떻게 개발되었는지와 함께 소스에 대한 언어 모델의 출현 능력을 추적
https://barryz-architecture-agentic-llm.notion.site/ altoverythe-i- know-about-llms-d117ca25d4624199be07e9b0ab356a77

고급 읽기

https://github.com/mooler0410/llmspracticalguide
- 모든 IMPT 논문의 선별 된 목록
https://github.com/eleutherai/cookbook#the-cookbook Eleuther AI의 교육을위한 리소스 목록. https://github.com/google-research/tuning_playbook과 비교하십시오
안티 과대 광고 LLM 읽기 목록 https://gist.github.com/veekaybee/be375ab33085102f9027853128dc5f0e
Openai의 Jason Wei (블로그)에서 6 개의 논문
- GPT-3 논문 (https://arxiv.org/abs/2005.14165)
- 체인-생각 프롬프트 (https://arxiv.org/abs/2201.11903)
- 스케일링 법, (https://arxiv.org/abs/2001.08361)
- 출현 능력 (https://arxiv.org/abs/2206.07682)
- 언어 모델은 뒤집힌 레이블과 의미 적으로 관련된 라벨을 따를 수 있습니다 (https://arxiv.org/abs/2303.03846)
LLM 종이 노트 - Eugene Yan의 잠재 우주 종이 클럽의 메모
처음부터 트랜스포머 https://e2eml.school/transformers.html
- 트랜스포머 vs lstm https://medium.com/analytics-vidhya/why-are-lstms-struggling-to-matchup-with-transformers-a1cc5b2557e3
- 변압기 코드 연습 https://twitter.com/mark_riedl/status/155518802534176768
- 트랜스포머 패밀리 https://lilianweng.github.io/posts/2023-01-27-transformer-family-v2/
  - Carmack 종이 목록 https://news.ycombinator.com/item?id=34639634
  - 변압기 모델 : 소개 및 카탈로그 https://arxiv.org/abs/2302.07730
  - DeepMind- 변압기에 대한 공식 알고리즘 https://arxiv.org/pdf/2207.09238.pdf
- Jay Alammar 설명 자
  - https://jalammar.github.io/illustrated-transformer/
  - https://jalammar.github.io/visualizing-neural-machine-translation-mechanics-of-seq2se-models-with-attention/
변압기에 대한 카르 파티
- 수렴 : AI의 지속적인 통합은 믿어지지 않습니다. 10 년 전에 시작했을 때 비전, 언어, 자연어, 강화 학습 등은 완전히 분리되었습니다. 당신은 영역에서 논문을 읽을 수 없었습니다. 접근 방식은 완전히 달랐으며 종종 ML 기반조차 없었습니다. 2010 년 에이 모든 영역은 1) 기계 학습으로, 특히 2) 신경망으로 전환되기 시작했습니다. 아키텍처는 다양했지만 적어도 논문은 더 유사하게 읽기 시작했으며, 이들은 모두 큰 데이터 세트를 사용하고 신경망을 최적화했습니다. 그러나 대략. 지난 2 년간, 모든 영역의 신경 순 아키텍처조차도 동일하게 보이기 시작했습니다 - 변압기 (~ 200 줄의 pytorch https://github.com/karpathy/mingpt/blob/mas ), 매우 작은 차이가 있습니다. 강력한 기준선 또는 (종종) 예술의 상태로. (트위스트 스톰)
- 트랜스포머가이긴 이유 : 변압기는 일반적인 목적 차별화 가능한 컴퓨터이기 때문에 웅장한 신경망 아키텍처입니다. 동시에 : 1) 표현식 (정방향 패스) 2) 최적화 가능 (역전+그라디언트 하강을 통해) 3) 효율적 (높은 병렬성 컴퓨팅 그래프) tweetstorm
  - https://twitter.com/karpathy/status/1593417989830848512?s=20
  - 1 시간 스탠포드 강의 및 8 분 Lex Fridman 요약에서 정교화
- 2 개의 토큰 0/1 및 컨텍스트 길이 3을 가진 babygpt를 유한 상태 Markov 체인으로 보았습니다. 50 개의 반복을 위해 "111101111011110"시퀀스에 대해 교육을 받았습니다. 변압기의 매개 변수와 아키텍처는 화살표의 확률을 수정합니다.
- 처음부터 GPT를 구축하십시오 https://www.youtube.com/watch?v=kcc8fmeb1ny
- 60 loc https://jaykmody.com/blog/gpt-from-scratch/에서 처음부터 다른 GPT
새로운 이론적 관점에서 처음부터 확산 모델 - 확산 모델의 코드 구동 소개
137 대형 언어 모델의 출현 능력
- 출현 몇 가지 샷 프롬프트 작업 : Big-Bench 및 MMLU 벤치 마크
- 출현 전략
  - 지시를 따르는 것
  - 스크래치 패드
  - 사실 점검을 위해 오픈 북 지식 사용
  - 생각의 사슬 프롬프트
  - 차별화 가능한 검색 인덱스
  - 일관성
  - 프롬프트에 대한 설명을 활용합니다
  - 가장 가장 큰 프롬프트
  - 제로 샷 사슬의 생각
  - P를 통한 교정 (true)
  - 다국어 사슬의 생각
  - Ask-me-anything remping
- 약간의 푸시 백 - 그들은 신기루입니까? 가혹한 지표를 사용하지 마십시오
  - https://www.jasonwei.net/blog/common-arguments-grading-emergent-abilities
  - https://hai.stanford.edu/news/ais-ostensible-emergent-acilities-are-mirage
- 이미지
  - Eugene Yan 이미지 스택 https://eugeneyan.com/writing/text-to-image/에 대한 설명
  - vqgan/clip https://minimaxir.com/2021/08/vqgan-clip/
  - 10 년의 이미지 생성 역사 https://zentralwerkstatt.org/blog/ten 년-이미지 ---synthesis
  - Vision Transformers (VIT) 설명 https://www.pinecone.io/learn/vision-transformers/
- 부정적인 프롬프트
- 2022 년 최고의 논문 https://www.yitay.net/blog/2022-best-nlp-papers
- 대규모 생성 모델의 예측 가능성과 놀라움 - 스케일링 및 기능에 대한 우리가 알고있는 좋은 설문 조사 논문, 지금까지 LLM의 상승
더 신속한 Eng Papers https://github.com/dair-ai/prompt-engineering-guide
https://creator.nightcafe.studio/vqgan-clip-keyword-modifier-comparison vqgan+클립 키워드 수정 자 비교
변압기의 역사
- Richard Socher는 변압기로 이어지는주의 메커니즘 https.fm/+r1p4nkffu/1:00:00으로 이어지는주의 메커니즘에 기여합니다.
- https://kipp.ly/blog/transformer-taxonomy/이 문서는 AI를 따라 잡으려고하는 사람들을위한 나의 문학 검토입니다. 22 개의 모델, 11 개의 건축 변경, 7 개의 프리 트레인 기술 및 3 개의 교육 기술 (위의 5 가지가없는 5 가지)을 다룹니다.
- 큰 언어 모델 이해를 이해하기 위해 가장 관련성이 높은 문헌의 단면을 이해
  - Bandanau et al (2014)에 신용을 제공하는데, 이는 처음으로 Token 점수보다 SoftMax 기능을 적용하여주의를 계산하여 Vaswani et al (2017)의 원래 변압기의 단계를 설정하는 개념을 제안했다고 생각합니다. https://news.ycombinator.com/item?id=35589756
- https://finbarrtimbers.substack.com/p/five 년 ---progress-in-gpts gpt1/2/3, Megatron, Gopher, Chinchilla, Palm, Llama
- 좋은 요약 논문 (알아야 할 8 가지) https://cims.nyu.edu/~sbowman/eightthings.pdf
Huggingface Moe 설명자
https://blog.alexalemi.com/kl-is-all-you-need.html

126 개의 키워드 수정자를 동일한 프롬프트 및 초기 이미지와 비교했습니다. 이것이 결과입니다.

https://creator.nightcafe.studio/collection/8dmygkm1evxg7z9pv23w
Google은 Partiprompts를 벤치 마크로 발표했습니다. https://parti.research.google/ "Partiprompts (P2)는이 작업의 일부로 출시되는 영어로 된 1600 개 이상의 프롬프트 세트입니다. P2는 모델 기능을 측정하는 데 사용될 수 있습니다. 다양한 범주와 도전 측면. "
비디오 튜토리얼
- 픽셀 아트 https://www.youtube.com/watch?v=uvjkqptr-8s&feature=youtu.be
논문의 역사
- 2008 : NLP (Collobert-weston)에 대한 통합 아키텍처 https://twitter.com/ylecun/status/1611921657802768384
- 2015 : Semi-Supervised Sequence Learning https://twitter.com/deliprao/status/1611896130589057025?s=20
- 2017 : 변압기 (Vaswani et al)
- 2018 : GPT (Radford et al)
기타
- 안정성 CIO 관점 https://danieljeffries.substack.com/p/the-turning-point-for-truly-open?sd=pf
- https://github.com/awesome-stable-diffusion/awesome-stable-diffusion
- https://github.com/microsoft/lmops msft 프롬프트 연구에 대한 안내서
- Gwern 's Behind the Scenes의 Bing, Gpt4 및 Microsoft-openai 관계 https://www.lesswrong.com/posts/jtopawehlnxnxvgtt/bing-chat-sallandly-aggressially-misaligned

이와 같은 다른 목록

https://gist.github.com/rain-1/eebd5e5eb2784feecf450324e3341c8d
https://github.com/underlines/awesome-marketing-datascience/blob/master/awesome-ai.md#llama-models
https://github.com/imaurer/awesome-decentralized-llm

커뮤니티

discords
- 잠복 우주 불화 (우리!)
- 일반 해킹 및 학습
  - chatgpt 해커는 불화를냅니다
  - 정렬 실험실 AI 불화
  - nous 연구 불화
  - discolm discord
  - Karpathy discord (비활성)
  - 포옹 표면 불화
  - skunkworks ai discord (신규)
  - Jeff Wang/llm Perf Apprusiasts Discord
  - Cuda Mode (Mark Saroufim) YouTube 및 Github를 참조하십시오
- 미술
  - 안정된 확대 불일치
  - Deforum discord https://discord.gg/upmxxsrwzc
  - Lexica discord https://discord.com/invite/bmhbjj9wrh
- AI 연구
  - laion discord https://discord.gg/xbpbxfcfhd
  - Eleuther Discord : https://www.eleuther.ai/get-involved/ (프라이머)
- 다양한 신생 기업
  - Perplexity discord https://discord.com/invite/kwjzsxpdux
  - 미드 주니의 불화
    - MidJourney v4 https://twitter.com/fabianstelzer/status/1588856386540417024?s=20&t=plglugaeeds9hwegvrrpg를 사용하는 방법
https://stablehorde.net/
- 자치령 대표
  - 자동 조정 불화
  - babyagi discord
레딧
- https://reddit.com/r/stableiffusion
- https://www.reddit.com/r/localllama/
- https://www.reddit.com/r/bing
- https://www.reddit.com/r/openai

사람들

*많은 사람들에게 알려지지 않고, 점점 더 많은 양의 알파가 arxiv 외부에 있으며, 출처는 다음과 같은 것입니다 : https://github.com/trending, hn, 틈새 discord 서버, X의 애니메이션 프로필 사진, reddit. *- k

이 목록은 구식이지만 시작하게됩니다. 따라야 할 사람들의 라이브 목록은 다음과 같습니다.

연구원/개발자
- https://twitter.com/_jasonwei
- https://twitter.com/johnowhitaker/status/1565710033463156739
- https://twitter.com/altryne/status/1564671546341425157
- https://twitter.com/schmidhuberai
- https://twitter.com/nearcyan
- https://twitter.com/karinanguyen_
- https://twitter.com/abhi_venigalla
- https://twitter.com/advadnoun
- https://twitter.com/polynoamial
- https://twitter.com/vovahimself
- https://twitter.com/sarahookr
- https://twitter.com/shaneguml
- https://twitter.com/maartensap
- https://twitter.com/ethancaballero
- https://twitter.com/shayneredford
- https://twitter.com/seb_ruder
- https://twitter.com/rasbt
- https://twitter.com/wightmanr
- https://twitter.com/garymarcus
- https://twitter.com/ylecun
- https://twitter.com/karpathy
- https://twitter.com/pirroh
- https://twitter.com/eerac
- https://twitter.com/teknium
- https://twitter.com/alignment_lab
- https://twitter.com/picocreator
- https://twitter.com/charlespacker
- https://twitter.com/ldjconfirmed
- https://twitter.com/nisten
- https://twitter.com/far__el
- https://twitter.com/i/lists/1713824630241202630
뉴스/애그리터
- https://twitter.com/ai__pub
- https://twitter.com/weirdstableai
- https://twitter.com/multimodalart
- https://twitter.com/lastweekinai
- https://twitter.com/paperswithcode
- https://twitter.com/deeplearningai_
- https://twitter.com/dl_weekly
- https://twitter.com/slashml
- https://twitter.com/_akhaliq
- https://twitter.com/aaditya_ai
- https://twitter.com/bentossell
- https://twitter.com/johnvmcdonnell
설립자/빌더/VC
- https://twitter.com/levelsio
- https://twitter.com/goodside
- https://twitter.com/c_valenzuelab
- https://twitter.com/raza_habib496
- https://twitter.com/sharifshameem/status/1562455690714775552
- https://twitter.com/genekogan/status/15551848606564353
- https://twitter.com/levelsio/status/1566069427501764613?s=20&t=campswtmhdssehqwd0k7ig
- https://twitter.com/amanrsanger
- https://twitter.com/ctjlewis
- https://twitter.com/sarahcat21
- https://twitter.com/jackclarksf
- https://twitter.com/alexandr_wang
- https://twitter.com/rameerez
- https://twitter.com/scottastevenson
- https://twitter.com/denisyarats
안정
- https://twitter.com/stabilityai
- https://twitter.com/stableiffusion
- https://twitter.com/hardmaru
- https://twitter.com/jjitsev
Openai
- https://twitter.com/sama
- https://twitter.com/ilyasut
- https://twitter.com/miramurati
포옹 페이스
- https://twitter.com/younesbelkada
아티스트
- https://twitter.com/karenxcheng/status/1564626773001719813
- https://twitter.com/tomlikesrobots
다른
- 회사
  - https://twitter.com/anthropoai
  - https://twitter.com/assemblyai
  - https://twitter.com/cohereai
  - https://twitter.com/mosaicml
  - https://twitter.com/metaai
  - https://twitter.com/deepmind
  - https://twitter.com/hellopaperspace
봇과 앱
- https://twitter.com/dreamtweetapp
- https://twitter.com/aiarteveryhour

인용문, 현실 및 민원화

좁은 테듐 도메인 usecases https://twitter.com/willmanidis/status/1584900092615528448 및 https://twitter.com/willmanidis/status/1584900100480192516
antihype https://twitter.com/alexandr_wang/status/1573302977418387457
antihype https://twitter.com/fchollet/status/1612142423425138688?s=46&t=plcnw9pf-co4bn08qqvaug
프롬프트 eng memes
- https://twitter.com/_jasonwei/status/1516844920367054848
https://opguides.info/posts/aiartpanic/와의 투쟁의 정당화 투쟁
새로운 구글
- https://twitter.com/alexandr_wang/status/1585022891594510336
새로운 파워 포인트
Emad를 통해
기본적으로 UI의 추가 프롬프트
Dalle : https://twitter.com/levelsio/status/1588588688115912705?s=20&t=0ojpgmh6miedyvg2i6gg
1974-1980 년과 1987-1993 년의 이전 겨울 2 개가있었습니다. https://www.erichgrunewald.com/posts/the-prospect-of-an-ai-winter/. 여기에 조금 더 많은 논평이 있습니다. 관련 - ai 효과 - "일단 작동하지 않으면 ai"
그것은 단지 매트릭스 곱셈/확률 앵무새입니다
- LLM 회의론 Yann Lecun조차도 LLM은 어느 정도의 이해를 가지고 있다고 말합니다. https://twitter.com/ylecun/status/1667947166764023808
- Gary Marcus의“딥 러닝은 벽에 부딪 히고있다”https://nautil.us/deep-learning-is-hitting-a-wall-238440/ Pushed Symbolic Systems
"guo lai ren"antihypers-> Worriers
- https://adamkarvonen.github.io/machine_learning/2024/03/20/chess-gpt-nterventions.html#next-token-predictors

법률, 윤리 및 개인 정보

NSFW 필터 https://vickiboykis.com/2022/11/18/some-notes-on-the-stable-diffusion-safety-filter/
"AI Art Panic"https://opguides.info/posts/aiartpanic/
- 나는 미드 주니를 통해 내 직장을 사랑하게 만든 모든 것을 잃었습니다.
- 미드 주니 아티스트 목록
OpenRail-M에 영향을 미치는 Yannick https://www.youtube.com/watch?v=w5M-dvzpzsq
AI AR ART를 수락하는 미술 학교 https://twitter.com/doverogenmoser/status/1597746558145265664
DRM 문제 https://undeleted.ronsor.com/voice.ai-gpl-violations-with-a-side-of-drm/
예술 도둑질 https://stableiffusionLitigation.com
- http://www.stableiffusionfrivolous.com/
- 안정적인 속성 https://news.ycombinator.com/item?id=34670136
- 디즈니에 대한 Coutner Argument https://twitter.com/jonst0kes/status/1616219435492163584?s=46&t=hqqdh1yewhwusqxytmf8w
- 안정적인 확산 복사 https://twitter.com/officialzhvng/status/162053590529817024?s=20&t=nc-nw7pfda8nyrd08lx1nw이 논문을 사용하여 350,000 프롬프트에 걸쳐 175 백만 이미지를 사용하여 109 개의 역사를 발견했습니다. 이것으로부터 나의 주요 테이크 아웃은 훈련 예를 암기 하지 않는 안정된 확산이 얼마나 좋은지가 맞습니까?
내용을 스크래핑합니다
- https://blog.ericgoldman.org/archives/2023/08/web-scraping-for-me-not-for-guest-blog-post.htm
- Sarah Silverman Case-Openai 응답 https://arstechnica.com/tech-policy/2023/08/openai-disputes-authors-plaims-t that--every-chatgpt-response-is-senivative-work/
- Openai 응답
라이센스
- AI 웨이트는 열려 있지 않습니다. "소스"-Sid Sijbrandij
다양성과 형평성
- 성화 소수 민족 https://twitter.com/lanadenina/status/1680238883206832129 그 이유는 포르노가 신체에 능숙하기 때문입니다.
- "검은 색"에서 열린 태클은 무작위로 달라기를 다양하게 만들었습니다
프라이버시-기밀 컴퓨팅 https://www.edgeless.systems/blog/how-confidential-computing-and-ai-fit-together/
AI taking jobs https://donaldclarkplanb.blogspot.com/2024/02/this-is-why-idea-that-ai-will-just.html

Alignment, Safety

Anthropic - https://arxiv.org/pdf/2112.00861.pdf
- Helpful: attempt to do what is ask. concise, efficient. ask followups. redirect bad questions.
- Honest: give accurate information, express uncertainty. don't imitate responses expected from an expert if it doesn't have the capabilities/knowledge
- Harmless: not offensive/discriminatory. refuse to assist dangerous acts. recognize when providing sensitive/consequential advice
- criticism and boundaries as future direction https://twitter.com/davidad/status/1628489924235206657?s=46&t=TPVwcoqO8qkc7MuaWiNcnw
Just Eliezer entire body of work
- https://twitter.com/esyudkowsky/status/1625922986590212096
- agi list of lethalities https://www.lesswrong.com/posts/uMQ3cqWDPHhjtiesc/agi-ruin-a-list-of-lethalities
- note that eliezer has made controversial comments in the past and also in recent times (TIME article)
Connor Leahy may be a more sane/measured/technically competent version of yud https://overcast.fm/+aYlOEqTJ0
- it's not just paperclip factories
- https://www.lesswrong.com/posts/HBxe6wdjxK239zajf/what-failure-looks-like
the 6 month pause letter
- https://futureoflife.org/open-letter/pause-giant-ai-experiments/
- yann lecun vs andrew ng https://www.youtube.com/watch?v=BY9KV8uCtj4
- https://scottaaronson.blog/?p=7174
- emily bender response
- Geoffrey Hinton leaving Google
- followed up by one sentence public letter https://www.nytimes.com/2023/05/30/technology/ai-threat-warning.html
xrisk - Is avoiding extinction from AI really an urgent priority? (링크)
- AI Is not an arms race. (링크)
- If we're going to label AI an 'extinction risk,' we need to clarify how it could happen. (링크)
OpenAI superalignment https://www.youtube.com/watch?v=ZP_N4q5U3eE

규제

chinese regulation https://www.chinalawtranslate.com/en/overview-of-draft-measures-on-generative-ai/
- https://twitter.com/mmitchell_ai/status/1647697067006111745?s=46&t=90xQ8sGy63D2OtiaoGJuww
- China is the only major world power that explicitly regulates generative AI
italy banning chatgpt
- At its annual meeting in Japan, the Group of Seven (G7), an informal bloc of industrialized democratic governments, announced the Hiroshima Process, an intergovernmental task force empowered to investigate risks of generative AI. G7 members, which include Canada, France, Germany, Italy, Japan, the United Kingdom, and the United States, vowed to craft mutually compatible laws and regulate AI according to democratic values. These include fairness, accountability, transparency, safety, data privacy, protection from abuse, and respect for human rights.
US President Joe Biden issued a strategic plan for AI. The initiative calls on US regulatory agencies to develop public datasets, benchmarks, and standards for training, measuring, and evaluating AI systems.
Earlier this month, France's data privacy regulator announced a framework for regulating generative AI.
regulation vs Xrisk https://1a3orn.com/sub/essays-regulation-stories.html
Multimodal Prompt Injection in GPT4V

기타

속삭임
- https://huggingface.co/spaces/sensahin/YouWhisper YouWhisper converts Youtube videos to text using openai/whisper.
- https://twitter.com/jeffistyping/status/1573145140205846528 youtube whipserer
- multilingual subtitles https://twitter.com/1littlecoder/status/1573030143848722433
- video subtitles https://twitter.com/m1guelpf/status/1574929980207034375
- you can join whisper to stable diffusion for reasons https://twitter.com/fffiloni/status/1573733520765247488/photo/1
- known problems https://twitter.com/lunixbochs/status/1574848899897884672 (edge case with catastrophic failures)
textually guided audio https://twitter.com/FelixKreuk/status/1575846953333579776
Codegen
- CodegeeX https://twitter.com/thukeg/status/1572218413694726144
- https://github.com/salesforce/CodeGen https://joel.tools/codegen/
pdf to structured data - Impira used t to do it (dead link: https://www.impira.com/blog/hey-machine-whats-my-invoice-total) but if you look hard enough on twitter there are some 대안
text to Human Motion diffusion https://twitter.com/GuyTvt/status/1577947409551851520
- abs: https://arxiv.org/abs/2209.14916
- project page: https://guytevet.github.io/mdm-page/