AI System
1.0.0
Inglês
O nome chinês deste curso é Sistema de Inteligência Artificial , que explica principalmente o design de sistemas de computador que suportam inteligência artificial. O nome do curso em inglês correspondente é Sistema para IA . Os seguintes termos serão usados indistintamente neste curso: sistema de inteligência artificial , sistema de IA e sistema para IA .
Este curso é um dos tutoriais relacionados à inteligência artificial planejados na Comunidade de Educação e Coconstrução de Inteligência Artificial da Microsoft. No módulo tutorial básico, o número e o nome do curso são A6-Sistema de Inteligência Artificial .
Bem-vindo a visitar o módulo A-Basic Tutorial da Microsoft Artificial Intelligence Education and Co-construction Community para acessar mais conteúdo relacionado.
Nos últimos anos, a inteligência artificial, especialmente a tecnologia de aprendizagem profunda, desenvolveu-se rapidamente, o que é inseparável do progresso contínuo dos sistemas de hardware e software de computador. Num futuro próximo, o desenvolvimento da tecnologia de inteligência artificial ainda dependerá do modelo de inovação conjunta que combina sistemas informáticos e inteligência artificial. Deve-se notar que os sistemas informáticos estão agora a capacitar a inteligência artificial com maior escala e maior complexidade, o que requer não só mais inovação do sistema, mas também pensamento e metodologia sistemáticos. Ao mesmo tempo, a inteligência artificial também apoia a concepção de sistemas complexos.
Percebemos que a maioria dos cursos atuais relacionados à inteligência artificial, especialmente cursos relacionados ao aprendizado profundo e ao aprendizado de máquina, concentram-se principalmente em teorias, algoritmos ou aplicações relacionadas, e os cursos relacionados a sistemas são raros. Esperamos que o curso dos sistemas de inteligência artificial torne a educação relacionada com a inteligência artificial mais abrangente e aprofundada, de modo a promover conjuntamente o cultivo de talentos na intersecção da inteligência artificial e dos sistemas.
Este curso é projetado principalmente para alunos do último ano de graduação e pós-graduação para ajudar os alunos:
Compreenda completamente a arquitetura do sistema de computador que suporta o aprendizado profundo e aprenda o design do sistema no ciclo de vida completo do aprendizado profundo por meio de problemas práticos.
Apresenta trabalhos de pesquisa de ponta combinando sistemas e inteligência artificial, incluindo IA para Sistemas e Sistemas para IA, para ajudar alunos de graduação e pós-graduação a encontrar e definir melhor questões de pesquisa significativas.
Projetar cursos experimentais na perspectiva da pesquisa sistemática. Incentive os alunos a implementar e otimizar módulos de sistema operando e aplicando estruturas, plataformas e ferramentas convencionais e mais recentes para melhorar sua capacidade de resolver problemas práticos, em vez de apenas compreender o uso de ferramentas.
Cursos pré-requisitos: C/C++/Python, arquitetura de computadores, introdução a algoritmos
O curso inclui principalmente os três módulos a seguir:
A primeira parte é o conhecimento básico de inteligência artificial e uma visão geral completa dos sistemas de inteligência artificial, bem como o design sistemático e a metodologia de sistemas de aprendizagem profunda;
A segunda parte é um curso avançado, incluindo as áreas de investigação mais avançadas na intersecção de sistemas e inteligência artificial.
A terceira parte consiste nos cursos experimentais de apoio, incluindo os frameworks, plataformas e ferramentas mais convencionais, bem como uma série de projetos experimentais.
O conteúdo da primeira parte focará no conhecimento básico, enquanto o conteúdo das outras duas partes será ajustado dinamicamente com os avanços tecnológicos na academia e na indústria. O conteúdo das duas últimas partes será organizado de forma modular para facilitar o ajuste ou combinação com outros cursos de ciência da computação (como princípios de compilação, etc.) como notas de aula avançadas ou projetos de estágio.
A concepção deste curso também se baseará nos resultados da investigação e na experiência da Microsoft Research Asia na intersecção de inteligência artificial e sistemas, incluindo algumas plataformas e ferramentas desenvolvidas pela Microsoft e pelo instituto de investigação. O curso também incentiva outras escolas e professores a adicionar e ajustar temas mais avançados ou outras experiências de acordo com suas próprias necessidades.
curso básico
| Número do curso | Nome do folheto | Observação |
| 1 | Introdução ao curso | Visão geral do curso e fundamentos de sistema/IA |
| 2 | Visão geral do sistema de inteligência artificial | História do desenvolvimento de sistemas de inteligência artificial, noções básicas de redes neurais, noções básicas de sistemas de inteligência artificial |
| 3 | Noções básicas de estrutura de computação de rede neural profunda | Retropropagação e derivação automática, tensores, gráficos acíclicos direcionados, papéis gráficos de execução e sistemas: PyTorch, TensorFlow |
| 4 | Operações matriciais e arquitetura de computadores | Operações de matriz, CPU/SIMD, GPGPU, ASIC/TPU Papéis e sistemas: Blas, TPU |
| 5 | Algoritmo de treinamento distribuído | Paralelismo de dados, paralelismo de modelo, SGD distribuído Papéis e Sistemas: PipeDream |
| 6 | Sistema de treinamento distribuído | MPI, servidores de parâmetros, redução total, RDMA Artigos e Sistemas: Horovod |
| 7 | Sistema heterogêneo de agendamento de cluster de computação e gerenciamento de recursos | Execução de tarefas DNN em um cluster: containers, alocação de recursos, agendamento de papéis e sistemas: Kubeflow, OpenPAI, Gandiva |
| 8 | Sistema de derivação de aprendizagem profunda | Eficiência, latência, rendimento, documentos e sistemas de implantação: TensorRT, TensorFlowLite, ONNX |
Cursos avançados
| Número do curso | Nome do folheto | Observação |
| 9 | Compilação e otimização de gráficos computacionais | IR, correspondência de padrões de subgráficos, multiplicação de matrizes e papéis e sistemas de otimização de memória: XLA, MLIR, TVM, NNFusion |
| 10 | Otimização de compressão e esparsificação de redes neurais | Compressão de modelo, esparsificação, poda |
| 11 | Sistema automático de aprendizado de máquina | Ajuste de hiperparâmetros, pesquisa de estrutura de rede neural (NAS) Papéis e sistemas: Hyperband, SMAC, ENAX, AutoKeras, NNI |
| 12 | sistema de aprendizagem por reforço | Teoria RL, artigos e sistemas do sistema RL: AC3, RLlib, AlphaZero |
| 13 | Segurança e privacidade | Artigos e sistemas federados de aprendizagem, segurança, privacidade: DeepFake |
| 14 | Usando inteligência artificial para otimizar sistemas de computador | A inteligência artificial é aplicada a problemas de sistema tradicionais, a inteligência artificial é aplicada a papéis e sistemas de algoritmos de sistema: sistemas de streaming de mídia, indexação de banco de dados, ajuste de parâmetros de sistema, design de chip, agendamento preditivo de recursos |
Experiência básica
| Número da experiência | Nome do experimento | Observação |
| Experiência 1 | Exemplos de introdução a estruturas e ferramentas | |
| Experimento 2 | Personalize uma nova operação de tensor | |
| Experimento 3 | Implementação e otimização de CUDA | |
| Experimento 4 | Implementação ou otimização de AllReduce | |
| Experiência 5 | Configurar o contêiner para treinamento em nuvem ou preparação de inferência | |
Experimentos avançados
| Experiência 6 | Aprenda a usar o sistema de gerenciamento de agendamento | |
| Experimento 7 | Exercício de tarefa de treinamento distribuído | |
| Experiência 8 | Exercícios de sistema automático de aprendizado de máquina | |
| Experiência 9 | Exercícios do sistema de aprendizagem por reforço | |
O livro "Sistema de Inteligência Artificial" é um dos livros didáticos relacionados à inteligência artificial planejados na Comunidade de Educação e Coconstrução de Inteligência Artificial da Microsoft. Percebemos que a maioria dos livros didáticos atuais relacionados à inteligência artificial, especialmente cursos relacionados ao aprendizado profundo e ao aprendizado de máquina, concentram-se principalmente em teorias, algoritmos ou aplicações relacionadas, e os livros didáticos relacionados ao sistema são raros. Esperamos que os livros didáticos do sistema de inteligência artificial possam tornar a educação do sistema de inteligência artificial mais sistemática e universal, de modo a promover conjuntamente o cultivo de talentos na intersecção da inteligência artificial e dos sistemas.
A versão em papel do livro "Deep Learning System Design: Theory and Practice" foi publicada.
<A ser definido>
Este projeto aceita contribuições e sugestões. A maioria das contribuições exige que você concorde com um Contrato de Licença de Colaborador (CLA) declarando que você tem o direito de nos conceder, e realmente o faz, os direitos de uso de sua contribuição. cla.opensource.microsoft.com.
Quando você envia uma solicitação pull, um bot CLA determinará automaticamente se você precisa fornecer um CLA e decorar o PR adequadamente (por exemplo, verificação de status, comentário). uma vez em todos os repositórios usando nosso CLA.
Este projeto adotou o Código de Conduta de Código Aberto da Microsoft. Para obter mais informações, consulte as Perguntas frequentes sobre o Código de Conduta ou entre em contato com [email protected] com perguntas ou comentários adicionais.
A Microsoft e quaisquer contribuidores concedem a você uma licença para a documentação da Microsoft e outros conteúdos neste repositório sob a Licença Pública Internacional Creative Commons Attribution 4.0, consulte o arquivo LICENSE, e concedem a você uma licença para qualquer código no repositório sob a Licença MIT, consulte o arquivo LICENSE-CODE.
Microsoft, Windows, Microsoft Azure e/ou outros produtos e serviços da Microsoft mencionados na documentação podem ser marcas comerciais ou marcas registradas da Microsoft nos Estados Unidos e/ou em outros países. As licenças para este projeto não concedem a você direitos de uso. Os nomes, logotipos ou marcas registradas da Microsoft podem ser encontrados em https://go.microsoft.com/fwlink/?LinkID=254653.
As informações de privacidade podem ser encontradas em https://privacy.microsoft.com/en-us/
A Microsoft e quaisquer colaboradores reservam-se todos os outros direitos, seja sob seus respectivos direitos autorais, patentes ou marcas registradas, seja por implicação, preclusão ou de outra forma.
