Lihang

métodos de aprendizaje estadístico

Se ha publicado la segunda edición de este libro. Todas las actualizaciones de contenido posteriores a mayo de 2019 se refieren a la primera impresión de la segunda edición.

Para conocer el contenido de la primera edición, consulte Lanzamiento de la primera edición.

[TOC]

kit de herramientas

Para facilitar el aprendizaje, se recopilan algunas descripciones de herramientas.

• El soporte de fórmulas de rebajas de GitHub es promedio. Se recomienda utilizar el complemento de Chrome TeX All the Things para representar fórmulas de TeX. El editor local de Markdown recomienda prestar atención a Ctrl+, abrir Preferencias y verificar Matemáticas en línea en la sección Soporte de sintaxis. . Tanto Ubuntu como Windows están bien.
• math_markdown.pdf es la versión exportada de math_markdown.md, que es conveniente para ver y usar. La versión Markdown es la última versión, que básicamente cubre la expresión $LaTeX$ de las fórmulas matemáticas utilizadas en el libro.
• ref_downloader es un script de descarga de referencias. Este libro debe leerse junto con las referencias. Debe leer las referencias grandes en cada capítulo. Será muy útil para comprender el contenido del libro.
• glosary_index es un índice de terminología informal. Hay uno al final de este libro, pero no es conveniente expandirlo. Se ha agregado algo de contenido ampliado a esta parte.
• symbol_index es un índice de símbolos informal. Hay descripciones de símbolos en la primera versión, pero no en la segunda versión. Puede ser que realmente haya demasiados símbolos involucrados en la parte no supervisada. Puedes consultarlo a veces y ver si te ayuda.
• errata_se Erratas no oficiales, como referencia. Si no tiene claro algún contenido, puede consultarlo y esperar que le ayude.

Prefacio

• En mayo de 2019, se lanzó la tan esperada segunda edición. Hice un pedido de inmediato y se espera que se envíe el Día de la Madre.
• Recibí el nuevo libro el 13 de mayo, y la segunda edición tiene una foto nueva, con el pelo corto y me veo más joven que antes...
• La segunda edición ha revisado los signos de puntuación. En la primera edición, las comas estaban en chino y los puntos en inglés. La segunda edición cambió el período inglés anterior por un período chino.
• La tabla de símbolos fue cancelada en la segunda edición, ¿tal vez porque se usaron diferentes símbolos en algunos lugares antes y después del mismo libro? Entonces, en este repositorio, intentamos agregar una tabla de símbolos a modo de explicación para facilitar la consulta.
• La segunda edición agrega ocho métodos de aprendizaje no supervisados. En este punto, excepto Apriori, los diez principales algoritmos de minería de datos están completos.

Si necesita hacer referencia a este repositorio:

Formato: SmirkCao, Lihang, (2018), GitHub repository, https://github.com/SmirkCao/Lihang

o

 @misc{SmirkCao,
  author = {SmirkCao},
  title = {Lihang},
  year = {2018},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {url{https://github.com/SmirkCao/Lihang}},
  commit = {c5624a9bd757a5cc88e78b85b89e9221deb08270}
}

Prefacio

Esta parte del contenido no corresponde al prefacio de "Métodos de aprendizaje estadístico". El prefacio del libro también está bien escrito y se cita de la siguiente manera:

1. En términos de selección de contenido, nos centramos en presentar los métodos más importantes y comúnmente utilizados, especialmente los métodos relacionados con problemas de clasificación y etiquetado .
2. Intente utilizar un marco unificado para discutir todos los métodos para que todo el libro no pierda su sistematicidad.
3. Aplicable a estudiantes universitarios y estudiantes de posgrado con especialización en recuperación de información y procesamiento del lenguaje natural.

Otra cosa a tener en cuenta es la trayectoria laboral del autor.

El autor ha participado en investigaciones sobre diversos procesamientos inteligentes de datos de texto utilizando métodos de aprendizaje estadístico, incluido el procesamiento del lenguaje natural, la recuperación de información y la extracción de datos de texto.

• Cada uno tiene su propia forma de entender y tendrán diferentes interpretaciones del mismo contenido.
• Los libros son como datos, el aprendizaje es como entrenamiento y las personas son modelos.

Si usa mi modelo para implementar la búsqueda de similitudes, el libro que es similar al libro del Sr. Li es "Dispositivos optoelectrónicos semiconductores". Es una lástima que no lo leí repetidamente cuando era joven.

Espero que en el proceso de lectura repetida, todo el libro se vuelva cada vez más grueso. Todos los documentos y códigos de esta serie, a menos que se indique lo contrario, la descripción "en el libro" se refiere a "Métodos de aprendizaje estadístico" del profesor Li Hang. Los contenidos de otras referencias se vincularán si se citan.

Algunas referencias se enumeran en Refs, algunas de las cuales son muy útiles para comprender el contenido del libro. Las descripciones y explicaciones de estos archivos se agregarán en Refs/README.md correspondiente a la sección de referencia. También se han agregado a este documento algunas notas sobre otras referencias.

Para facilitar la descarga de referencias, se agregó ref_downloader.sh durante review02, que se puede utilizar para descargar las referencias enumeradas en el libro. El proceso de actualización se completa gradualmente a medida que avanza review02.

Además, este libro del profesor Li Hang, Es realmente delgado (la segunda versión ya no es delgada) , pero casi cada oración resalta muchos puntos y vale la pena leerla una y otra vez.

Hay una tabla de símbolos después de la tabla de contenido del libro, que explica las definiciones de los símbolos, por lo que si hay símbolos que no comprende, puede buscarlos en la tabla; hay un índice al final del libro; y puedes utilizar el índice para encontrar el significado del símbolo correspondiente que aparece en el libro. En este Repo, se mantiene un glosario_index.md para agregar algunas explicaciones a los símbolos correspondientes y marcar directamente los números de página correspondientes a los símbolos. El progreso se actualizará con la revisión.

Después de cada algoritmo o ejemplo, habrá un ◼️, indicando que el algoritmo o ejemplo termina aquí. Esto se llama símbolo de fin de prueba. Lo sabrás si lees más literatura.

Sobre la base de los logaritmos

Al leer, a menudo tenemos preguntas sobre la base de los logaritmos. Algunas de las más importantes se destacan en el libro. Algunas que no se enfatizan se pueden entender a través del contexto. Además, como existe una fórmula para cambiar la base, no importa mucho cuál sea la base. La diferencia radica en un coeficiente constante. Sin embargo, elegir diferentes bases tendrá significados físicos y consideraciones de resolución de problemas. Para analizar este tema, puede consultar la discusión sobre entropía en PRML 1.6 para comprenderlo.

Además, en cuanto a la cuestión de los coeficientes constantes en la fórmula, si se utiliza una solución iterativa y, en ocasiones, se simplifica la fórmula hasta cierto punto, se puede mejorar la velocidad de convergencia. Los detalles pueden entenderse gradualmente en la práctica.

Sobre la longitud

Inserte un cuadro aquí para enumerar el espacio ocupado por cada capítulo. Entre ellos, SVM ocupa el mayor espacio entre el aprendizaje supervisado, MCMC ocupa el mayor espacio entre el aprendizaje no supervisado y DT, HMM, CRF, SVD, PCA, LDA y. El PageRank también ocupa el espacio más grande.

Los capítulos están relacionados entre sí, como NB y LR, DT y AdaBoost, Perceptron y SVM, HMM y CRF, etc. Si encuentra dificultades en un capítulo grande, puede revisar el contenido de los capítulos anteriores o consultar las referencias. Generalmente se proporcionan referencias de capítulos específicos que describen el problema con más detalle y pueden explicar dónde se encuentra atascado.

CH01 Introducción al Aprendizaje Estadístico y al Aprendizaje Supervisado

Introducción

Tres elementos de los métodos de aprendizaje estadístico:

• Modelo

• Estrategia

• algoritmo

  La segunda edición ha reorganizado la estructura del directorio de este capítulo para hacerlo más claro.

perceptrón CH02

perceptrón

• El perceptrón es un modelo de clasificación lineal para clasificación de dos categorías.
• El perceptrón corresponde al hiperplano de separación en el espacio de características que divide las instancias en categorías positivas y negativas.

CH03 k método del vecino más cercano

kNN

• kNN es un método básico de clasificación y regresión.
• La selección del valor k, la medición de la distancia y las reglas de decisión de clasificación son los tres elementos básicos de kNN.

CH04 Método ingenuo de Bayes

NÓTESE BIEN.

• El método Naive Bayes es un método de clasificación basado en el teorema de Bayes y el supuesto de independencia de las condiciones de las características.

1. $IIDflecha derecha$ Distribución de probabilidad conjunta de entrada y salida.
2. $Bayesrightarrow$ La salida con mayor probabilidad posterior.

• Si una determinada combinación de x no aparece a priori, la probabilidad será 0, correspondiente a la solución de suavizado. $$P_lambda(X^{(j)}=a_{jl}|Y=c_k)=frac{sum_{i=1}^{N}{I(x_i^{(j)}=a_ {jl}, y_i=c_k)}+lambda}{sum_{i=1}^{N}{I(y_i=c_k)+S_jlambda}}$$
  • $lambda = 0$ Corresponde a la estimación de máxima verosimilitud
  • $lambda = 1$ Corresponde al suavizado laplaciano
• El método Naive Bayes en realidad aprende el mecanismo de generación de datos, por lo que es un modelo generativo.

CH05 Árbol de decisión

DT

• El árbol de decisión es un método básico de clasificación y regresión.

CH06 Regresión logística y modelo de máxima entropía

LR

• La regresión logística es un método de clasificación clásico en estadística.
• La entropía máxima es un criterio para el aprendizaje de modelos de probabilidad. Puede extenderse a problemas de clasificación para obtener el modelo de entropía máxima.

Con respecto al estudio de la entropía máxima, se recomienda leer la literatura de referencia [1] en este capítulo, Berger, 1996, que es útil para comprender los ejemplos del libro y comprender el principio de la entropía máxima.

Entonces, ¿por qué se colocan LR y Maxent en un mismo capítulo?

• Todos pertenecen al modelo lineal logarítmico.

• Ambos se pueden utilizar para clasificación binaria y clasificación múltiple.

• Los métodos de aprendizaje de los dos modelos generalmente utilizan estimación de máxima verosimilitud o estimación de máxima verosimilitud regularizada. Puede formalizarse como un problema de optimización sin restricciones y los métodos de solución incluyen IIS, GD, BFGS, etc.

• Se describe a continuación en Regresión logística,

  La regresión logística, a pesar de su nombre, es un modelo lineal para clasificación en lugar de regresión. La regresión logística también se conoce en la literatura como regresión logit, clasificación de máxima entropía (MaxEnt) o clasificador log-lineal. Los posibles resultados de un solo ensayo se modelan utilizando una función logística.

• También existe tal descripción.

  La regresión logística es un caso especial de máxima entropía con dos etiquetas +1 y −1.

  La derivación en este capítulo utiliza la propiedad de $yin mathcal{Y}={0,1}$

• A veces decimos que la regresión logística se llama Maxent en PNL

Máquina de vectores de soporte CH07

SVM

• La máquina de vectores de soporte es un modelo de clasificación binaria.
• El modelo básico es un clasificador lineal definido para maximizar el intervalo en el espacio de características. El intervalo máximo lo diferencia del perceptrón.
• Este capítulo ocupa mucho espacio porque la idea de margen casi puede conectar todo el problema de clasificación.

CH08 Método de actualización

Impulsando

• El método de impulso es un método de aprendizaje estadístico de uso común que es ampliamente utilizado y eficaz.

----Línea de separación----

Vamos a desglosarlo aquí, porque HMM y CRF generalmente conducen a la introducción de modelos gráficos probabilísticos más adelante. En "Aprendizaje automático, Zhou Zhihua", se utiliza un capítulo separado sobre modelos gráficos probabilísticos para incluir HMM, MRF, CRF y otros contenidos. Además, hay muchos puntos relacionados desde HMM hasta el propio CRF.

En el primer capítulo del libro se explican tres aplicaciones del aprendizaje supervisado: clasificación, etiquetado y regresión. Hay suplementos en el Capítulo 12. Este libro considera principalmente los métodos de aprendizaje de los dos primeros. En consecuencia, la segmentación también es apropiada aquí. El modelo de clasificación se presenta anteriormente y la regresión se menciona en una pequeña parte. El problema del etiquetado se presenta principalmente más adelante.

Algoritmo CH09 EM y su promoción.

EM

• El algoritmo EM es un algoritmo iterativo utilizado para la estimación de máxima verosimilitud de los parámetros del modelo probabilístico que contienen variables ocultas, o estimación de máxima probabilidad posterior. (La estimación de máxima verosimilitud y la estimación de máxima probabilidad posterior aquí son estrategias de aprendizaje )

• Si todas las variables del modelo de probabilidad son variables observadas, entonces, dados los datos, los parámetros del modelo se pueden estimar directamente utilizando el método de estimación de máxima verosimilitud o el método de estimación bayesiano.

  Tenga en cuenta que si no comprende esta descripción en el libro, consulte la parte de estimación de parámetros del método Naive Bayes en CH04.

• Esta parte del código implementa BMM y GMM, vale la pena echarle un vistazo.

• Con respecto a EM, no se ha escrito mucho sobre este capítulo. EM es uno de los diez algoritmos principales y Hinton está estrechamente relacionado con el segundo artículo de Capsule Network "Matrix Capsules with EM Routing" en ICLR.

• En CH22, el algoritmo EM se clasifica como un método básico de aprendizaje automático y no implica modelos específicos de aprendizaje automático. Puede usarse para aprendizaje no supervisado, aprendizaje supervisado y aprendizaje semisupervisado.

CH10 Modelo oculto de Markov

MMM

• El modelo oculto de Markov es un modelo de aprendizaje estadístico que se puede utilizar para problemas de etiquetado. Describe el proceso de generación aleatoria de secuencias de observación a partir de cadenas ocultas de Markov y es un modelo generativo.
• El modelo oculto de Markov es un modelo probabilístico sobre series de tiempo. Describe el proceso de generar aleatoriamente una secuencia de estados no observables a partir de una cadena oculta de Markov y luego generar una observación abreviada de cada estado para generar una secuencia de observación.
• Se puede utilizar para problemas de etiquetado y el estado corresponde a la etiqueta.
• Tres problemas básicos: problema de cálculo de probabilidad, problema de aprendizaje y problema de predicción.

CH11 Campo aleatorio condicional

CRF

• El campo aleatorio condicional es un modelo de distribución de probabilidad condicional de otro conjunto de variables aleatorias de salida dado un conjunto de variables aleatorias de entrada. Su característica es que se supone que las variables aleatorias de salida constituyen un campo aleatorio de Markov .
• El modelo de gráfico probabilístico no dirigido, también conocido como campo aleatorio de Markov, es una distribución de probabilidad conjunta que se puede representar mediante un gráfico no dirigido.
• Tres problemas básicos: problema de cálculo de probabilidad, problema de aprendizaje, problema de predicción

CH12 Resumen de métodos de aprendizaje supervisado

Resumen

Este capítulo sólo tiene unas pocas páginas. Puedes considerar la siguiente rutina de lectura:

• Léelo con el Capítulo 1.

• Si encuentra preguntas poco claras en estudios anteriores, lea este capítulo nuevamente.

• Lea este capítulo detenidamente y amplíelo a otros diez capítulos.

• Tenga en cuenta que en la Figura 12.2 de este capítulo se menciona que la función de pérdida logística $y$ aquí debe definirse en $cal{Y}={+1,-1}$ cuando se introdujo $y$. está definido en $cal{Y}={0,1}$, preste atención aquí.

El libro del profesor Li realmente te hace ganar algo nuevo cada vez que lo lees.

----Línea de separación----

La segunda edición agrega ocho métodos de aprendizaje no supervisados: agrupamiento, descomposición de valores singulares, análisis de componentes principales, análisis semántico latente, análisis semántico latente probabilístico, método Monte Carlo de cadena de Markov, asignación de Dirichlet latente y PageRank.

CH13 Introducción al aprendizaje no supervisado

Introducción

• Problemas básicos del aprendizaje no supervisado: clustering, reducción de dimensionalidad, análisis de temas y análisis de gráficos.
• La cuestión de la estructura horizontal y la estructura vertical se considera desde la perspectiva del almacenamiento.
• Preste atención a las estrategias para diferentes tareas: minimizar la distancia entre los centros de categorías, minimizar la pérdida de información durante la conversión de dimensiones y maximizar la probabilidad de generar datos.
• En la parte del aprendizaje no supervisado, a menudo se menciona la estructura de los datos , que se refiere a la relación entre las variables de los datos.

Método de agrupación CH14

Agrupación

• El ejemplo 14.2 es muy bueno. Se recomienda dibujarlo y pensarlo usted mismo antes de verlo más tarde.
• La agrupación en clústeres se puede utilizar para la compresión de imágenes.

Descomposición del valor singular CH15

• Métodos básicos de aprendizaje automático.
• El teorema de descomposición en valores singulares garantiza que existe descomposición
• La matriz de valores singulares es única, $U, V$ no son únicas
• Tener una interpretación geométrica clara.

Análisis de componentes principales CH16

• La transformación ortogonal se utiliza para convertir los datos de observación representados por variables linealmente relacionadas en unos pocos datos representados por variables linealmente independientes. Las variables linealmente independientes se denominan componentes principales.
• Antes del análisis de componentes principales, los datos proporcionados deben normalizarse para que cada variable tenga una media de 0 y una varianza de 1.
• El componente principal no corresponde a una determinada característica de los datos originales. La relación entre el componente principal y la característica original se puede observar mediante cargas factoriales.
• Esta parte del contenido aún no ha mencionado el concepto de tema . Los capítulos posteriores comienzan a presentar una gran cantidad de contenido relacionado con el análisis de temas. LSA, PLSA y LDA están relacionados con temas.
• Se menciona el componente principal poblacional y el componente principal muestral, siendo el primero la base del segundo. Se refleja principalmente en la consideración general de las expectativas y la consideración muestral de la media. Los componentes principales de la muestra tienen las mismas propiedades que los componentes principales de la población.

CH17 Análisis semántico latente

• En la definición de sklearn, LSA es una descomposición de valor singular truncada.
• Preste atención para comprender la diferencia entre LSA y PCA, principalmente si se debe eliminar la media.
• En LSA, el espacio vectorial del tema es $U$ y la representación de DOC en el espacio vectorial del tema es $SV^mathrm{T}$. Pero en sklaern, xtransformed es $UmitSigma$

CH18 Análisis semántico latente probabilístico

CH19 Cadena de Markov Método Monte Carlo

Asignación potencial de CH20 Dirichlet

Algoritmo de PageRank CH21

CH22 Resumen de métodos de aprendizaje no supervisados

posdata

Cada capítulo de este libro no es completamente independiente. Esta parte espera organizar las conexiones entre los capítulos y los conjuntos de datos aplicables. Hasta qué punto se implementa el algoritmo y en qué conjuntos de datos puede ejecutarse también son un aspecto.

referirse a