Маленька книга про глибоке навчання

François Fleuret

This book is licensed under the Creative Commons BY-NC-SA 4.0 International License. Preprint–June 11, 2023

У даному розділі міститься конспект, який створений на базі вільного перекладу книги The Little Book of Deep Learning, яку можна завантажити за цим посиланням. Конспект містить усі перекладені розділи з моїми доповненнями.

• Словник термінів за цим посиланням
• Група в Телеграм з обговоренням за цим посиланням

Франсуа Флере — професор комп’ютерних наук Женевського університету, Швейцарія. Ілюстрація обкладинки — це схема Неокогнітрона Фукусіми [1980], основного прабатька глибоких нейронних мереж.

Зміст

Передмова

I Foundations

• 1 Машинне навчання
  • 1.1 Навчання на основі даних
  • 1.2 Регресія на основі базисних функцій
  • 1.3 Недостатнє навчання та перенавчання
  • 1.4 Категорії моделей
• 2 Ефективне обчислення
  • 2.1 Графічні процесори (GPU), TPU та пакети
  • 2.2 Тензори
• 3 Тренування
  • 3.1 Losses
  • 3.2 Autoregressive models
  • 3.3 Gradient descent
  • 3.4 Backpropagation
  • 3.5 Training protocols
  • 3.6 The benefits of scale

II Deep models

• 4 Model components
  • 4.1 The notion of layer
  • 4.2 Linear layers
  • 4.3 Activation functions
  • 4.4 Pooling
  • 4.5 Dropout
  • 4.6 Normalizing layers
  • 4.7 Skip connections
  • 4.8 Attention layers
  • 4.9 Token embedding
  • 4.10 Positional encoding
• 5 Architectures
  • 5.1 Multi-Layer Perceptrons
  • 5.2 Convolutional networks
  • 5.3 Attention models

III Applications

• 6 Prediction
  • 6.1 Image denoising
  • 6.2 Image classification
  • 6.3 Object detection
  • 6.4 Semantic segmentation
  • 6.5 Speech recognition
  • 6.6 Text-image representations
• 7 Synthesis
  • 7.1 Text generation
  • 7.2 Image generation

The missing bits

Afterword

Bibliography