https://youtu.be/RjFA2288AIA крута лекція від Галини Олійник - автора курсу Deep learning for NLP у Проджекторі, а також Senior Data Scientist у Delivery Hero

🦑 Полезные ссылки для старта в Quantum Machine Learning

💡Концепция квантового машинного обучения
🔢 Туториал по quantum neural network (QNN) упрощенного MNIST + colab
🏞 Quantum Convolutional Neural Network: туториал + colab
📰 Paper: Classification with Quantum Neural Networks on Near Term Processors
📄 Paper: TensorFlow Quantum:
A Software Framework for Quantum Machine Learning
📚TensorFlow Quantum TFQ
📼 YouTube: TensorFlow Quantum hybrid quantum-classical machine learning

Time series Classification with CNN on imbalanced classes #imbalance #classification

Time Series baseline approaches & techniques by Jason Brownlee (author of http://machinelearningmastery.com) #book #timeseries

Deep Learning for Time Series by Jason Brownlee - (author of http://machinelearningmastery.com) #deeptimeseries #book

Reainforcement Learning Bible #book #reinforcementlearning

Another excellent blog post series
https://lilianweng.github.io/lil-log/2021/12/05/semi-supervised-learning.html

Wavelets for Computer Vision and Graphics literature http://grail.cs.washington.edu/projects/wavelets/

Grokking: оверфиттинг это ещё не конец (by OpenAI)

Все мы знаем, что если обучающих данных мало, то модель скорее всего заоверфиттится, запомнив весь датасет. Но оказалось, что если в этот момент не останавливать обучение и продолжать его даже при нулевой ошибке на трейне, то через какое-то время нейронка всё-таки научится обобщать.

У OpenAI таким образом удалось обучить небольшой трансформер решать уравнения, которые он никогда не видел! Грубо говоря, модель смогла заполнить пропущенные слоты в таблице умножения. При этом такая супер-обобщающая способность наступала гораздо позднее оверфиттинга, когда большинство из нас уже выкинули бы модель в помойку.

Похоже, что самую важную роль в этом эффекте играет weight decay, благодаря которому модель в конце-концов переходит от простого запоминания обучающих примеров к аналитическому решению задачи. Из интересных наблюдений — при визуализации эмбеддингов видны математические структуры, помогающие находить ответы.

Статья, видео

🎓🔥 OpenAI обучили нейросеть для решения задач олимпиадой математики, способную доказывать теоремы

OpenAI создали нейронный прувер теорем, который научился решать множество сложных задач олимпиадой математики.

Это языковая модель для построения формальных доказательств и утверждений. Формально — GPT-3 с 774M обучаемыми параметрами (36тислойный трансформер).

Обучение происходит по методологии expert iteration: каждый раз, когда находится новое доказательство, оно поступает в датесет новых данных для обучения, что улучшает нейронную сеть и позволяет ей итеративно находить решения для все более и более сложных задач.

📑 paper 📝 blog post

Time Series topic

A Neural Network based Time-Series model, inspired by Facebook Prophet and AR-Net, built on PyTorch. 🧭

paper:
https://www.arxiv-vanity.com/papers/1911.12436/

code: https://github.com/ourownstory/neural_prophet

A very deep dive into Neural Differential Equations: https://paperswithcode.com/paper/on-neural-differential-equations #ode #sde #deeplearning

ребят, тут пришло классное предложение от Projector, они предлагают захостить небольшой филиал субботней лекции у них в офисе 🌚✨

но в связи с карантином могут вместить только до 15 человек и еще нужно будет, чтобы у вас был с собой сертификат вакцинации

так что первых 15 зарегистрированных будем ждать) регистрируйтесь, пожалуйста, если точно уверены, что придете 🥺

https://forms.gle/PErte1i6FAjbNHoMA

⭐️ также, уже можно засетапить репозиторий, который будет использоваться на воркшопе - https://github.com/Infatum/Feature-Importance

💔 Наша талановита дівчинка, Юля Здановська

Юля вчилася на комп’ютерній математиці Механіко-математичного факультету #КНУ, а до того – УФМЛ #КНУ.

Юля здала ЗНО з математики на 200 і була у складі команди від України, яка у 2017 році перемогла на Європейській математичній олімпіаді серед дівчат з 44 країн, обійшовши росіянок!

Останнє повідомлення від Юлі у Телеграмі було: “Дякую, але я лишаюсь в Харкові до перемоги”. Вона залишалася зі своїм містом і людьми у найскладніший момент. Безстрашна Юля, якій був всього лиш 21 рік.

🙏 Всі, хто хочуть підтримати Юліну родину зараз, можуть це зробити через внесок на фонд ТРО (прохання мами):
https://www.facebook.com/serhiy.zhadan/posts/530529911762697