Deep Learning for Time Series by Jason Brownlee - (author of http://machinelearningmastery.com) #deeptimeseries #book

Reainforcement Learning Bible #book #reinforcementlearning

Another excellent blog post series
https://lilianweng.github.io/lil-log/2021/12/05/semi-supervised-learning.html

Wavelets for Computer Vision and Graphics literature http://grail.cs.washington.edu/projects/wavelets/

Grokking: оверфиттинг это ещё не конец (by OpenAI)

Все мы знаем, что если обучающих данных мало, то модель скорее всего заоверфиттится, запомнив весь датасет. Но оказалось, что если в этот момент не останавливать обучение и продолжать его даже при нулевой ошибке на трейне, то через какое-то время нейронка всё-таки научится обобщать.

У OpenAI таким образом удалось обучить небольшой трансформер решать уравнения, которые он никогда не видел! Грубо говоря, модель смогла заполнить пропущенные слоты в таблице умножения. При этом такая супер-обобщающая способность наступала гораздо позднее оверфиттинга, когда большинство из нас уже выкинули бы модель в помойку.

Похоже, что самую важную роль в этом эффекте играет weight decay, благодаря которому модель в конце-концов переходит от простого запоминания обучающих примеров к аналитическому решению задачи. Из интересных наблюдений — при визуализации эмбеддингов видны математические структуры, помогающие находить ответы.

Статья, видео

🎓🔥 OpenAI обучили нейросеть для решения задач олимпиадой математики, способную доказывать теоремы

OpenAI создали нейронный прувер теорем, который научился решать множество сложных задач олимпиадой математики.

Это языковая модель для построения формальных доказательств и утверждений. Формально — GPT-3 с 774M обучаемыми параметрами (36тислойный трансформер).

Обучение происходит по методологии expert iteration: каждый раз, когда находится новое доказательство, оно поступает в датесет новых данных для обучения, что улучшает нейронную сеть и позволяет ей итеративно находить решения для все более и более сложных задач.

📑 paper 📝 blog post

Time Series topic

A Neural Network based Time-Series model, inspired by Facebook Prophet and AR-Net, built on PyTorch. 🧭

paper:
https://www.arxiv-vanity.com/papers/1911.12436/

code: https://github.com/ourownstory/neural_prophet

A very deep dive into Neural Differential Equations: https://paperswithcode.com/paper/on-neural-differential-equations #ode #sde #deeplearning

ребят, тут пришло классное предложение от Projector, они предлагают захостить небольшой филиал субботней лекции у них в офисе 🌚✨

но в связи с карантином могут вместить только до 15 человек и еще нужно будет, чтобы у вас был с собой сертификат вакцинации

так что первых 15 зарегистрированных будем ждать) регистрируйтесь, пожалуйста, если точно уверены, что придете 🥺

https://forms.gle/PErte1i6FAjbNHoMA

⭐️ также, уже можно засетапить репозиторий, который будет использоваться на воркшопе - https://github.com/Infatum/Feature-Importance

💔 Наша талановита дівчинка, Юля Здановська

Юля вчилася на комп’ютерній математиці Механіко-математичного факультету #КНУ, а до того – УФМЛ #КНУ.

Юля здала ЗНО з математики на 200 і була у складі команди від України, яка у 2017 році перемогла на Європейській математичній олімпіаді серед дівчат з 44 країн, обійшовши росіянок!

Останнє повідомлення від Юлі у Телеграмі було: “Дякую, але я лишаюсь в Харкові до перемоги”. Вона залишалася зі своїм містом і людьми у найскладніший момент. Безстрашна Юля, якій був всього лиш 21 рік.

🙏 Всі, хто хочуть підтримати Юліну родину зараз, можуть це зробити через внесок на фонд ТРО (прохання мами):
https://www.facebook.com/serhiy.zhadan/posts/530529911762697

⚡️Bloomberg predicts that the default in Russia will take place this Wednesday. Foreign-currency debt of both the government and Russian companies reaches $150 billion, and default might be announced on Wednesday. Bloomberg expects three possible default scenarios:

📌Russia will pay the debt in dollars. It means that the debt crisis is averted until 4 April. 📌 Russia pays in rubles. But the payment on Wednesday will be considered made only if it is made in currency, otherwise it will mean a default. 📌 Russia does not pay at all. It will start a grace period of 30 days, after which a default will follow.

Source: Bloomberg
Join our Twitter With Ukraine

#job #interview #vacancy

Searching for Machine learning engineer for the marine control.
Salary - 2000$/week, 6000-8000$/month
Contacts: @infatum

For the research of ship course control, the basic algorithms used include proportion integral derivative (PID), fuzzy logic control, predictive control, sliding mode control, active disturbance rejection controller (ADRC) and artificial intelligence (AI) algorithms, etc.
On this basis, the improved course control effect is achieved through algorithm improvement. For example, neural network (NN) and ant colony algorithm (ACA) are used in PID parameter optimization. Particle swarm optimization (PSO) and genetic algorithm (GA) are applied to fuzzy controller parameter optimization. The firefly algorithm (FA) is applied to backstepping control for parameter optimization.
Improvements are made to the basic algorithm itself, such as the fractional-order PID controller and the ADRC algorithm in the ship course control. For AI technology, research on deep reinforcement learning (DRL) algorithm applied to course control of underactuated ships.
In addition, the prediction algorithm combined with the sliding mode algorithm or the neural network algorithm, the fuzzy control algorithm combined with the sliding mode algorithm or the neural network algorithm, ADRC combined with the fuzzy control or support vector machine (SVM) also have better control of the course of different types of ships under different conditions.