A guide for using the Wavelet Transform in Machine Learning
https://ataspinar.com/2018/12/21/a-guide-for-using-the-wavelet-transform-in-machine-learning/
https://ataspinar.com/2018/12/21/a-guide-for-using-the-wavelet-transform-in-machine-learning/
ML Fundamentals
A guide for using the Wavelet Transform in Machine Learning
[latexpage] 1. Introduction In a previous blog-post we have seen how we can use Signal Processing techniques for the classification of time-series and signals. A very short summary of that post is:…
Happy New Year, folks!
while not Singularity:https://www.youtube.com/watch?v=HL7DEkXV_60
year += 1
YouTube
2020's Biggest Breakthroughs in Math and Computer Science
For mathematicians and computer scientists, 2020 was full of discipline-spanning discoveries and celebrations of creativity. We'd like to take a moment to re...
https://arxiv.org/abs/2006.00712 - My favorite SOTA Neural Network now is able to compute the Holographic Quantum Chromodynamic)
The neural ordinary differential equation (Neural ODE) is a novel machine learning architecture whose weights are smooth functions of the continuous depth. We apply the Neural ODE to holographic QCD by regarding the weight functions as a bulk metric, and train the machine with lattice QCD data of chiral condensate at finite temperature. The machine finds consistent bulk geometry at various values of temperature and discovers the emergent black hole horizon in the holographic bulk automatically. The holographic Wilson loops calculated with the emergent machine-learned bulk spacetime have consistent temperature dependence of confinement and Debye-screening behavior. In machine learning models with physically interpretable weights, the Neural ODE frees us from discretization artifact leading to difficult ingenuity of hyperparameters, and improves numerical accuracy to make the model more trustworthy.
https://arxiv.org/abs/2011.05364 - Gaussian ODE😍😍😍❤️ Learning ODE Models with Qualitative Structure Using Gaussian Processes
Recent advances in learning techniques have enabled the modelling of dynamical systems for scientific and engineering applications directly from data. However, in many contexts, explicit data collection is expensive and learning algorithms must be data-efficient to be feasible. This suggests using additional qualitative information about the system, which is often available from prior experiments or domain knowledge. In this paper, we propose an approach to learning the vector field of differential equations using sparse Gaussian Processes that allows us to combine data and additional structural information, like Lie Group symmetries and fixed points, as well as known input transformations. We show that this combination improves extrapolation performance and long-term behaviour significantly, while also reducing the computational cost.
Applying GANs for the Time Sereies forecasting problem? Why not: https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8717640 https://git.opendfki.de/koochali/forgan
GitLab
Alireza Koochali / ForGAN · GitLab
GitLab Community Edition
Forwarded from ✙ Fatum ✙
ICLR 2019 | ‘Fast as Adam & Good as SGD’ — New Optimizer Has Both | by Synced | SyncedReview | Medium
https://medium.com/syncedreview/iclr-2019-fast-as-adam-good-as-sgd-new-optimizer-has-both-78e37e8f9a34
https://medium.com/syncedreview/iclr-2019-fast-as-adam-good-as-sgd-new-optimizer-has-both-78e37e8f9a34
Medium
ICLR 2019 | ‘Fast as Adam & Good as SGD’ — New Optimizer Has Both
The optimization algorithm (or optimizer) is the main approach used today for training a machine learning model to minimize its error rate…
https://github.com/Luolc/AdaBound - a nice and neat pytorch extension for AdaBound Oprimizer
GitHub
GitHub - Luolc/AdaBound: An optimizer that trains as fast as Adam and as good as SGD.
An optimizer that trains as fast as Adam and as good as SGD. - Luolc/AdaBound
milets19_poster_4.pdf
804.9 KB
https://milets19.github.io/papers/milets19_poster_4.pdf DenseNet for Time Series Classification. Very useful paper, describes both various preprocessing types and architectures of the Dense blocks,then compares performances and scores. Strongly recommend for practitioners #timeseries #DenseNet
Who needs fancy DenseNets, EfficientNets, NasNets and so on if you have THIS: Making ResNets Great Again!
https://arxiv.org/pdf/2103.07579.pdf
https://arxiv.org/pdf/2103.07579.pdf
https://youtu.be/ABbDB6xri8o Tesla AI pipeline, sooo huge and so amazing. Take a look.
P.S. something similar I’m trying to build in my start up, but yet I’m not even close
P.S. something similar I’m trying to build in my start up, but yet I’m not even close
YouTube
Tesla AI Day Highlights | Lex Fridman
A quick video on the main innovations presented at Tesla AI day.
What the full livestream here: https://www.youtube.com/watch?v=j0z4FweCy4M
OUTLINE:
0:00 - Overview
1:16 - Neural network architecture
4:55 - Data and annotation
6:44 - Autopilot & DOJO
8:28…
What the full livestream here: https://www.youtube.com/watch?v=j0z4FweCy4M
OUTLINE:
0:00 - Overview
1:16 - Neural network architecture
4:55 - Data and annotation
6:44 - Autopilot & DOJO
8:28…
Forwarded from Мишин Лернинг 🇺🇦🇮🇱
Нейросеть Codex от OpenAI: увольняйте ваших Data Scientist’ов
Будущее наступило! Нейросеть Codex (gpt 3 для генерации кода) позволяет решать data science задачи на естественном языке!
https://youtu.be/Ru5fQZ714x8
Будущее наступило! Нейросеть Codex (gpt 3 для генерации кода) позволяет решать data science задачи на естественном языке!
https://youtu.be/Ru5fQZ714x8
YouTube
Data Science with OpenAI Codex
Learn more: https://openai.com/blog/openai-codex
Descent algorithm complexity https://www.quantamagazine.org/computer-scientists-discover-limits-of-major-research-algorithm-20210817/
Quanta Magazine
Computer Scientists Discover Limits of Major Research Algorithm | Quanta Magazine
The most widely used technique for finding the largest or smallest values of a math function turns out to be a fundamentally difficult computational problem.
Forwarded from Мишин Лернинг 🇺🇦🇮🇱
🤖🏆 SimVLM — Новый CLIP
Представьте себе одну модель, которая может:
- Классифицировать фото
- Отвечать на вопросы по фото
- Дополнять текстовые описания
- Решать задачу «визуального обоснования»
- Выполнять мультимодальный перевод
А самое главное, делать все это в режиме zero-shot (обучение без обучения)!
Встречайте: SimVLM, который по факту является мультимодальной сетью Text + Image (как CLIP), с классической трансформер архитектурой. ViT+Bert энкодер + декодер GPT (см картинку поста).
Такой текстовый-визуальный претрейн сравнили с современными (SOTA) методами, включая LXMERT, VL-T5, UNITER, OSCAR, Villa, SOHO, UNIMO и VinVL.
SimVLM превосходит все существующие модели и бьет SOTA по всем рассматриваемым задачам, часто со значительным отрывом.
Скоро сделаю подробный обзор архитектуры.
📄 paper
#sota #paper #multimodal #zeroshot #сохраненки
Представьте себе одну модель, которая может:
- Классифицировать фото
- Отвечать на вопросы по фото
- Дополнять текстовые описания
- Решать задачу «визуального обоснования»
- Выполнять мультимодальный перевод
А самое главное, делать все это в режиме zero-shot (обучение без обучения)!
Встречайте: SimVLM, который по факту является мультимодальной сетью Text + Image (как CLIP), с классической трансформер архитектурой. ViT+Bert энкодер + декодер GPT (см картинку поста).
Такой текстовый-визуальный претрейн сравнили с современными (SOTA) методами, включая LXMERT, VL-T5, UNITER, OSCAR, Villa, SOHO, UNIMO и VinVL.
SimVLM превосходит все существующие модели и бьет SOTA по всем рассматриваемым задачам, часто со значительным отрывом.
Скоро сделаю подробный обзор архитектуры.
📄 paper
#sota #paper #multimodal #zeroshot #сохраненки
Forwarded from Мишин Лернинг 🇺🇦🇮🇱
CLIP — Главная нейросеть 2021
📄 Детальный разбор CLIP на habr от Мишин Лернинг
Нейросеть CLIP — устойчивый классификатор, который не нужно даже обучать. Кроме того, этой сети нашли десятки разных применений: от нейронного поиска по фото и видео до генеративного искусства, от zero-shot классификации изображений до zero-shot Domain Adaptation для StyleGAN (NADA).
CLIP — это действительно новый взгляд на объединение NLP и CV. Последние несколько лет мы наблюдали триумфы в области обработки естественного языка, и языковые модели действительно наделали много шума, совершив новую революцию и, в очередной раз, отложив новую "зиму" искусственного интеллекта в долгий ящик.
Совсем недавно мы начали наблюдать явление, когда технологии, вроде бы изначально присущие только NLP, стали бить рекорды в компьютерном зрении: Vision Transformers. Теперь методы few-shot и zero-shot learning проникают в сферу компьютерного зрения уже благодаря гибридным nlp и cv моделям.
#сохраненки #статьи #habr
📄 Детальный разбор CLIP на habr от Мишин Лернинг
Нейросеть CLIP — устойчивый классификатор, который не нужно даже обучать. Кроме того, этой сети нашли десятки разных применений: от нейронного поиска по фото и видео до генеративного искусства, от zero-shot классификации изображений до zero-shot Domain Adaptation для StyleGAN (NADA).
CLIP — это действительно новый взгляд на объединение NLP и CV. Последние несколько лет мы наблюдали триумфы в области обработки естественного языка, и языковые модели действительно наделали много шума, совершив новую революцию и, в очередной раз, отложив новую "зиму" искусственного интеллекта в долгий ящик.
Совсем недавно мы начали наблюдать явление, когда технологии, вроде бы изначально присущие только NLP, стали бить рекорды в компьютерном зрении: Vision Transformers. Теперь методы few-shot и zero-shot learning проникают в сферу компьютерного зрения уже благодаря гибридным nlp и cv моделям.
#сохраненки #статьи #habr
2102.06559.pdf
2.2 MB
Infinitely Deep Bayesian Neural Nets with Stochastic Differential Equations. Next big thing since Neural ordinary differential equations model. Might become a SOTA for stochastic process forecasting and noisy time-series/signal processing #sde #neuralsde #sota
Happy programmer’s day!!! Have a bug-free code and indulgent project managers.
Починаю свій авторський курс по Data Science - основи часових рядів як куратор і лектор. Завтра записуємо вступну лекцію. Курс закладе основи аналізу та прогнозування часових рядів, фундамент на якому будуються вже більш складні та високо рангові задачі часових рядів. Спойлер, оскільки це перший такий курс в Україні, було прийнято рішення робити його базовим. Наступні будуть вже більш продвинуті у яких розглянемо в том числі стохастичні процеси та глибоке навчання, але основи аналізу часових рядів обов‘язикові для подальшої роботи навіть із глибокими моделями і чому - ми розглянемо на курсі.
Starting my very first Data Science - Timeseries Baseline course as a curator and lector. Will be filming our introductory lecture tomorrow - the basics of time series as a curator and lecturer. Tomorrow we will record the introductory lecture. This course will lay foundations for the time series analysis and forecast, the basis on which are built more complex and highly noisy time series problems. Spoiler, this is first such course in Ukraine, so I decided to give baseline of time series analysis and forecasting. In future courses I’m planning to give a full grasp into deep learning for time series and stochastic process modelling. But all this approaches require baseline techniques.
https://prjctr.online/time-series-baseline.html?gclid=Cj0KCQjwssyJBhDXARIsAK98ITTpnHF_TryL6ymWfCW9pgWbKBQ8stnQ5OxtnpLR7Pj4KA9RNA4nR-saAsx5EALw_wcB
Starting my very first Data Science - Timeseries Baseline course as a curator and lector. Will be filming our introductory lecture tomorrow - the basics of time series as a curator and lecturer. Tomorrow we will record the introductory lecture. This course will lay foundations for the time series analysis and forecast, the basis on which are built more complex and highly noisy time series problems. Spoiler, this is first such course in Ukraine, so I decided to give baseline of time series analysis and forecasting. In future courses I’m planning to give a full grasp into deep learning for time series and stochastic process modelling. But all this approaches require baseline techniques.
https://prjctr.online/time-series-baseline.html?gclid=Cj0KCQjwssyJBhDXARIsAK98ITTpnHF_TryL6ymWfCW9pgWbKBQ8stnQ5OxtnpLR7Pj4KA9RNA4nR-saAsx5EALw_wcB
prjctr.online
Time Series
На курсі освоїмо фундамент, на якому будується весь Time Series.
Self-learning agents for pair games by Facebook AI https://ai.facebook.com/research/publications/control-strategies-for-physically-simulated-characters-performing-two-player-competitive-sports
Meta
Control Strategies for Physically Simulated Characters Performing Two-player Competitive Sports
In two-player competitive sports, such as boxing and fencing, athletes often demonstrate efficient and tactical movements during a competition …