2017. december 8., péntek

DEEP Learning sources Neurális hálózatok

https://colab.research.google.com/

DEEP LEARNING A GYAKORLATBAN PYTHON ÉS LUA ALAPON (BME)
  -
Git repo for the BME deep learning course. - GitHub
  - http://smartlab.tmit.bme.hu/downloads/oktatas/deeplearning/vitmav45-2-backprop-pub.pdf
progpater/2016/12/hello_samu_a_cifar-10_tf_tutorial_peldabol
http://gp.estontorise.hu/TF

Deep learning vs. machine learning: The difference starts with data

A comprehensive beginners guide to Linear Algebra for Data Scientists 

analyticsvidhya/neural-network-from-scratch-in-python-and-r

 Understanding and coding Neural Networks From Scratch in Python and R

A Deep Learning használhatóságát korlátozhatják az értelmezhetőség hiányosságai. (Black-Box.)
1. A "társadalmi" szabályozás követelményeket jelent. Pl. a financial (credit scoring)-, élelmiszer-, egészségügy-, stb.
2. Az emberi mentális képességek és a Neurális hálók teljesítményének "kombinálásában" rejlő jelentős perspektívák.
Léteznek megoldási kisérletek:
   - Maynard: módosított szerkezetű neurális hálók, melyek az egyes minősítésekhez okokat rendelnek.
   - Jenkins: Előbb a neurális hálóval létrejön a modell, majd - ezeket felhasználva - hasonlóan reagáló, konvencionális modelleket építeni (pl. hajlékonyság modellezés).
Deep learning models hampered by black box functionality

MLBox


Tutorial on Automated Machine Learning using MLBox




https://azure.microsoft.com/hu-hu/services/hdinsight/

----------------------------------------------------

Debugging & Visualising training of Neural Network with TensorBoard

-----------------------------------------------------------------------------------

The main differences between TensorFlow and SciKit Learn - softmax regression model

scikit-flow easy deep-learning with tensorflow and scikit-learn

https://github.com/tensorflow/skflow

https://www.wired.com/2016/05/the-end-of-code/

Deep Teaching

SCAN

https://arxiv.org/pdf/1707.03389.pdf

30 Questions to test your understanding of Logistic Regression 

30 Questions to test a Data Scientist on Deep Learning   

Getting Started with Audio Data Analysis using Deep Learning (with case study) 

  

10 Advanced Deep Learning Architectures Data Scientists Should Know!

  • Neurális hálózatok Dr. Fazekas István 2013 (html jegyzet)
    • Ez a jegyzet a Debreceni Egyetemen informatikus és matematikus diákok számára tartott Neurális hálózatok tantárgyhoz készült. Lényegében az előadások anyagát tartalmazza, de a gyakorlatok jelentős részét is lefedi. A jegyzet által tartalmazott anyag az alábbi (fejezetenként haladva). A Rosenblatt-féle perceptron; a többrétegű perceptron (Multi Layer Perceptron, MLP); a radiális bázis függvények (Radial Basis Function, RBF); a tartó vektor gépek (Support Vector Machine, SVM). Az Appendix a matematikai hátteret, főleg az optimalizálási módszereket foglalja össze. Számos ábra és kidolgozott példa is segíti a megértést. A fejezetek végén több kitűzött feladat áll, amelyek megoldása, vagy megoldási útmutatója a jegyzet végén található.
    • pdf változat

Keresési eredmények

gan  „generatív ellenséges hálózatok”


Capsule Networks – an improved deep learning architecture has been introduced
Baidu trained an AI agent to navigate the world like a parent teaches a baby

Detecting heart disease using Deep Learning

DeepMind created artificial agents that can imagine and plan ahead
Meet the first Machine Learning Algorithm that Completely Controls your Facial Expressions

Emergence of Automated Machine Learning (Python)


A Brief Introduction to Neural Networks

If you’re interested in neural networks, this book is for you. It starts off by covering the history of neural networks before deep diving into the mathematics and explanation behind different types of NNs. The author expects the reader to have a background of basic linear algebra and calculus.

Deep Learning

This is probably one of the most comprehensive book written by distinguished people in deep learning field. Concepts like Monte Carlo Methods, Recurrent and Recursive Nets, Autoencoders and Deep Generative Models (among others) are covered in detail.

Machine Learning Yearning

The book is still being updated regularly and you can sign up on the site to receive updates as each chapter is posted.

1. Understanding and coding Neural Networks From Scratch in Python and R

2. Getting started with Deep Learning using Keras and TensorFlow in R


mit.bme.hu/mi_almanach/books/neuralis


IBM_snap_ML_lib.pdf

Baidu has Released a Gigantic Self-Driving Dataset named ApolloScape

DeepMind is Using ‘Neuron Deletion’ to Understand Deep Neural Networks

IBM Launches Deep Learning as a Service for ML and AI DevelopersWant to build a neural network but don’t have the deep expertise for it? IBM has launched it’s Deep Learning as a Service platform for ML and AI developers that takes the difficulty out of deep learning models!

Data sources:
Twitter Sentiment Analysis - Twitter érzelemelemzés
A gyűlöletbeszéd a rasszizmus és a szexizmus formájában a twitterre nézve kellemetlenné vált, és fontos, hogy ezeket a tweeteket elkülönítsük a többiektől. Ebben a Gyakorlat problémában olyan Twitter adatokat szolgáltatunk, amelyek normális és gyűlöli a tweeteket. A Data Scientist feladata azonosít
Ez az adatkészlet több mint 8000 hangkivonatot tartalmaz a 10 osztályból származó városi hangokból. Ez a gyakorlati probléma célja, hogy bemutassa az audio feldolgozást a szokásos osztályozási forgatókönyv szerint.

LibriSpeech

Ez az adatkészlet egy nagyjából 1000 óra angol nyelvű korpusz. Az adatok a LibriVox projekt hangoskönyvéből származnak. Szegmentált és rendezett. Ha kiindulási pontot keres, akkor nézze meg az előre elkészített Acoustic modelleket, amelyeket a kaldi-asr.org és az értékelésre alkalmas nyelvi modellekben képzettek. Http://www.openslr.org/11/ .
Ez az adatkészlet a Wikipédia teljes szövegének gyűjteménye. Közel 1,9 milliárd szót tartalmaz több mint 4 millió cikkből. Mi teszi ezt az erőteljes NLP-adatkészletet, hogy magát a bekezdés szót, kifejezést vagy egy részét keresi.
Ez egy nyitott adatkészlet, amelyet a Yelp kiadott tanulási célokra. Ez több millió felhasználói véleményből, üzleti attribútumból és több mint 200 000 képből áll több nagyvárosi területről. Ez egy nagyon általánosan használt adatbázis az NLP-kihívások világszerte.

WordNet

Mentioned in the ImageNet dataset above, WordNet is a large database of English synsets. Synsets are groups of synonyms that each describe a different concept. WordNet’s structure makes it a very useful tool for NLP.
COCO is a large-scale and rich for object detection, segmentation and captioning dataset. It has several features:
  • Object segmentation
  • Recognition in context
  • Superpixel stuff segmentation
  • 330K images (>200K labeled)
  • 1.5 million object instances
  • 80 object categories
  • 91 stuff categories
  • 5 captions per image
  • 250,000 people with keypoints
Size: ~25 GB (Compressed)

Neurális Hálók és Funkcionális Programozás

Aleksziev Rita Antónia: Transzformációtanulás 2 dimenziós képeken 

http://colah.github.io/posts/2015-08-Understanding-LSTMs/

Deep Learning a gyakorlatban Python és LUA alapon RNN, LSTM

Deep Learning a gyakorlatban Python és LUA alapon - VITMAV45

Tanuló Algoritmusok Újragondolva

ormandi/mlp:



KALMAN

[PDF] Három üzemmódú kibővített Kalman szűrők repülőgép orientációjának becslésére

[PDF] Egy-és többváltozós szűrők a hitelrés alakulásának meghatározására

Kálmán-szűrő – Wikipédia

https://hu.wikipedia.org/wiki/Kálmán-szűrő
A Kálmán-szűrő egy algoritmus, mely mozgó, változó rendszerek állapotáról ad optimális becslést sorozatos mérésekkel, figyelembe véve az állapotméréseket és a zavaró tényezőket (zajok, bizonytalanságok, pontatlanságok). Ezzel az algoritmussal jóval pontosabb információ kapható a vizsgált tárgyról, mintha csak egy ...
Története · ‎Működése · ‎Példa

15.4. Kalman-szűrők | Mesterséges Intelligencia Elektronikus Almanach

project.mit.bme.hu › ... › 15. fejezet - Időbeli valószínűségi következtetés
15.4. Kalman-szűrők. Képzeljünk el egy kismadarat, amint a dzsungel sűrűjében repül szürkületkor: a mozgásának csupán rövid, szakaszos felvillanásait pillanthatjuk meg; minden igyekezetünkkel azt próbáljuk megjósolni, hogy hol van most a madár, és legközelebb hol fog felbukkanni, hogy nehogy szem elől tévesszük.

[PDF]Kálmán-szűrés

sci.fgt.bme.hu/gtoth/doktmat/Kalman1.pdf
2014. márc. 10. - A Kálmán-szűrés definíciója. ▫ „Olyan algoritmus, amely valamely lineáris dinamikus rendszerben egzakt következetést tesz lehetővé, amely a rejtett Markov-modellhez hasonló Bayes- féle modell, azonban a rejtett változók állapottere folytonos, és minden rejtett és megfigyelhető változó (gyakran.

Kálmán-szűrő - System Book


Irányításelmélet | Digitális Tankönyvtár

www.tankonyvtar.hu/hu/tartalom/tamop412A/2011-0042.../ch16s04.html
Diszkrét idejű rendszerek irányítása és a Kalman-szűrő. Legyen a diszkrét idejű rendszer állapot egyenlete. és legyen a mátrixhoz tartozó karakterisztikus egyenlet. Alkalmazzunk teljes állapot visszacsatolást. alakban. A kérdés az, hogy a folytonos idejű rendszereknél megismert módon lehet-e a erősítés alkalmas ...

[PDF]szenzorfúzió alkalmazása beltéri autonóm négyrotoros helikopteren

ARDUINO


RESZECSKE szűrő

A Kalman-szűrő lineáris állapotátmeneteket vesz figyelembe. Azonban a valóságban gyakoribbak az olyan esetek amikor nemlineáris átmenetekről tudunk beszélni. Ennek a lekezelésére szolgál a kiterjesztett Kalman-szűrő. Ebben az esetben a szűrő egy lokális környezetben linearitást feltételez és az adott sugarú környezeten kívül viszont nemlinearitást. De ebben az esetben az adott sugarú környezeten túli környezet nem terjed túl messzire. 

Tárgykövető algoritmusok matematikai modellekkel - PDF

25.3. Érzékelés a robotikában | Mesterséges Intelligencia Elektronikus .


PARTICLE FILTER:

 

3D tracking targets via kinematic model weighted particle filter

XE Cheng, SH Wang, YQ Chen - Multimedia and Expo (ICME) …, 2016 - ieeexplore.ieee.org
… Concerning the proposed method, those particles are rejected by the kinematic model … 18] K.
Greff, RK Srivastava, J. Koutnık, BR Steunebrink, and J. Schmidhuber, “LSTM: A search … 20] MS
Arulampalam, S. Maskell, N. Gordon, and T. Clapp, “A tutorial on particle filters for online …t
… Our main contributions are as follows: 1. Inspired by the well-studied Bayesian filtering idea, we
present a recurrent neural … particle filter), and higher-order dependencies … To that end, we consider
the long short-term memory (LSTM) recurrence (Hochreiter and Schmidhuber 1997

[PDF] Long short-term memory kalman filters: Recurrent neural estimators for pose regularization

Automated Driving by Monocular Camera Using Deep Mixture of

Target Tracking with Kalman Filtering, KNN and LSTMs - CS229

cs229.stanford.edu/.../IterKuckZhuang-TargetTrackingwithKalmanFil...
Írta: D Iter - ‎2016 - ‎Kapcsolódó cikkek
2016. dec. 17. - sors is critical to autonomous driving. Rao-. Blackwellized particle filtering is well suited to this problem. Monte Carlo .... get tracking problem, a Kalman filter, an LSTM, and a K-nearest neighbors approach. 4.2. Kalman Filter. We used the 2D bounding boxes provided by KITTI's training sequences as the ...

[PDF]arXiv:1605.07148v4 [cs.LG] 1 Oct 2017

https://arxiv.org/pdf/1605.07148
Írta: T Haarnoja - ‎2016 - ‎Idézetek száma: 20 - ‎Kapcsolódó cikkek
2017. okt. 1. - State estimation is an important component of mobile robotic applications, including autonomous driving and flight [22]. ... parametric filtering methods, such as particle filtering, are also often used for tasks ... mitigating this problem, through models such as the long short-term memory (LSTM) [10] and the. 2 ...
----
There seems to be this assumption in the educational community that deep learning is the answer to automatic driving. Yet that's not how Waymo does it. They're geometry-first. Most of the control is based on "flat road here, big obstacle there", plus map data. Machine learning is only for "what's that". See the TED talk by Chris Urmson.[1]
Driving on deep learning alone will work great, most of the time. Some of the time, it will do something completely bogus. Like Tesla's self-crashing cars, which use Mobileye's system to not-recognize obstacles which block part of a lane.
Sometimes, the system will sense an obstacle and won't be able to identify it. That has to be handled safely.
[1] https://www.ted.com/talks/chris_urmson_how_a_driverless_car_..
---    AFAIK most SDC companies are using all kinds of control inputs, whether they are based on classical Computer Vision (RANSAC, HOG, SVM), on Deep Learning with 2D convolutions, on Deep Learning with 3D convolutions and RNN (2D + time on a series of images), Deep Reinforcement Learning (lane keeping, realtime path planning/obstacle avoidance), LiDAR+Radar+Ultrasonic combo via Kalman or particle filters, GPS, IMU etc. and then mix all those signals together to figure out which ones are the most probable. And this all has to happen with super-low latency. With the latest NVidia 500W GPUs for cars we might get far better precision than what was possible with Jetson TX2. You are right Deep Learning alone won't make it reliably, as sometimes output goes completely wrong and simple filtering/averaging past few frames might not be sufficient to prevent your self-driving car becoming a self-flying car. But combining all these inputs together, maybe via another DNN, seems like the best way forward
---       Yes, we are using a fusion of different types of sensor input. I have to be careful to not divulge trade secrets, but I would also add that sensory input (deep learning based or otherwise) is only the very first step in a long and complex chain of tools, algorithms etc. The media and academia are focusing almost exclusively on that step, but it's really only a small piece of the puzzle we are working on.
You are also correct on the performance issues. The DNNs you would require for the very complex decisions are currently too large to be used on automotive ECUs. But we also still have big open questions regarding provability of safety when using neural networks that need to be answered before we can use them for core decision making algorithms.

Posted: 11 Apr 2018 08:07 PM PDT
Introduction Neural networks have been around since the last century but in the last decade, they have reshaped how we see the world. From ... The post Essentials of Deep Learning: Getting to know...

[[ This is a content summary only. Visit my website for full links, other content, and more! ]]
 
3.3
Visszacsatolt mesterséges neuronhálózatok (Recurren
t Artificial Neural Networks, RNNs)
 A hagyományos, legegyszerűbb neuronhálózatok alkalmazása célszerű minták felismerése,osztályozása esetén. Szekvenciák osztályozására (cí
mkézésére) viszont nem alkalmasak, mivel a szekvencia szegmensei összefüggésben állnak egymással, és ezt már nem képes figyelembe venni egy feedforward NN, nincs emlékezete. Ez különálló kara
ktereknél nem is okoz problémát. A visszacsatolt NN-ek (RNN) viszont rendelkeznek rövidtávú memóriával, amit számításba tudnak venni az adott idő pillanatban beérkező inputok kiértékelésénél. Ez a kézírás felismerés esetében rendkívül fontos,mivel sokszor csak a kérdéses karakter környezetében lévő karakterek ismeretében tudunk következtetni a kérdéses karakterre. A jellemvektor tulajdonságainak (az RNN inputja) időbeli változásának nagysága is fontos információ, és a tulajdonságok súlyozásával a lényeges információk akkor is megmaradnak, ha zajos az input.
Kifejezetten erre a problémára lett kifejlesztve a Long Short-Term Memory topológiájú RNN (LSTM RNN), ami ezt a rövidtávú emlékezetet kiterjeszti ki, így nagyobb idő intervallumot képes
átfogni.
A kézírás felismerés esetében hasznos, ha nem csakaz aktuális vizsgált pozíció előtti jellemzőket ismerjük az adott idő pillanatban, hanem az utána lévőeket is. A kétirányú RNN-ek (Bidirectional 2. ábra: A kézírás felismerés lépései RNN rendszer esetében forrás: [6] Intelligent Word Recognition 7 RNN, BRNN), két külön rejtett réteggel rendelkeznek, az egyik balról jobbra dolgozza fel az inputokat, a másik jobbról balra, és ezek kimenetei közös kimeneti rétegre vannak kapcsolva.
Az RNN output rétegének egy olyan rétegnek kell lennie, ami a szegmentálatlan (a karakterek össze vannak kötve egymással), független lokális osztályozásokat (mivel minden idő pillanat egy külön
osztályozás) képes címkézni. A Connectionist Temporal Classification (CTC) egy pont e célból kifejlesztett output réteg, ami szegmentálatlan adatokon is képes a szekvenciák címkéinek valószínűségét meghatározni.
Ezen módszerek kombinációjaként jön létre a BLSTM RNN, ami – mint majd az összehasonlításból kiderül – jobb felismerési arányokat ér el mint bármilyen HMM-en alapuló (vagy hibrid) rendszer.

--------------------------------------------------------------------------------
http://home.mit.bme.hu/~engedy/NN/NN-RNN-LSTM-ESN.pdf
unideb.hu/neuralis_halozatok_MATLAB_programcsomagban.pdf
https://www.tankonyvtar.hu/neuralis_4_4
neuralis_4_4/ch08.html
neuralis_4_4/ch04s02.html
http://ait.iit.uni-miskolc.hu/~dudas/MIEAok/MIea10.PDF
http://mialmanach.mit.bme.hu/neuralis/ch08s02
 http://project.mit.bme.hu/mi_almanach/books/neuralis/ch08s04
 https://blog.fps.hu/neuralis-halozatokrol-erthetoen/



Nincsenek megjegyzések:

Megjegyzés küldése