Как работает наша память и почему советуют жевать жвачку при подготовке?

Закономерности запоминания

Вы более эффективно сможете использовать разработки ученых в плане облегчения запоминания, если точно будете знать, какие закономерности у запоминания сведений существуют. Их несколько, они довольно просты.

• Человек запоминает больше и лучше осмысленные тексты, чем те же слоги Эббингауза, например. Интересно, а все ли его испытуемые проходили опыт до конца? Возможно, некоторые не выдерживали такой атаки на мозг. Так называемый «зубреж» куда менее эффективен, чем заучивание осмысленное.
• Количество информации и темпы ее заучивания находятся друг от друга не в прямой зависимости. То есть выучить два стихотворения вовсе не в два раза сложнее одного. Для этого потребуется больше времени и энергозатрат, чем если просто умножить и то и другое на два. Чем больше – тем дольше и сложнее.
• Количество повторений должно быть ограничено. Вернее, толку от чрезмерного усердия не будет никакого. Не стоит в сотый раз зачитывать отрывок из книги, которую вы уже зачитали до дыр. Результат ничем не будет отличаться от того, который вы получили после двадцатого повторения, он не станет лучше.
• Информация, которая нам по-настоящему нужна, хранится в нашей голове значительно дольше, чем та, которая нам необходима только лишь для того, чтобы сдать экзамен. Поэтому если хотите запомнить что-то хорошо, найдите этому практическое последующее применение в жизни.
• Объем запоминаемой информации в определенный промежуток времени будет больше, если эта самая информация будет разноплановой. Меняйте темы заданий, чередуйте их и тогда вам проще будет справиться.
• Лучше запоминается то, что стоит в начале и замыкает материал. Проверьте сами, попросите, чтобы кто-то составил вам список из 10 любых слов. Некого попросить? Воспользуйтесь следующим набором: «лампочка, клавиатура, лес, магазин, парта, тряпка, голова, компьютер, веник, грядка». Закройте глаза и попытайтесь воспроизвести прочитанное.

С большой долей вероятности первое, что придет вам на ум будут слова «лампочка» и «грядка». Кстати, открытие этой закономерности также приписывается Герману Эббингаузу. В его трудах она называется эффектом края.

Кривая забвения — что это?

Герман Эббингауз, философ 19-го века, изучал феномен долговременной памяти. В то время исследования были сосредоточены исключительно на запоминании текста. Но у Эббингауза возникла другая идея: вместо слов он попытался запомнить несвязные слоги. 

В течение 1 часа Эббингауз забыл 60% выученного. Потом процесс забывания замедлился, и через 6 дней Эббингауз помнил только 20% выученного. 

Что делать, чтобы повысить продуктивность на работе.

Так ученый определил существование некой кривой забвения — того, как память постепенно (сначала быстро, потом медленнее, и так до полного исчезновения) стирает заученную информацию, если ее не повторять регулярно.  

Согласно Эббингаузу, наша способность хранить информацию зависит от двух факторов:

— качества запоминания (были ли вы сосредоточены или постоянно отвлекались)

— времени с момента запоминания

Значит, есть два решения, которые позволяют лучше запоминать:

— проверенные техники запоминания

— качество и количество повторений

Как это работает

Представьте, что любая информация, которую вы хотите запомнить, — это кирпич, а повторение этой информации — цемент. 

Без цемента кирпичи не скрепятся, и всё здание рухнет. С другой стороны, если цемента между кирпичами будет слишком много, здание тоже не будет прочным. Кроме того, за повторениями вы потратите много времени и энергии впустую.

Так что у нас две новости: хорошая и плохая. Плохая состоит в том, что вы забываете быстрее, чем вам кажется. И это неизбежно. Хорошая — есть эффективные и проверенные методики запоминания. 

Что делать, когда мысли о незаконченных задачах мешают жить, — читайте в статье об эффекте Зейгарник.  

​

Весь бизнес-контент в удобном формате. Интервью, кейсы, лайфхаки корп. мира — в нашем телеграм-канале. Присоединяйтесь!

Зависимость от характера информации и действий человека

Мы лишаемся способности воспроизводить и вспоминать усвоенную информацию — характер такой потери может быть мгновенный, но кривая эксперимента говорит, что он может идти и постепенно. Факторы, влияющие на забывание, различны (с одной стороны, зависят от качества, объема информации, с другой — от действий самого запоминающего):

1. характер и содержание полученных сведений (кривая забывания показывает, что бессмыслица забывается почти мгновенно);
2. объем;
3. частота использования полученной информации (чем чаще нужны конкретные данные, тем лучше мы запоминаем);
4. эмоциональность (отрицательные события, факты часто более весомы и важны, чем положительные).

Причины забывания (о последних в психологии единого мнения нет — теории забывания разные, основанные на различных причинах):

1. Отсутствие подкрепления информации. В психологии процесс носит названия угасания навыка.
2. Вытеснение (такого мнения придерживаются некоторые направления психотерапии, например, психоанализ — согласно психоаналитической теории, это результат работы защитных механизмов человека, которые стремятся оградить его личность от отрицательных воспоминаний, представляющих угрозу для психического состояния).
3. Согласно когнитивному подходу, причины забывания и процесс механизма зависят от вида памяти. Те, кто поддерживают эту теорию, выделяют три вида:
   • очень непродолжительная (сенсорно-информационная, материал забывается почти тут же впоследствии быстрых процессов нервного распада);
   • кратковременная (ограниченная, объем запоминаемого зависит от повторения последнего);
   • долговременная (ничем не ограничена).

Прочитанный материал начинает забываться уже практически сразу после чтения. Кривая забывания, которую выстроил Эббингауз в ходе многочисленных экспериментов, свидетельствует, что процесс идет неравномерно. Механически заученная информация забывается в течение первого дня (человек теряет 50 процентов материала), потом процесс этот замедляется. Спустя неделю он практически прекращается. К концу месяца у человека в памяти, согласно теории забывания, остается только пятая часть полученного месяц назад материала.

Методики повторения

Для запоминания на долгосрочную перспективу эффективны следующие техники: 

• Ответ на вопросы по теме. Они есть почти во всех учебниках. Многие их пропускают, а зря. Это один из самых действенных способов запоминания прочитанного.
• Пересказ. Представьте себя на месте учителя и попробуйте разъяснить материал своими словами кому-то ещё. Получится взаимно полезно.
• Создание карточек для интервального повторения. На одной стороне вы пишите понятие или формулу. На другой — тезисное описание. Надо стараться самостоятельно воспроизводить информацию. Карточка, по сути, является планом повторения. 
• Тестирование. «Эффект тестирования» подтверждён многими исследованиями — это когда то, что попалось в тесте, остаётся в памяти навсегда. Но срабатывает эта методика, только если задание выполнено сразу после получения новой информации.

<<Блок перелинковки>>

Почему оно возникает?

В общем случае причины забывания делят на две отдельные группы. Первая рассматривает данный процесс как естественный. Это, к примеру, плохо запомненная информация или забытые вечерние мысли, которые человек обдумывал непосредственно перед тем как лечь в постель. Также нам свойственно забывать плохие воспоминания: сон отлично стирает их из памяти. Отсюда и пошла поговорка: «Утро вечера мудренее».

Вторая группа менее масштабна. По существу, это все случаи неприродного забывания: например, следствия психологических проблем. Но и эта причина основана на принципе того, что человек чаще говорит «я забыл» по поводу неприятностей, а не радостных событий.

“Кривая Эббингауза” или “Кривая забывания”

Герман Эббингауз “открыл её” в 1985 году, и вот как она выглядит:

Сам герман Эббингауз был увлечен идеями “Чистой памяти”. Это запоминание, на которое не влияют процессы мышления. Кто был у нас на тренингах – эта техника называется у нас настройка “МИГ”.

Вот что пишет об этом автор (из Википедии):

“Эббингаузом был предложен метод заучивания бессмысленных слогов, состоящих из двух согласных и гласной между ними, не вызывающими никаких смысловых ассоциаций (например бов, гис, лоч, или бюс, гал, тер и т.п.).

В ходе опытов было установлено, что после первого безошибочного повторения серии таких слогов забывание идет вначале очень быстро. Уже в течение первого часа забывается до 60 % всей полученной информации, через 10 часов после заучивания в памяти остается 35 % от изученного. Далее процесс забывания идет медленно и через шесть дней в памяти остается около 20 % от общего числа первоначально выученных слогов, столько же остается в памяти и через месяц.

Выводы, которые можно сделать на основании данной кривой в том, что для эффективного запоминания необходимо повторение заученного материала.

… Осмысленное запоминание в 9 раз быстрее механического заучивания (в своих опытах Эббингауз заучивал текст «Дон-Жуана» Байрона и равный по объёму список бессмысленных слогов). Текст Байрона запомнился в 9 раз лучше”

Спасибо, кэп! Выводы, которые сделал великий немецкий психолог, поражают своим практичным применением и глубиной мысли. Вот как я их преобразовал для нашего курса:

Чтобы информация хуже забвыалась, ее важно припоминать
Для лучшего результата припоминать нужно через определенные промежутки времени в начальном этапе и потом как можно чаще
Если запоминание в начале усилить определенными методами, то можно перевести информацию с первой кривой забывания, на более дальнюю, и информация будет держаться очень долго!

И на самом деле именно их мы и используем в наших тренингах, и они работают! Вамое важное, что открыл эббингауз – это временные промежутки, через которые важно информацию припоминать, чтобы она оставалась на верхнем уровне забывания, и плохо забывались. Поэтому мы эти промежутки зашиваем в наши алгоритмы по запоминанию слов, и у вас эти слова держатся на порядок дольше

А если выполняются все рекомендации, то очень долго.

Запоминание

Самое главное на этом этапе: хорошо разобраться в материале, иерархизировать его, сразу разобрать все, что непонятно.

Одна буква запоминается лучше, чем две, а две запоминаются лучше, чем три. Однако если все эти буквы мы знаем и объединяем в слово, то это слово запомнится так же хорошо, как и одна буква.

Этот любопытный факт говорит нам о том, что мозгу приятнее и легче, когда есть простые фигуры, образующие иерархию, от которой можно отталкиваться, а не просто учить полотно текста без разбивания на логические блоки.

Факторы продуктивности этого этапа заключаются в следующем: мы запоминаем лучше, когда…

информация дана в избытке — много деталей, дополнительных пояснений позволяют информации запомниться куда лучше, поскольку даже если вы забудете какой-то фрагмент, то оставшаяся система его логически восполнит;
вы стараетесь не растягивать учебу, а сжимаете время для подготовки как можно сильнее — другими словами, 40 минут интенсивной работы, повторения, изучения и упражнений дадут куда больше, чем трехчасовой разбор того же.
вы активно работаете с материалом и у вас есть цель запомнить (цель — это очень важно! Мне как-то говорили, что надо 40 раз стих повторить, и он запомнится, но на самом деле если вы не разберетесь в нем, то не сможете его выучить даже после 100 повторений без попыток самостоятельно его вопроизвести)
используете аналогии, сравнения, мнемотехники, чтобы прочно отложилось (о них я еще напишу)
вы правильно ставите цель ,что должны получить на выходе. Произвольное запоминание зависит от поставленных целей — запомнить надолго, наиболее полно, выделить главное, выучить и забыть, уловить суть и передать и т.д

На запоминание действует характер деятельности, предшествующей запоминанию, а также заполненность промежутка между запоминанием и воспроизведением. Идеально, если он не заполнен, но т.к. в реальной жизни это невозможно, приближенным к такому состоянию будет сон. Экспериментально показано, что по сравнению с «учу задание А — воспроизвожу задание А» схема «Учу задание А — отдыхаю — воспроизвожу его» куда эффективнее.
начинаете на основе изученного придумывать свои примеры, аналогии. Также полезно вслух или письменно воспроизводить его, пытаться объяснить своими словами. Это называется «эффект генерации»

Воспроизведение

Непроизвольное воспроизведение — ненамеренное, без цели вспомнить, когда образы всплывают сами собой, чаще всего по ассоциации.

Произвольное воспроизведе­ние — целенаправленный процесс восстановления в сознании прошлых мыслей, чувств, стремлений, действий.

Иногда произ­вольное воспроизведение происходит легко, иногда требует уси­лий. Сознательное воспроизведение, связанное с преодолением известных затруднений, требующее волевых усилий, называется припоминанием.

Качества памяти наиболее отчетливо обнаруживаются при воспроизведении. Оно является результатом и запоминания, и сохранения. Судить о запоминании и сохранении мы можем только по воспроизведению. Воспроизведение — не простое ме­ханическое повторение запечатленного. Происходит реконструк­ция, т. е. мыслительная переработка материала: изменяется план изложения, выделяется главное, вставляется дополнительный материал, известный из других источников.

Успешность воспроизведения зависит от умения восстановить связи, которые были образованы при запоминании, и от умения пользоваться планом при воспроизведении.

Физиологическая основа узнавания и воспроизведения — оживление следов прежних возбуждений в коре головного мозга. При узнавании оживляется след возбуждения, который был про­торен при запоминании. При воспроизведении оживление следа может происходить на основе ассоциации. Оживление следа возбуждения может происходить и при второсигнальных раздражи­телях: объяснение, слова учителя оживляют ранее образованные связи.

Для того чтобы произвольное воспроизведение было более успешным, следует научить школьников специальным способам воспроизведения: припоминанию смысловых ассоциаций, припо­минанию основных мыслей и т. д.

Общая психология. (Учеб. пособие для студен­тов пед. ин-тов). Под ред. В. В. Богословского и др. 2-е изд., перераб. и доп. — М.: Просвещение, 1973. — 351 с. С. 202-206.

См.: Развитие памяти у дошкольников (Дипломная работа).

Метод рациональных повторений и где он используется

Эббингауз заметил, что повторения меняют механизм забывания. С каждым из них процесс замедляется. И его вполне можно почти остановить. То есть запоминать до 95% информации на неограниченно длительное время. Практически навсегда.

График повторений информации:

• первое — сразу же после изучения;
• второе — через 10–15 минут после первого;
• третье — спустя 10 часов после второго;
• четвёртое — через 24 часа после третьего;
• пятое — по прошествии 3–5 дней после четвёртого.

При желании можно добавить шестое и седьмое повторение, чтобы уж точно никогда не забыть выученное. Через две недели и два месяца соответственно.

В качестве повторения хватит и минимального контакта с информацией. Рассмотрим это на примере изучения английской лексики. 

Допустим, у вас есть 5 новых слов:

• attractive — привлекательный;
• charming — очаровательный;
• moustache — усы;
• skinny — худощавый;
• swarthy — смуглый.

Повторение будет засчитано, когда при появлении первой части пары вы без ошибок назовёте вторую. Вы видите «charming» — и отвечаете «очаровательный». И всё

Абсолютно неважно, будете ли вы проговаривать слово вслух или про себя, медленно или быстро. А в приложениях можно просто нажимать на нужные кнопки

Повторение всё равно случится.

Всё максимально просто и эффективно. Потому что работает эта формула вне зависимости от типа информации и эмоциональной привязки к ней.

Именно поэтому этот способ используется сегодня во многих обучающих проектах. И он идеально подходит, чтобы изучать иностранную лексику. Потому что методика рациональных повторений позволяет запоминать до 300 слов каждый месяц — по 10 в день!

Как это вообще возможно?

Очень даже просто. Программа на смартфоне без проблем поставит таймер на каждое из слов и составит оптимальный график повторений. На одно слово нужно 5–7 секунд. То есть за 10–15 минут студент без проблем проходит полноценную тренировку по новым словам и вспоминает старые по графику рациональных повторений.

Мы даже провели собственную аналитику среди пользователей нашего приложения ED Words. Проанализировали результаты людей, которые изучали лексику с его помощью. Выяснилось, что в среднем пользователь успешно изучает 7,7 английских слов в день. При этом на занятия ежедневно тратится только 12 минут.

ED Words даёт только базовые цифры. При занятиях с преподавателем, высоком уровне мотивации и вдохновения, а также при правильном подборе интересных учебных пособий результат можно улучшить в несколько раз.

Изучать таким способом можно абсолютно всё: от котировок акций до всемирной истории. Рациональные повторения работают вне зависимости от характера информации — ведь с их помощью можно выучить даже бессвязные слоги!

Хотите убедиться, что ваша память чертовски хитрая и начинает удалять ненужную информацию практически сразу после того, как та поступает в мозг? Попробуйте вспомнить тот ряд слогов, который мы предложили как пример в начале статьи. Уверены на 99%, что у вас не получится назвать ни одного. А ведь прошло не более пяти минут.

Метод Эббингауза позволяет изящно обойти эту привычку мозга, чтобы найти аккуратный бэкдор в постоянную память и загрузить туда всю нужную информацию. Учитесь с удовольствием и без зубрёжки!

Самоизоляция закончилась, а значит — самое время освоить новую профессию, чтобы уверенно смотреть в будущее при любых обстоятельствах! Мы хотим помочь вам и с 22 по 30 июля 2020 г. дарим скидку 40% почти на все программы обучения GeekBrains. Будьте здоровы и успешны! 🙂

Кто такой Эббингауз и при чём тут кривая?

Герман Эббингауз — немецкий психолог, который исследовал механизмы человеческой памяти. Он вывел гипотезу: память у всех людей работает схожим образом, и её объёмы примерно одинаковы. То есть можно изобрести единый инструмент, который поможет лучше запоминать любую информацию.

Важно отметить: суть не в том, чтобы сделать память абсолютной или эйдетической (очень подробной), а максимально точно сохранять ту информацию, которая вам нужна. Причём запоминать её без помощи медикаментов, используя только механизмы самой памяти

Чтобы эмоциональное восприятие информации не мешало проводить эксперименты, Эббингауз и его «подопытные» запоминали бессмысленные и не связанные между собой слоги. К примеру, «бан, ге, пир, сиф, аз, то, дав, фи, мер, хас». Можете попробовать и убедиться, что это не так уж просто. 

Исследования показали, что процесс забывания примерно одинаков у всех людей. Через час после изучения подобных бессмысленных слогов в памяти оставалось примерно 60% информации. А через неделю забывается 90–95% данных. 

Собственно, кривая Эббингауза — это график забывания. Как видим, она стремится к нулю. Так что через месяц вы вряд ли сможете вспомнить хоть что-то из изученного.

Но в ходе дальнейших экспериментов выяснилось, что можно запомнить и абсолютно бессмысленную информацию — с помощью повторений через определённые промежутки времени. И не на пару дней, а практически навсегда. Более того, потратив на это на порядок меньше часов, чем при банальной зубрёжке. 

Понятно, что в реальной жизни очень мало информации, начисто лишённой смысла. Но она есть

К примеру, если вам нужно запомнить пароль от важного аккаунта, а записать его нельзя, потому что служба безопасности компании заставит бумажку съесть. Так что учить приходится бессвязный набор букв, цифр и значков

Хакнуть собственную память можно с помощью метода рациональных повторений, который вывел Эббингауз.

В чем заключается суть кривой забывания?

Взяв за основу кривую забывания, Герман Эббингауз сделал вывод, что основное забывание происходит в тот период времени, который следует непосредственно за заучиванием. Именно в этот период человек забывает наибольший объем недавно изученного материала. Если же индивид подходит к запоминанию материала осмысленно, то необходимая информация запоминается в 9 раз быстрее.

Чем больше раз человек повторяет изученный материал, тем меньшей становится скорость заучивания. Это свидетельствует о том, что 25 ежедневных повторений будут менее полезными и эффективными, чем 20 ежедневных повторений.

Выбирая между заучиванием в целом и заучиванием по частям, следует отдать предпочтение первому варианту. Если вам нужно выучить стихотворение, то сразу учите его целиком, а не разбивайте на части.

Те элементы, которые находятся в начале и конце, запоминаются намного лучше, чем те элементы, которые находятся в середине (более подробно об этом в разделе «Эффект края: что это такое?»). Если же человек точно знает, что изучаемая им информация обязательно пригодится ему, то он будет запоминать её намного лучше.

В 30‑е годы прошлого столетия был проведен еще один эксперимент, который подтвердил сделанные Эббингаузом открытия и выводы. Новая техника получила название «интервальные повторения». Хоть данная методика и работала, но популярной и востребованной она так и не стала, так как в процессе её использования то и дело возникали определенные сложности.

С наступлением компьютерной эры возникла идея автоматизации процесса обучения. В 1980‑е годы поляк Петер Возняк, будучи студентом Познаньского политехнического университета, создал алгоритм долгосрочного запоминания SuperMemo. Программа могла бы стать довольно-таки популярной, если бы не один существенный нюанс: процесс забывания, несмотря на то, что существуют общие для всех людей закономерности, уникален для каждого отдельно взятого индивида. Поэтому алгоритму нужно было подстраиваться под индивидуальные особенности каждого человека, а сделать это очень непросто.

Метод эффективного повторения

Метод эффективного повторения позволяет закрепить в памяти на 400% больше материала, чем при традиционном подходе к обучению.

Чтобы не быть голословными приведем суть эксперимента.

Ученые выбрали студентов и разделили на 2 группы. Обеим группам предоставили для запоминания одинаковый материал. Первая группа повторяла материал обычными способами. Вторая — повторяла материал в соответствии с определенным алгоритмом:

• изучение нового материала;
• повторение материала через 9 часов;
• повторение на следующий день;
• повторение на седьмой день;
• повторение на двенадцатый день.

Спустя 30 дней первая группа смогла вспомнить только малую часть пройденного месяц назад нового материала. Вторая — 85% того же материала, а это на 400% больше, чем результаты участников первый группы.

В результате исследования ученые выявили закономерность и представили ее в виде кривой управляемого обучения.

Это простой и очень эффективный метод демонстрирует как благодаря правильному повторению вы сможете сохранить в долговременной памяти в 4 раза больше нового материала. На сегодняшний день это, пожалуй, единственный из экспериментально-подтверждённых методов. Он позволяет достигать феноменальных результатов в запоминании. Использование этого метода гарантирует возможность ускоренного изучения английского языка.

Исследование проведено очень давно, но тем не менее большинство традиционных методик обучения не используют его результатов. Отчасти это обусловлено тем, что обучать долго — выгодно. Тут можно провести аналогию с лечением. Медицина тоже построена таким образом, чтобы лечить, а не давать возможность быть здоровым. Кто будет покупать все новые таблетки и препараты, если люди будут здоровы? Так и система образования построена таким образом, что человеку приходится тратить годы на процесс изучения материала, из которого  остается в памяти только малая часть.

Но зачастую традиционное обучение вообще не обращает внимания на эффективные способы восприятия и запоминания материала. Положено дать по программе — дают. А как вы весь этот объем запомните — проблема самих студентов. Как действовать — выбор за вами.

Как научить ИИ забыванию: 3 подхода

# 1. Сети с долгой краткосрочной памятью (LSTM-сети)

LSTM-сети — это такой тип рекуррентных нейронных сетей, в которых используются механизмы обучения, которые решают, какую информацию нужно запомнить, какую — обновить, на какую —  обратить внимание. Проще всего объяснить работу LSTM-сетей, используя аналогию с фильмами

Представьте, что компьютер пытается предсказать, что произойдет в фильме, анализируя предыдущие сцены. В одной сцене женщина держит нож — компьютер пытается угадать, шеф-повар она или убийца? Или, например, мужчина и женщина едят суши под золотой аркой — они в Японии или в Макдональдсе? А может в Сент-Луисе?

Проще всего объяснить работу LSTM-сетей, используя аналогию с фильмами. Представьте, что компьютер пытается предсказать, что произойдет в фильме, анализируя предыдущие сцены. В одной сцене женщина держит нож — компьютер пытается угадать, шеф-повар она или убийца? Или, например, мужчина и женщина едят суши под золотой аркой — они в Японии или в Макдональдсе? А может в Сент-Луисе?

Это довольно сложная задача.

LSTM-сети помогают нейронной сети 1) забывать и запоминать, 2) сохранять и 3) сосредотачиваться:

Забывать и запоминать: «Если сцена заканчивается, нейросеть должна забыть текущее место действия, время суток и всю специфическую для этой сцены информацию. Но если кто-нибудь из персонажей умирает в этой сцене, она должна запомнить, что его больше нет в живых. Таким образом, нейросеть научится различать, что нужно запоминать, а что — нет: когда приходят новые данные, ей нужно решить, запомнит она их или забудет».
Сохранять: когда нейросеть видит новое изображение, ей необходимо выяснить, нужно ли сохранять какую-либо информацию об этом изображении. Если в фильме героиня идет мимо рекламного щита — нужно ли запомнить этот рекламный щит или это ненужная информация?
Сосредотачиваться: Нам нужно помнить, что у определенной героини есть дети: мы увидим их позже. Однако в сценах, где этой героини нет, нам не нужно сосредотачиваться на этом факте

Не все, что хранится в долгосрочной памяти нейронной сети, важно прямо сейчас. LSTM-сети помогает определить, на чем нужно сосредоточиться прямо сейчас, а что — отложить на потом.

#2. Упругое закрепление весов (EWC)

EWC — это алгоритм, созданный в марте 2017 года исследователями из Google. Алгоритм имитирует нейробиологический процесс под названием синаптическая консолидация

Во время синаптической консолидации наш мозг оценивает задачу, вычисляет важность используемых для выполнения этой задачи нейронов и «закрепляет» наиболее важные нейроны. Эти нейроны теперь помечены как важные: теперь они с меньшей вероятностью будут перезаписаны

В нейронных сетях для выполнения задачи тоже используются множественные соединения (похожие на нейроны). Алгоритм EWC помечает некоторые соединения как критически важные, защищая их от перезаписи и забывания.

Исследователи применили алгоритм EWC к нейросети, которая училась играть в игры на приставке Atari. Синяя линия — это стандартный процесс глубинного обучения, а красная и коричневая линии —обучение с помощью алгоритма EWC:

#3. Теория бутылочного горлышка

Осенью 2017 года научное сообщество заговорило о Нафтали Тишби. Тишби, специалист по информатике и невролог из Еврейского университета в Иерусалиме, представил свою «теорию бутылочного горлышка». «Когда в сеть поступает данные, она избавляется от ненужной информации: она как бы пропускает информацию через бутылочное горлышко, сохраняя только релевантную информацию».

Как объясняет Тишби, существует два этапа обучения нейронной сети — разметка и сжатие. Во время разметки сеть помечает поступившие данные. Затем начинается намного более длительный процесс — сжатие, во время которого нейросеть «отбрасывает часть данных, оставляя только релевантную информацию». Именно эта информация поможет нейросети сделать обобщение.

Сжатие — это эффективный метод забывания. Вполне возможно, что исследователи ИИ будут использовать этот метод, чтобы решать новые задачи и выстраивать новые архитектуры более сильных нейронных сетей.

По мнению Тишби, «самая важная часть обучения — это забывание».

Вполне возможно, что главными ориентирами на пути к умному ИИ станут наш мозг и механизм, благодаря которому мы забываем. Тем не менее, ученым все еще нужно определить, в каком направлении двигаться. 

Перевод статьи Natalie Fratto: Machine Un-Learning: Why Forgetting Might Be the Key to AI