Hands-on experiments in generative models, representation transfer and learned memory.
Коллекция самостоятельных исследовательских опытов: от небольшой диффузионной модели до передачи внутренних состояний между языковыми моделями. В каждом направлении важны механизм, контрольный опыт и честная граница результата.
Разобраться, что именно учится внутри сети и какие изменения действительно помогают: дополнительный проход слоёв, передаваемый вектор, память, сжатие или другой набор данных. Здесь собраны реализации, протоколы и сохранённые текстовые отчёты.
| Направление | Что проверяли | Где читать |
|---|---|---|
| DDPM и генерация по тексту | Предсказание шума, обратный процесс, простые композиционные сцены | Вводный разбор, текстовая лаборатория |
| Autoencoder / VAE | Сжатие Fashion-MNIST в 16 чисел и восстановление | Методика |
| Обработка аудио | CNN-маска и второй этап восстановления речи | Аудиолаборатория |
| Модели мира Mario | CNN/GRU, предсказание переходов, выбор действий и восстановление | Mario |
| Повтор слоёв и LoRA | Обычный и повторный маршрут при сопоставимых данных | LLM-лаборатория |
| Межмодельный мост | Frozen teacher/student, soft prefix, cross-attention и shuffled controls | Исследование мостов |
| Память и архитектура LLM | Titans-подобные механизмы, рекуррентные проходы, gates и сжатие | Память, повторные вычисления |
- В одном синтетическом LoRA-пилоте обычный/повторный маршруты дали 83,3% / 88,5% на test и 62,5% / 65,6% на OOD. Один seed и короткие задачи не доказывают общего превосходства архитектуры; повторный маршрут дороже по вычислениям.
- Первый векторный мост технически передавал состояние, но правильные и чужие сообщения дали одинаковые 88,0% на test. Полезное использование содержания сообщения этим опытом не подтверждено.
- Расширение bottleneck 128 → 512 и обученный постоянный канал показали, почему одной accuracy или геометрии векторов недостаточно: нужны подмены сообщений и независимая проверка причинного вклада канала.
- Идеи самостоятельного исследования сохранены как гипотезы. Их наличие в проекте не означает, что получена автономная научная система.
Каталог сохранённых отчётов. Таблицы относятся к историческим запускам; публикация не является новой репликацией или независимым benchmark.
git clone https://github.com/denikuchero/neural-learning-lab.git
cd neural-learning-lab
python -m venv .venv
.venv/bin/pip install -r requirements.txt
.venv/bin/python diffusion.py --data data --steps 6000 --out runs/my-mnist --seed 42MNIST загружается самим скриптом. Для генерации из своей обученной модели:
.venv/bin/python diffusion.py --checkpoint runs/my-mnist/checkpoint.pt --out runs/my-samples --seed 777Основная среда зафиксирована в requirements.txt; LLM-ветка использует отдельный
llm_lab/Dockerfile и команды своего руководства. Это не одно общее окружение для
всех опытов. Начните с одного направления и его зависимостей.
У ряда поздних опытов входом служат checkpoints и кеши предыдущих этапов. Они не
включены в Git: прежде нужно повторить соответствующие этапы. Teacher-экспериментам
нужен настроенный вами локальный API; внутренние адреса исходной машины удалены.
Скрипты с названиями private_fact/private_bit создают синтетические скрытые
факты для задач передачи информации — это названия экспериментальных условий.
Документация содержит ограничения, ошибки и отрицательные результаты. Для каждого измерения следует различать train, validation, уже просмотренный test и новую независимую проверку. Маленький учебный тест не заменяет оценку общей способности LLM.
Состав публичной копии. Датасеты, сторонние веса, игровые ROM, переписка и приватное состояние памяти не распространяются. Исходные модели и библиотеки сохраняют свои лицензии; новая общая лицензия снимку не назначается.