Data Science

Agentic Large Language Models 📓 Book @datascienceiotAgentic Large Language Models 📓 Book @datascienceiot

Physical AI: почему научить робота брать предметы сложнее, чем кажется Манипуляция объектами остаётся одной из актуальных задач робототехники. Антропоморфному роботу нужно оценить положение объекта, рассчитать силу захвата и скорректировать движение до того, как предмет упадёт. Отдельная проблема — генерализация: модели пока с трудом применяют освоенные навыки в новых условиях, поэтому о массовом появлении домашних роботов говорить рано. Как решаются эти задачи и на что уже способны современные роботы, разобрали CEO MWS Павел Воронин и руководитель Лаборатории интеллектуальной космической робототехники Сколтеха Дмитрий Тетерюков. Посмотреть выпуск подкаста «Паша AI AI AI» — тут. @datascienceiot

Catching Developers in the Flow: Low-Latency Agentic Program Repair at Google Scale 📓 Read @datascienceiot

📌Baseten выпустила бесплатный учебник по инженерии инференса Платформа, которая хостит модели Cursor, Notion и Harvey, выложила в открытый доступ книгу Inference Engineering за авторством Филипа Кайли. который четыре года работает в Baseten и написал её по интервью с инженерами компании и собственным докладам. Среди рецензентов - автор FlashAttention Три Дао. Книга собирает в одном месте путь от выбора модели и GPU до мониторинга работающего сервиса. Baseten основана в 2019 году тремя выходцами из Gumroad, четвёртым сооснователем стал Панкадж Гупта из Uber. Компания продаёт выделенные развёртывания открытых и собственных моделей клиентов, готовые Model APIs и инфраструктуру для дообучения, а также развивает открытый фреймворк упаковки моделей Truss. Восемь глав объясняют, как сформулировать требования к продукту, как устроены модели и где они тормозят, прежде всего в механизме внимания, разбирают GPU NVIDIA поколений Hopper и Blackwell и программный уровень, от CUDA и PyTorch до движков vLLM, SGLang, TensorRT-LLM и Dynamo. Отдельные главы посвящены методам ускорения, моделям для речи, изображений и видео, а также эксплуатации - от автомасштабирования и батчинга до постепенной выкатки новых версий. Новичку книга даёт карту области и порядок действий - как определить задачу, бюджет задержки, стоимости и подобрать модель, а в последующем заняться оптимизацией. Базовые понятия вроде предзаполнения, декодирования и KV-кэша объяснены с нуля, а незнакомые термины можно найти в глоссарии. Опытным инженерам будут интересны пороги и практические правила. Для каждой техники ускорения автор объясняет, как она устроена, при каком трафике и размере модели окупается и чем рискует качество ответов. Отдельно сравниваются движки инференса и разобраны задачи эксплуатации, которые обычно приходится решать методом проб и ошибок. Последний раздел посвящён продуктам компании, а оборудование рассматривается почти целиком на примере NVIDIA, другим ускорителям отведено около двух страниц. 🔜 Запросить книгу бесплатно в форматах PDF, EPUB или аудиоверсию @ai_machinelearning_big_data #AI #ML #Inference #Book #Baseten

Бесплатные учебники по математике от профессора Университета Альберты Джереми Сильвестр, доцент кафедры математики Университета Альберты, выложил свои учебники в открытый доступ. Их можно читать онлайн, а часть скачать в PDF. Главная находка здесь Discover Linear Algebra, полноценный курс линейной алгебры на два семестра. Для тех, кому нужно быстрее, есть сокращённая версия на один семестр. Для ML это база: векторы, матрицы, собственные значения, разложения и всё, на чём держатся нейросети. Ещё два учебника: Calculus Concepts & Modelling по матанализу и дифференциальным уравнениям с упором на моделирование и Elementary Foundations по дискретной математике и логике, который автор обещает скоро открыть полностью. Хороший вариант, если хочется подтянуть математику под машинное обучение по нормальным университетским учебникам и бесплатно. https://sites.ualberta.ca/~jsylvest/