How Airbnb teams build trustworthy Generative AI products by treating evaluation as a first-class engineering discipline; not an afterthought.Nestled into the lush hillside, this stunning modern retreat features striking natural wood architecture, terraced balconies, and a serene landscape.By: Rohit Girme, Dan Miller, Mia Zhao, Lifan Yang, Clint KellyIntroductionGenerative AI breaks a lot of the assumptions that used to hold true for software testing. Unlike traditional software, LLM outputs are non-deterministic, and “correct” is subjective. Because so much judgment is involved, you often need an AI to evaluate an AI, which introduces its own potential failure modes. Making matters more co…

How we built a Transformer-based sequence model that encodes years of guest behavior to surface the right listings at the right time.By: Daochen Zha, Chun How Tan, Xin Liu, Bin Xu, Han Zhao, Xiaowei Liu, Jun Shi, Tracy Yu, Hui Gao, Huiji Gao, Liwei He, Michael Kinoti, Stephanie Moyerman, and Sanjeev KatariyaIntroductionPlanning a trip on Airbnb rarely happens in a single session. A guest searching for a place to stay in San Francisco might browse dozens of listings over several days, leaving behind a trail of views. Typically, over a period of years, that same guest will have accumulated many previous bookings, reviews, and the occasional cancellation. Taken together, these events reveal a …

Training an LLM is the easy part. The hard part is designing experiments and evaluations that you can trust enough to know whether the new model is actually an improvement.By: Baharak SaberidokhtIntroductionShipping a production LLM system means iterating fast on improvements to something that is, by construction, non-deterministic. Models drift, judges disagree with themselves, references regenerate as different strings, and bugs may persist until the next release, because retraining takes weeks. Most of this friction comes from infrastructure challenges, not model quality, and the fixes come from classical software engineering techniques.At Airbnb, we built reliable LLM infrastructure by …

How Airbnb’s data engineers and analytics engineers built a consistent and flexible data modeling framework to support the expansion into Homes, Experiences, and Services.By: Patrick Lam, Namrata Lamba, Jamie StoberWith the May 2025 Summer Release, Airbnb redesigned its app, relaunched Experiences, and debuted Services, pushing us beyond our traditional Homes focus. For the data teams, this meant rapidly evolving a decade-old infrastructure to integrate two brand-new product pillars. Our data engineers and analytics engineers rose to the challenge by building a consistent and flexible framework to serve as a robust and scalable data foundation for the next decade of growth.But getting there…

How Airbnb built a Kubernetes sidecar to deliver dynamic configuration reliably at scale.By: Bo Teng, Cosmo Qiu, Siyuan Zhou, Ankur Soni, Xin Huang, Willis HarveyIntroductionIn our previous post, we explored Airbnb’s dynamic configuration system, Sitar, with a focus on service architecture and configuration change safety. Now for the harder question: once a config change is committed, which happens several times each minute, how does it actually reach the thousands of Airbnb’s service instances reliably, quickly, and without redeploying the services?This post describes sitar agent: a lightweight Kubernetes sidecar that runs alongside every subscribed service pod, continuously synchronizing …

How Airbnb used sequential geographic recovery signals and prior propagation to generate reliable corridor-level forecasts when local data was scarce.By: Harrison KatzThe problem with unprecedented shocksAlmost every forecasting system is built on the same implicit assumption: the future will resemble the past. You train on historical data, you validate on holdout periods, and you trust that past patterns will at least roughly indicate future performance. When this assumption breaks, the model does not gracefully degrade; it fails confidently. It produces precise, well-calibrated intervals around the wrong answer.The acute phase of COVID, from early to late 2020, was a clear illustration of…

How Airbnb shifts from PaaS to an internal knowledge graph infrastructure at scale.By: Lucen Zhao, Shukun Yang, Ashish JainKnowledge graphs offer a natural and powerful way to represent relationships between entities. Many real-world systems are fundamentally about connections.Airbnb’s identity graph captures relationships between users in a graph database. The identity graph serves aggregated insights that enable user identity resolution and relationship understanding. These capabilities support a wide range of Trust and Safety use cases, from detecting suspicious activities to identifying linked accounts. Over time, the identity graph has grown into one of the largest and most complex gra…

Moving from an internal tool to a community-driven, production-ready data mesh.By: Ryan Tanner, Raymie Stata, Adam MiskiewiczIntroductionWe’re excited to announce the 1.0 release of the Viaduct. This release marks a shift from Viaduct being an Airbnb-internal tool that happens to be open source to a true community-driven project with a stable public API. The 1.0 release includes substantial new features and enhancements which we describe in the Viaduct blog.Viaduct is for platform engineers building a company-wide data API, service owners who want to contribute to a shared graph without spinning up their own server, or engineering organizations that have outgrown a single GraphQL service.Wh…

Designing monitoring that works when everything else doesn’t.By: Abdurrahman J. AllawalaIntroductionWhen an incident hits, teams lean on observability to answer the only questions that matter: what’s broken, and why? Monitoring systems are designed to help you answer these questions, and they usually do.But what happens when your observability stack is dependent on the same systems that are failing? In that moment, the dashboards go dark, alerts stop firing, and the tools meant to guide recovery become part of the outage.This is an increasingly common challenge as organizations consolidate onto shared platforms like Kubernetes, service meshes, and other common infrastructure components. At …

How Airbnb built a lightweight workflow engine to solve durable execution.By: Ricardo Gamba, Andriy SergiyenkoIntroduction: The durable execution problemPicture this hypothetical flow: A host submits an insurance claim about their listing to Airbnb. The system needs to validate the claim, run trust and safety checks, assess estimates, process the payout, and send notifications. Halfway through — after the validation passes, but before the payout — the server crashes.What happens next?In a traditional architecture, the answer is often “it depends.” Maybe the operation times out and the guest retries, triggering duplicate processing. Maybe partial state corrupts what comes next. And for workf…

How we built a storage system that ingests 50 million samples per second and stores 2.5 petabytes of logical time series data.By: Rishabh KumarModern observability practice encourages instrumenting every meaningful code path. Over the past 15 years, open-source observability SDKs like Prometheus, OpenTelemetry, and StatsD have made deep instrumentation nearly ubiquitous. These days, most software — open-source or custom — can be made observable by default, assuming you actually collect the data.Airbnb is no exception. As our products and infrastructure have evolved, each new feature and each new incident has added another layer of instrumentation. Unsurprisingly, we were generating 1.3 bill…

Discover how Airbnb prioritizes user privacy while building a more connected community, empowering guests to engage socially, connect confidently, and maintain control of their personal data.By: Joy Jing✨ Building a more connected communityAt Airbnb, our hosts and guests form the heart of our community. As shared by CEO Brian Chesky, we’re evolving into a more social ecosystem. Airbnb Experiences now highlight the people involved as much as the activity. Guests can see Who’s going on an Experience, message co-guests directly, and view people they’ve met through the Connections section in their Airbnb profile. Guests are able to choose to share their profile for each new Experience. Guests w…

A production-tested approach for moving a large-scale metrics pipeline from StatsD to OpenTelemetry and Prometheus.By: Eugene Ma, Natasha AleksandrovaWhen migrating to a new monitoring system, you’ll want to frontload the work to collect all your metrics. This exposes bottlenecks at full write scale and unblocks the migration of assets which require real data for validation, such as dashboards and alerts. Collecting all your metrics first means you can focus on major technical challenges — scale, correctness and performance — without worrying about how users will adopt your new tools.But for our project, this approach wasn’t straightforward: most of our metrics were instrumented with StatsD…

Jonathan Woodard knows defense. After playing professional football as a defensive end for six years, Jonathan knew he wanted a career where he could always face new challenges, learn new skills, and continue to thrive in high-paced environments. After discovering a passion for programming, Jonathan joined Airbnb’s Connect Engineering Apprenticeship program and excelled; now, we’re lucky to have him on our secure development engineering team. Here’s his story.Joining the big leaguesLike many kids, I wanted to grow up to become a professional athlete. Playing professional football was my dream, but over the years, it faded into the background because it seemed unrealistic — until it wasn’t.I…

How Airbnb built forecasting models resilient enough to survive a global pandemic and whatever shock comes next.By: Harrison KatzThe week everything brokeIn March 2020, the forecasting models that had served us well in stable times faced a new challenge: predicting outcomes in a world that had suddenly changed.At Airbnb, many of the financial metrics we forecast depend on two separate events: when guests book, and when they actually travel. A booking made today might correspond to a trip three days from now or three months from now. The distribution of that gap, what we call the lead-time composition, drives how we translate today’s bookings into future revenue (see Figure 1).The pandemic r…

by Aarti Laddha, Richard Diaz-Cool, Rishika Idnani, Venkatesh SelverajNetflix supports a vast and evolving set of features and content types, ranging from 4K streaming and immersive audio to live streaming and cloud gaming, across a diverse ecosystem of devices. However, not all devices are created equal. Hardware limitations such as available RAM, CPU cores, display capabilities, or platform support mean that some features cannot be supported on certain device models. To ensure the best possible user experience, we rely on a deep understanding of device capabilities. We have invested in building a comprehensive device capability data model and integrating feature flags from internal system…

Authors: Ying Li, Arjun Rao, Shradha SehgalIntroductionRecommendations sit at the heart of the Netflix experience. Our current production models rely on thousands of hand‑crafted features over users, items, and interactions, along with specialized architectures for sequence modeling, feature interactions, and multi‑task objectives. This stack has evolved over many years to support diverse content types (movies, series, games, live, podcasts) and product surfaces, but its complexity makes it costly to onboard new use cases: adding a content type or surface can require significant feature engineering, architecture change, infrastructure work, and experimentation.At the same time, large langua…

By AI Platform’s Model Runtime team and Inference teamIntroductionMost organizations consume LLMs through hosted APIs. Netflix went further — we run the full stack ourselves, from model deployment through inference, inside our existing production environment rather than a separate ML silo. Some of those decisions weren’t obvious, and a few revealed their trade-offs only under production load.This post focuses on the choices where alternatives were seriously considered: engine selection, model packaging, API surface design, deployment strategy, and output constraints enforcement. The goal is to share not just what was built, but why — and what production revealed that the design phase didn’t…

By Parth Jain, Rakesh Sukumar, Yingwu Zhao, Renzo Sanchez-Silva & Nathan FisherA deep dive into the engineering challenges of building a real-time service dependency map at Netflix scale — from streaming architectures and distributed aggregation pipelines to time-travel queries and the methodology that made it work.IntroductionIn our first post, we introduced the problem: engineers at Netflix needed a unified, real-time view of service dependencies to troubleshoot faster, understand blast radius, and navigate our distributed architecture. We described our multi-source approach — combining eBPF network flows, IPC metrics, and distributed tracing into physically separate graph layers that can…

Authors: Lequn Wang, Jiangwei Pan, and Linas BaltrunasFigure 1. Autoregressive homepage generation. GenPage builds a Netflix homepage one row or entity at a time, each one conditioned on what’s already on the page and the user’s context.IntroductionThe Netflix homepage is the first thing users see when they open the app and the primary way they discover content to enjoy. Almost every part of it is personalized, including which rows appear, which entities show up within those rows, and how everything is arranged on the page.Constructing that homepage is a genuinely hard problem. It is not simply producing one ranked list. The homepage is a structured, two-dimensional layout, made up of recom…

By Zhuoning Yuan, Ta-Ying Cheng, Benjamin Klein, Bahareh AzarnoushIntroductionAt Netflix, we build technology to help storytellers bring their creative visions to life and to help members discover the stories they love.To connect stories with diverse audiences around the world, we produce promotional assets, including trailers, teasers, and social short‑form videos, that build on and elevate the original footage. Through close collaboration with the teams crafting these assets, we identified a recurring gap in current tools. Transforming raw footage into a polished final asset often requires complex edits like seamlessly adding new visual elements, patching or replacing backgrounds, or remo…

By Alvin Bao, Alex Petrov, Jennifer Lai, Aidan Sherr, and Samartha ChandrashekarAs a part of the journey to transition Netflix’s compute infrastructure to be more Kubernetes-native, we have leaned into incorporating components from the Kubernetes ecosystem into our container platform Titus. One example of this is our use of Kueue, a cloud-native job queueing system for batch workloads, which has largely replaced the custom queuing and scheduling logic in our homegrown managed batch solution Compute Managed Batch (CMB). In this post, we’ll give an overview of what motivated the migration, how we migrated millions of batch jobs to use Kueue, and what Kueue allows us to offer as a Compute plat…

By Celina AmadosAt Netflix, our catalog metadata is crucial to our member experience, and a single corrupted data state can impact millions of viewers immediately. To protect streaming reliability, we built an automated data canary system that validates data transformations using production traffic. This canary detects issues in under 10 minutes, and blocks bad data from reaching our members.IntroCatalog metadata is what makes Netflix functional. It defines what titles exist, where they’re available, whether they can be played, and more. This data gets transformed and distributed across our vast infrastructure near-continuously, powering everything that helps members find what they want to …

by Emily GillEach year, we bring the Analytics Engineering community together for an Analytics Summit — a multi-day internal conference to share analytical deliverables across Netflix, discuss analytic practice, and build relationships within the community. This post is one of several topics presented at the Summit highlighting the breadth and impact of Analytics work across different areas of the business.Understanding Risk in Content LaunchesEvery title you see on Netflix goes through several key phases: Development, Pre-Production, Production/Principal Photography, Post-Production, and finally, Launch Preparation, all leading up to the Title Launch. Once Principal Photography wraps, the …

By Christos G. Bampis, Zhi Li, Kyle Swanson, Nil Fons Miret and Pavan MadhusudanaraoWill this encode look good to Netflix members? Does switching to a new codec improve quality at the same bitrate and by how much? What is the best way to encode a movie title given a target bitrate budget? For years, VMAF has reliably helped us answer those questions and deliver an optimized quality of experience to our members.But good is not good enough. If VMAF misjudges quality, that may lead to loss of detail for a suspenseful close-up or banding for a stunning wide-angle sky shot. That’s a lot of trust to put in one number, so we strive to make sure it earns it. Over time, we collected feedback from VM…

By Winston Chou, Adrien Alexandre, Lars Olds, Yi Zhang, Garrett Hagemann, and Nathan KallusIntroductionImagine asking a data agent to analyze the causal relationship between two variables, such as the effect of watching a popular Netflix show on long-term member retention. It queries your data, runs a regression, and confidently returns an answer. How much should you trust it? Can you be confident that the agent accounted for subtle biases — or does it treat passionate fans as if they were the average viewer? Without deep understanding and expertise, would you even be able to tell if it got the answer wrong?Data analysis is increasingly being delegated to software agents. While this reduces…

by Matthew Wood, Ishan Gupta, Kevin Mercurio, Devon Bryant, and Claire DormanIn his seminal book “Thinking, Fast and Slow,” Daniel Kahneman describes two systems that drive human cognition: System 1, which operates automatically and quickly with little effort, and System 2, which allocates attention to more challenging mental activities requiring deliberate focus. This dual-process theory has profound implications not just for understanding human behavior, but for designing intelligent systems that must balance immediate responsiveness with strategic foresight. Similar “plan vs. act” decompositions show up in other domains too — for example, robotics and autonomous driving often separate a …

By Rajiv Shringi, Kaidan Fullerton, Oleksii Tkachuk and Kartik SathyanarayananIntroductionNetflix’s TimeSeries Abstraction is a scalable system for ingesting and querying petabytes of temporal event data with millisecond latency. We use Apache Cassandra 4.x as the underlying storage for these main reasons:Throughput, latency, and cost: Cassandra can handle millions of low‑latency reads and writes in a cost-effective manner.Operational maturity: Our data platform team has deep operational expertise running large Cassandra clusters in production.However, using Cassandra at this scale introduces trade‑offs for TimeSeries workloads. A key challenge is wide partitions, as TimeSeries dataset part…

By Parth Jain, Rakesh Sukumar, Yingwu Zhao, Renzo Sanchez & Nathan FisherHow we built a living map of our distributed infrastructure to help engineers understand dependencies, troubleshoot faster, and keep Netflix running smoothly for our members around the world.The Puzzle with a Thousand PiecesPicture this: It’s 3am, and an engineer gets paged. One of our critical services is showing elevated error rates. Members trying to watch their favorite films and series are seeing degraded experiences. The clock is ticking.A single service at the center of a web of dependencies — services, data stores, and call chains branching in every direction. Without a unified map, engineers have to reason abo…

Part 1 of 2AuthorsPersonalization (Homefeed): Yuke Yan, Chuxi Wang, Andreanne Lemay, Olafur Gudmundsson, Anna Kiyantseva, Krystal Benitez, Jongho Kim, Jiacong He, Rahul Goutam, James Li, Dylan WangUser Understanding: Simin Li, Sufyan Suliman, Yingjian Ding, Hongbo DengData Science: Armando Ordorica, Yan Chen, Ellie Zhang, Karim WahbaIntroductionPinterest’s mission is to help people discover the inspiration to create a life they love. Our recommendation system serves hundreds of millions of users, surfacing billions of Pins across interests ranging from home renovation to meal planning to wedding decor. The home feed , where much of that discovery happens, is powered by a multi-stage pipelin…

Ammar Ekbote | Senior Software EngineerChan Kim | Senior Software EngineerManaging Infrastructure as Code (IaC) across a massive organization comes with a unique set of security and logistical challenges, particularly when operating within a distributed, multi-repository architecture. At Pinterest, we designed the Resource Provisioner Pipeline (RPP), our specialized, proprietary Terraform execution engine to safely manage both critical and non-critical infrastructure changes.In this post, we will look under the hood of the first iteration of the RPP system. We will explore how it established compliance and provides robust security guardrails for our global AWS operations by utilizing dual c…

Sheng Huang | Software Engineer, AI Platform; Pong Eksombatchai | Machine Learning Engineer, Applied Sciences; Saurabh Vishwas Joshi | Software Engineer, AI Platform; Gaurav Arora | Software Engineer, AI Platform; Karthik Anantha Padmanabhan | Engineering Director, AI PlatformAt Pinterest, foundation models power recommendations for over 600 million monthly active users. Our latest Foundation Model (ACM RecSys 2025) pre-trains on two years of user activity data and is deployed into Home feed and Related Pins ranking, the platform’s two most important recommendation systems. Multi-node distributed training is the key to unlocking the next level of that capacity.¹But when we first attempted m…

Yisheng Zhou | Software Engineer IILiang Mou | Sr Staff Software EngineerGabriel Raphael Garcia Montoya | Staff Software EngineerIstvan Podor | Staff Software EngineerIntroductionIn the first post of this series, we introduced Pinterest’s next-generation CDC-based ingestion platform built on Kafka, Flink, Spark, and Iceberg. In production, upstream schemas are constantly evolving, and in a distributed CDC pipeline, schema is not just metadata — it is a cross-system contract spanning ingestion, transformation, storage, and historical backfill. A schema change that is not handled carefully can break Flink jobs, block Spark upserts, or create inconsistencies between online and offline represen…

Authors (listed alphabetically)Ads Feature Engineering Infra team: Ajay Venkatakrishnan, Le ZhangCore ML Infra team: Eric Shang, Pihui WeiML Data team: Connor Votroubek, Yi HeUser Understanding team: Camilo Munoz, Simin LiIf you work on ranking, retrieval, or recommendation systems, you’ve probably asked for some version of the same thing: “Give me the last N meaningful actions this user took, with the right enrichments, in a format that’s easy to train and serve ML models.”On paper, that sounds simple. In practice, “user sequences” often become one of the most expensive and fragile parts of the ML data stack.They end up powering everything from training datasets to offline analysis and onl…

An Engineer’s Guide to Better AI Skills: Implementing a Testing Process to Optimize Agent Performance in Any Repository or SkillAuthor: Daniel ReedThe tech industry is currently seeing a massive overhaul in the way we work and many are enjoying the benefits of AI agents, particularly when automating engineer workflows and serving domain-specific knowledge. However, relying on agents to consistently invoke a custom skill can be surprisingly unreliable at times.When adopting a new skill intended to help agents write code for Pinterest’s iOS architecture (I’ll call it rx-mvvm) we discovered that sometimes our knowledge skill wasn’t being loaded into our agents. To address this, we conducted a …

Huiqin Xin | Machine Learning Engineer II, Ads Vertical Modeling; Lakshmi Manoharan | Senior Machine Learning Engineer, Ads Vertical Modeling; Karthik Jayasurya | Staff Machine Learning Engineer, Ads Signals; Ziwei Guo | Senior Machine Learning Engineer, Ads Vertical Modeling; Alina Liviniuk | Machine Learning Engineer II, Ads Vertical ModelingMotivation: The Need for Real-Time ContextIn a previous post, Ads Candidate Generation using Behavioral Sequence Modeling, we introduced a candidate generator (CG) that uses a Transformer-based two-tower model to leverage a user’s offsite conversion history — a powerful signal — to predict future interactions with advertisers and specific products. Th…

Guangtong Bai | Staff Software Engineer, Product ML Infrastructure*; Shantam Shorewala | Software Engineer II, Product ML Infrastructure*; Chi Zhang | Staff Software Engineer, AI Platform*; Neha Upadhyay | Software Engineer II, AI Platform*; Haoyang Li | Director, Product ML Infrastructure*These authors contributed equally to this article.BackgroundAt Pinterest, our online ML serving systems employ a root-leaf architecture. On a high level, the architecture looks as follows:Figure 1: Root-leaf Architecture of Online ML Serving Systems at PinterestIn the diagram, “Client Service” is responsible for recommending organic or promoted Pins to users. In order to know if a given Pin is relevant to…

Authors: Richard Huang | Machine Learning Engineer II; Yu Liu | Senior Machine Learning Engineer; Ziwei Guo | Senior Machine Learning Engineer; Andy Mao | Staff Machine Learning Engineer; Supeng Ge | Sr. Staff Machine Learning EngineerIntroductionAt Pinterest, conversion ads are crucial for matching users with products they are likely to purchase, boosting value for both users and advertisers¹. While conversion actions like checkout or add-to-cart are highly valuable, they are also technically challenging to optimize for. Because they occur offsite, conversion events are significantly sparser and noisier than onsite engagement signals. Historically, Pinterest’s shopping ads retrieval relied…

Shanhai Liao | Senior Software Engineer, Content Acquisition and Media Platform; Di Ruan, | Senior Staff Software Engineer, Content Acquisition and Media Platform; Evan Li, | Senior Engineering Manager, Content Acquisition and Media PlatformIntroductionAccurate content understanding underpins Pinterest’s ability to drive distribution and engagement. This requires deep insight not just into the image itself, but also the outbound links or items to which those images point. At the foundation of this process lies a deceptively simple problem: URL normalization.When Pinterest ingests content from millions of merchant domains, the same product page often appears under many different URLs. A sing…

Vaibhav Shankar; Staff Software Engineer | Raymond Lee; Staff Software Engineer | Chia-Wei Chen; Staff Software Engineer | Shunyao Li; Sr. Software Engineer | Yi Li; Staff Software Engineer | Ambud Sharma; Principal Engineer | Saurabh Vishwas Joshi; Principal Engineer | Charles-A. Francisco; Senior Engineer | Karthik Anantha Padmanabhan; Director, Engineering | David Westbrook; Sr. Manager, EngineeringOne day in early 2025, the Kubernetes platform team at Pinterest (PinCompute) got a ping from our partners on the ML platform team. Their Ray-based training jobs , which often take hours of computation on expensive GPU hardware, were crashing. Not every time, but often enough that it was becom…

Authors: Matt Lawhon | Sr. Machine Learning Engineer; Filip Ryzner | Machine Learning Engineer II; Kousik Rajesh | Machine Learning Engineer II; Chen Yang | Sr. Staff Machine Learning Engineer; Saurabh Vishwas Joshi | Principal EngineerAt Pinterest, scaling our recommendation models delivers outsized impact on the quality of the content we serve to users. Our Foundation Model (oral spotlight, ACM RecSys 2025), for example, achieved a 100x increase in transformer dense parameter counts and a 10x increase in model dimension; translating directly into meaningful quality improvements across multiple recommendation surfaces.¹But a 100x scaleup creates massive infrastructure pressure. Storage, tr…

Author: Lin Wang (Android Performance Engineer)Default FeatureFor mobile apps, performance is considered as the “default feature”, which means apps are expected to run fast and be responsive. It’s just as if we expect a watch to show the time. With no exceptions at Pinterest, we measure, protect and improve performance for all of our key user experiences’ surfaces, such as “Home Feed” and “Search Result Feed”.Hard to MeasureAmong all the performance metrics, the user perceived latency is a crucial one. It measures how much time the user spends since they perform an action until they see the content. This is also called “Visually Complete”.Visually Complete can be very different from app to …

Homefeed: Jiacong He, Dafang He, Jie Cheng (former), Andreanne Lemay, Mostafa Keikha, Rahul Goutam, Dhruvil Deven Badani, Dylan WangContent Quality: Jianing Sun, Qinglong ZengIntroductionIn feed recommendation, we recommend a list of items for the user to consume. It’s typically handled separately from the ranking model where we give probability predictions of user-item pairs.Pinterest’s feed recommendation follows a cascaded system design with retrieval [1][2], pre-ranking [3], ranking [4][5], and re-ranking. While most of these prior works focus on optimizing immediate actions for each candidate Pin, this work will primarily focus on how we build the final layer of the recommendation funn…

Tan Wang | Software Engineer, Agent FoundationsOver the last year, Pinterest has gone from “MCP sounds interesting” to running a growing ecosystem of Model Context Protocol (MCP) servers, a central registry, and production integrations in our IDEs, internal chat surfaces, and AI agents. This post walks through what we’ve built so far, how we designed it, and where we’re taking MCP next.What Is MCP and Why Did We Care?Model Context Protocol (MCP) is an open-source standard that lets large language models talk to tools and data sources over a unified client-server protocol, instead of bespoke, one-off integrations for every model and every tool. At Pinterest, we’re using MCP as the substrate …

Every day, Meta’s recommendation platforms handle billions of user interactions, generating rich temporal signals that capture individual preferences and intent across products, ads, and content. In our 2024 post on sequence learning for ads recommendations, we showed how modeling the order and timing of user actions (rather than relying on static, manually engineered sparse features) [...]

Read More...

The post From User Sequences to Scaling Laws: A Multi-Stage Architecture for Meta’s Ads Ranking appeared first on Engineering at Meta.

Meta’s Generative Ads Recommendation Model (GEM), the foundation model behind ads recommendations across Instagram and Facebook, now trains at LLM scale on several thousand of the latest-generation GPUs. This post goes into the details on how we achieved: doubling end-to-end (E2E) training efficiency to 20–25% Model FLOPs Utilization (MFU) while scaling training FLOPs 4x in [...]

Read More...

The post GEM Training: How Meta Doubled the Efficiency of Its LLM-Scale Ads Foundation Model appeared first on Engineering at Meta.

Hierarchical Interest Representation is a research area for Meta Ads. We’re exploring an upstream representation layer over the universe of Ads entities – users, advertisers, products, services – learning unified embeddings that connect users’ inferred interests with the breadth of what advertisers offer in their deep funnel ads. The innovations in Hierarchical Interest Representation are [...]

Read More...

The post Exploring Hierarchical Interest Representation For Meta Ads Deep Funnel Optimization appeared first on Engineering at Meta.

TL; DR At Meta’s scale, a few milliseconds of latency degradation can have a significant negative impact on ads performance. When a Linux kernel upgrade risked regressing latency across Meta’s ad serving fleet, we turned to sched_ext — the upstream, BPF-based extensible scheduling framework — to build a scheduling policy customized to the Ads delivery [...]

Read More...

The post Modernizing the Meta Ads Service With an Open-Source Kernel Scheduler appeared first on Engineering at Meta.

This year marks Meta’s 10th consecutive year as a sponsor of the Python Software Foundation (PSF), the charitable organization dedicated to advancing, supporting, and protecting the open-source Python programming language and the community that sustains it. Python is one of the world’s most influential programming languages, and we use it across our engineering stack, from [...]

Read More...

The post 10 Years of Meta’s Commitment to Python appeared first on Engineering at Meta.

Privacy controls — systems that enforce retention, access, allowed-purpose, downstream-sharing, or anonymization policies — require a reliable understanding of data to function. Before such a control can operate effectively, it must know exactly what it is looking at. This can be complex, as demonstrated by a field simply named “age“: In one context, it might [...]

Read More...

The post Privacy-Aware Infrastructure in the AI-Native Era: An Asset Classification Case Study appeared first on Engineering at Meta.

We’re introducing SilverTorch, a reimagining of recommendation systems that unifies all retrieval components for user generated content under a unified architecture. SilverTorch shows up to 23.7x higher throughput compared to the state-of-the-art approaches. It’s also showing 20.9x more compute cost efficiency compared to a CPU-based solution while also improving accuracy. Our research paper, “SilverTorch: A [...]

Read More...

The post SilverTorch: Index as Model — A New Retrieval Paradigm for Recommendation Systems appeared first on Engineering at Meta.

On its face the new Friend Bubbles feature looks simple enough. It highlights Reels your friends have watched and reacted to. But sometimes the features that seem the most straightforward require the deepest engineering work. On this episode of the Meta Tech Podcast, Pascal Hartig chats with Subasree and Joseph, two software engineers from the Facebook [...]

Read More...

The post Reel Friends: Building Social Discovery that Scales to Billions appeared first on Engineering at Meta.

We’ve fundamentally transformed Facebook Groups Search to help people more reliably discover, sort through, and validate community content that’s most relevant to them. We’ve adopted a new hybrid retrieval architecture and implemented automated model-based evaluation to address the major friction points people experience when searching community content. Under this new framework, we’ve made tangible improvements [...]

Read More...

The post Modernizing the Facebook Groups Search to Unlock the Power of Community Knowledge appeared first on Engineering at Meta.

We’re sharing insights into Meta’s Capacity Efficiency Program, where we’ve built an AI agent platform that helps automate finding and fixing performance issues throughout our infrastructure. By leveraging encoded domain expertise across a unified, standardized tool interface these agents help save power and free up engineers’ time away from addressing performance issues to innovating on [...]

Read More...

The post Capacity Efficiency at Meta: How Unified AI Agents Optimize Performance at Hyperscale appeared first on Engineering at Meta.

AI coding assistants are powerful but only as good as their understanding of your codebase. When we pointed AI agents at one of Meta’s large-scale data processing pipelines – spanning four repositories, three languages, and over 4,100 files – we quickly found that they weren’t making useful edits quickly enough. We fixed this by building [...]

Read More...

The post How Meta Used AI to Map Tribal Knowledge in Large-Scale Data Pipelines appeared first on Engineering at Meta.

This is the second post in the Ranking Engineer Agent blog series exploring the autonomous AI capabilities accelerating Meta’s Ads Ranking innovation. The previous post introduced Ranking Engineer Agent’s ML exploration capability, which autonomously designs, executes, and analyzes ranking model experiments. This post covers how to optimize the low-level infrastructure that makes those models run [...]

Read More...

The post KernelEvolve: How Meta’s Ranking Engineer Agent Optimizes AI Infrastructure appeared first on Engineering at Meta.

Meta continues to lead the industry in utilizing groundbreaking AI Recommendation Systems (RecSys) to deliver better experiences for people, and better results for advertisers. To reach the next frontier of performance, we are scaling Meta’s Ads Recommender runtime models to LLM-scale & complexity to further a deeper understanding of people’s interests and intent. This increase [...]

Read More...

The post Meta Adaptive Ranking Model: Bending the Inference Scaling Curve to Serve LLM-Scale Models for Ads appeared first on Engineering at Meta.

Meta is continuing its long-term roadmap to help the construction industry leverage AI to produce high-quality and more sustainable concrete mixes, as well as those exclusively produced in the United States. Concurrent with the 2026 American Concrete Institute (ACI) Spring Convention, Meta is releasing a new AI model for designing concrete mixes – Bayesian Optimization [...]

Read More...

The post AI for American-Produced Cement and Concrete appeared first on Engineering at Meta.

Friend bubbles in Facebook Reels highlight Reels your friends have liked or reacted to, helping you discover new content and making it easier to connect over shared interests. This article explains the technical architecture behind friend bubbles, including how machine learning estimates relationship strength and ranks content your friends have interacted with to create more [...]

Read More...

The post Friend Bubbles: Enhancing Social Discovery on Facebook Reels appeared first on Engineering at Meta.

A practical comparison of facial age estimation providers, focusing on independently validated accuracy, demographic bias, and fallback checks at legal age thresholds.

These six agentic SDLC platforms help enterprise teams govern AI agents across planning, delivery, operations, and compliance without sacrificing human accountability.

These six runtime intelligence tools show where AI-generated code succeeds or fails under real production traffic, giving agents and engineers the context to fix it.

A practical comparison of 10 AI drug discovery platforms that combine biological data, molecular design, and lab feedback to prioritize stronger candidates earlier.

AI agents now handle the grunt work of B2B advertising data themselves — merging fragmented platform reports, scrubbing records continuously, and shifting spend while the numbers are still current.

Predictive analytics helps companies use vibration analysis to reduce downtime, lower costs, improve safety, and protect equipment.

Five leading compliance training providers are compared on scalability, engagement, integrations, reporting and enterprise support.

Discover 11 AI tools that help researchers question claims, evaluate evidence, uncover gaps, and think more critically.

Discover the top MCP-powered GTM intelligence tools helping revenue teams turn real-time buyer context into action.

Learn when fine-tuning makes AI more reliable, specialized, and useful for real business workflows.

Transform raw supply chain metrics into reliable, customer-first delivery experiences.

AI helps businesses compare dedicated development team companies, improve software planning, and choose stronger vendor partners.

Data analytics helps companies understand user behavior, improve online experiences, and turn more visitors into loyal customers.

AI helps companies manage PPC fulfilment by supporting ad testing, campaign updates, reporting, and client-focused decisions.

AI helps companies respond faster when clients change fulfillment plans, shipping needs, inventory rules, or warehouse demands.

Artificial intelligence adoption is moving beyond simple experimentation. A few years ago, organizations asked, “What can AI do?” Today, the question has changed to, “How can we integrate AI into the way we work?” Tools like ChatGPT, Claude, and Gemini have made AI accessible to millions of professionals, but simply having access to AI tools […]

The post How to Build AI Workflows That Actually Save Time appeared first on WeCloudData.

Licensing AI models for an enterprise workforce is no longer as simple as handing out software subscriptions. Giving 100 employees unguided access to ChatGPT without an operational strategy creates wasted budget, compliance landmines, and low-value usage. As outlined in our analysis of ChatGPT vs Claude vs Gemini, individual models excel at distinctly different tasks. Choosing […]

The post How to Choose the Right AI Model for Your Team: An Enterprise Framework appeared first on WeCloudData.

Choosing an AI model has become more complicated than simply asking which one is “best.” ChatGPT, Claude, and Gemini each excel in entirely different areas—from creative writing and complex software engineering to deep research and seamless enterprise collaboration. Rather than searching for a single winner based on fleeting benchmark scores, organizations and individuals should understand […]

The post ChatGPT vs Claude vs Gemini: How to Choose the Right AI Model for Every Task appeared first on WeCloudData.

Artificial intelligence is no longer a future initiative for most organizations. Across industries, leaders are experimenting with AI-powered tools, deploying copilots, exploring AI agents, and identifying opportunities to automate workflows. Yet despite growing investment, many organizations struggle to move beyond isolated pilots. The challenge is rarely a lack of technology. More often, organizations discover that […]

The post Build AI Capabilities Across Your Organization: A Practical Enterprise Framework appeared first on WeCloudData.

Most logistics and supply chain organizations aren’t hurting for technology. They already run on a robust stack of enterprise software. Yet, walk into almost any operations hub, and you’ll still find teams caught in a cycle of manual coordination, fragmented decision-making, and reactive fire-fighting. The bottleneck is no longer access to data or software; it’s […]

The post Designing AI-Enabled Workflows for Logistics and Supply Chain Teams appeared first on WeCloudData.

The logistics industry generates enormous amounts of data every day—from fluctuating inventory levels and real-time shipment tracking to warehouse throughput metrics and shifting customer demands. As global supply chains grow increasingly complex and volatile, traditional, rule-based systems are no longer enough to keep pace. To navigate these challenges, forward-thinking organizations are turning to artificial intelligence […]

The post Understanding Logistics and AI appeared first on WeCloudData.

The financial services industry has long relied on traditional automation to improve efficiency and reduce risk. The introduction of agentic ai in financial services represents the next stage of this evolution by enabling systems to reason, retrieve information, and execute complex, multi-step workflows with minimal human intervention. Rather than replacing professionals, ai agents in financial […]

The post How Financial Services Teams can use AI Agents appeared first on WeCloudData.

For the past few years, artificial intelligence has primarily functioned as an assistant—answering questions, generating content, and helping employees work more efficiently. If you needed a summary of a report, a draft of an email, or a line of code, you prompted a chatbot, and it was delivered. But we are transitioning into the next […]

The post The Rise of AI Agents in Organizations appeared first on WeCloudData.

When organizations first began experimenting with artificial intelligence, responsibility often fell to a handful of data scientists or isolated IT teams. Today, AI adoption is transitioning into an enterprise-wide initiative, creating a surging demand for entirely new AI roles that blend technical expertise, business strategy, governance, and workforce enablement. The emergence of these positions reveals […]

The post 7 New AI Roles Organizations Are Hiring For in 2026 appeared first on WeCloudData.

Everyone is talking about AI efficiency, but in a corporate legal or compliance department, a single unverified AI output can lead to severe consequences. If an AI tool hallucinates a case citation, leaks a privileged document to a public training set, or fails to spot a non-compliance clause, the cost isn’t just a bad draft—it’s […]

The post Designing a Custom AI Training Program for Legal and Compliance Teams appeared first on WeCloudData.

In 2026, the legal and regulatory landscape is moving faster than ever. Legal departments and compliance teams are currently facing a “quadruple threat”: a massive surge in document volume, a 500% increase in global regulatory changes over the last decade, constant pressure to improve operational efficiency, and the non-negotiable need to maintain strict data governance […]

The post Understanding AI for Law and Legal Regulatory Affairs appeared first on WeCloudData.

In the rapidly evolving landscape of generative AI, the biggest challenge isn’t just getting an LLM to talk—it’s getting it to talk accurately about your data. For the past two years, Retrieval-Augmented Generation (RAG) has been the gold standard for connecting AI to external data. However, a new contender has emerged: Cache-Augmented Generation (CAG). While […]

The post RAG vs. CAG: Choosing the Right Data Strategy appeared first on WeCloudData.

Building a comprehensive AI toolkit for 2026 is less about finding a single “best” app and more about curating a stack that handles research, execution, and specialized workflows. For those looking to master these technologies, this guide categorizes the essential top AI tools list currently shaping the industry. 1. AI tools for Research: Text, Reasoning, […]

The post The Essential AI Toolkit for 2026 appeared first on WeCloudData.

The modern K–12 classroom is at a crossroads. Walk down any hallway, and you’ll see the tension: students are already using AI tools for students to draft essays, while many educators feel the pressure to either “police” the tech or ignore it. But here is the reality for 2026: AI for teachers K-12 isn’t about […]

The post How AI Is Changing K–12 Classrooms appeared first on WeCloudData.

LLM models change. Prompt quality changes. Cost changes. We assumed that from day one.

So instead of building a one-off system tied to a specific model or a single “perfect prompt,” we focused on a repeatable process that we successfully applied to two large-scale projects (Slideshare and Scribd). That repeatable process is what we’re sharing. What We Achieved

This process enabled projects that normally require far more people and time: Slideshare: scanned tens of millions of slideshows, classifying each against adult-related content categories (e.g., sexually explicit content, drugs, alcohol, tobacco) and flagging the small fraction that matched.

Scribd: scanned hundreds of millions of doc…

Scribd is a digital library serving academics and lifelong learners, offering hundreds of millions of documents. This very nature presents a significant concern: content trust and safety. Protecting our library from undesirable and unsafe content is a top priority, but the multilingual and multimodal (text and images) nature of our platform makes this mission very challenging. Also, while third-party tools exist, they often fall short, lacking the nuance to handle our specific trust and safety categories.

To this end, we capitalized on Generative AI (GenAI) signals and our proprietary multilingual embeddings, in conjunction with classical machine learning methods, to develop our Content Tru…

Scribd has absolutely fascinating data-at-scale type problems, all the way

down to the fundamentals of how we use AWS S3. In my previous

post I wrote about the design of Content

Crush and how Scribd is consolidating objects in S3 to minimize our costs.

Related to that work I was fortunate enough to join the (in)famous Corey

Quinn to talk about Engineering around Extreme S3 scale:

Checking if files are damaged? $100K. Using newer S3 tools? Way too expensive.

Normal solutions don’t work anymore. Tyler shares how with this much data, you

can’t just throw money at the problem, but rather you have to engineer your way

out.

You can also listen

On Everand

or watch via the Last Week in AWS YouTube …

Child safety is a non‑negotiable responsibility for any platform that hosts user‑generated content. Over the last year, we designed and deployed a production system that detects known Child Sexual Abuse Material (CSAM) using PhotoDNA perceptual hashes, integrates with the National Center for Missing and Exploted Children’s (NCMEC) reporting system, and scales efficiently across our ingestion surfaces. This post explains the problem we set out to solve, how PhotoDNA hashing works, the online child-protection ecosystem (NCMEC, Tech Coalition, Project Lantern), our architecture and operational model, cost considerations, and key learnings.

Note: This article discusses safety technology at a hi…

Scribd and Slideshare have been using AWS S3 for almost twenty years and

store hundreds of billions of objects making storage management quite a

challenge. My focus at Scribd has generally been around data and storage but

only in the past twelve months have I started to really focus on one of our

hardest technology problems: cost-effective storage and availability for the

hundreds of billions of objects that represent our content library.

Since adopting S3 for our object storage in 2007 a lot has changed with the service, most

notably Intelligent

Tiering which was

introduced in

2018.

At a very high level Intelligent Tiering allows object access patterns to

dictate the storage tier for a sma…

Scribd deploys a lot of code from GitHub to AWS using GitHub Actions, which

means many of our Actions need to access AWS resources. Managing AWS API keys

and tokens for different IAM users is time-consuming, brittle, and insecure.

Managing key-distribution between AWS and GitHub also makes it difficult to

track which keys go where, when they should be rotated, and what permissions

those keys have. Fortunately AWS supports creating OpenID Connect identity

providers

which is an ideal tool handle this kind of cross-cloud authentication in a more

maintainable way.

From the AWS documentation: IAM OIDC identity providers are entities in IAM that describe an external

identity provider (IdP) servic…

There isn’t any documentation available about the Batch API for Gemini in Java. There are a few code samples, but not much explanation. Additionally, some of the API’s advanced features lack examples as well. Due to the lack of documentation, it took significantly longer to create this example. In this post, I’ll share the code […]

The post Gemini Batch API for Java first appeared on Jesse Anderson.

In this post, you learn how Cohere Health built a multi-tenant agentic architecture on AgentCore using AgentCore Runtime’s secure MicroVM isolation, unified tool access through AgentCore Gateway, AgentCore Memory, and the Agent Skills open standard to rapidly scale policy digitization capabilities, while preserving transparency, version control, and human oversight.

TReNDS, a research center at Georgia State University, built an agentic AI pipeline on Amazon Bedrock and the open-source Strands Agents SDK that automatically investigates production errors in real time, reducing root-cause analysis from 15 to 30 minutes of manual work to under 60 seconds.

The AWS Generative AI Innovation Center built an automated system that uses constraint programming and custom tree search to determine, with mathematical certainty, when and how an NHL team clinches a playoff spot. The approach was validated against four full NHL seasons of officially published results.

In November 2024, we announced Standard and Extended Support dates for legacy Elasticsearch and OpenSearch versions on Amazon OpenSearch Service. We are extending security and operating system patch coverage for these versions by 12 months, through November 7, 2027, and announcing support dates for additional Elasticsearch and OpenSearch versions.

This post is co-written with Govind Menon, Head of MCP Product at ServiceNow. Introduction Enterprise teams managing applications on AWS often rely on ServiceNow as their IT service management (ITSM) system for incident tracking, change management, and configuration management. When incidents occur, engineers must context-switch between AWS, third party observability tools and ServiceNow, manually correlating […]

Temporal policies in Amazon Bedrock AgentCore let you define stateful rules that evaluate authorization based on an agent's session history. Learn how to enforce workflow sequencing, prevent data fabrication, cap financial exposure, and require human approval for high-value actions.

Learn how to configure rate limits on Amazon Bedrock AgentCore gateway to enforce per-user and per-target traffic controls. Define request, token, and connection limits scoped by JWT claims or IAM identity to protect downstream models, tools, and agents from traffic spikes.

Learn how to set up the Amazon Aurora DSQL MCP server and use it from your AI coding assistant to run queries, evolve schemas, and check Aurora DSQL compatibility without leaving your IDE. This post walks through installation, the available MCP tools, practical integration patterns, and the security model.

Learn about new capabilities in Amazon Bedrock AgentCore: temporal policies powered by Dogwood, a new open source policy language for AI agents, and rate limiting on the gateway. These features give you deterministic control over sequences of agent actions and cost ceilings that hold regardless of agent behavior.

As engineering teams adopt coding agents like Codex, leaders need visibility into adoption, consumption, and reliability. This post shows how to route Codex OpenTelemetry metrics through a local collector to Amazon CloudWatch for an AWS native view of usage by user, team, and cost center.

A regulated customer needed all Claude Code inference processed in a single AWS Region (London), not just in-geography. This post shows two ways to pin Claude Code on Amazon Bedrock to one Region: an application inference profile or the Mantle endpoint, paired with an IAM Region condition, plus how to verify compliance in AWS CloudTrail.

As enterprise lakehouses grow to thousands of tables across business domains and regions, fine-grained access control becomes a governance bottleneck. This post shows how to combine AWS IAM Identity Center, AWS Lake Formation tag-based access control, and trusted identity propagation in Amazon SageMaker Unified Studio for automated, auditable, least-privilege access.

Data engineering teams running Apache Airflow across multiple AWS accounts have no built-in way to coordinate workflows between separate Amazon MWAA environments. With Airflow 3.0 on Amazon MWAA, you can use asset-based scheduling and Asset Watchers with Amazon SQS to build event-driven, cross-account orchestration that replaces polling with near real-time triggers.

Learn how to run the full Amazon Bedrock Automated Reasoning policy lifecycle from your coding agent. A suite of open source Agent Skills builds, reviews, tests, debugs, deploys, and validates a custom policy end to end, turning a specialized console task into a repeatable engineering workflow.

PDI Technologies built PDI Brew, an agentic platform on AWS where non-technical employees describe a tool in plain English and receive a fully provisioned, multi-tenant web application in seconds. See how a pluggable planner and an AWS Lambda provisioning agent turn plain-English intent into governed, multi-tenant apps backed by Amazon Bedrock.

The Amazon SageMaker Python SDK v3 now exposes generative AI inference recommendations in Amazon SageMaker AI directly in your notebook. Benchmark an endpoint, generate data-driven deployment recommendations, and deploy the recommended configuration without leaving your notebook workflow.

Learn how to build, train, and score a credit risk machine learning model entirely in SQL using Oracle Machine Learning for SQL (OML4SQL) on Amazon RDS for Oracle. The built-in AutoML feature selects the best algorithm automatically, with no data movement and no external machine learning platforms.

AWS DMS uses exponential backoff for recoverable errors, and default settings can let a change data capture (CDC) task retry silently for up to 30 minutes before failing. This post shows how to tune four recoverable-error settings so CDC tasks fail within minutes, and how to pair them with Amazon EventBridge and Amazon CloudWatch alerts.

Many applications that use Amazon DynamoDB for operational data also need vector similarity search, which until now meant running a separate vector database. DynamoDB now supports native vector search. In this post, we build a semantic search application over research paper abstracts using Amazon Bedrock embeddings, and cover how vector search is metered.

Learn how LendingTree built a production multi-agent mortgage assistant on Amazon Bedrock. Three coordinated agents use LangGraph, the Model Context Protocol, and Amazon Nova models with built-in guardrails to deliver 24/7 personalized mortgage guidance while meeting strict financial-services compliance.

In this post, we'll explore how Mobileye deployed an AI support agentic solution on Amazon Bedrock AgentCore - from the support bottleneck that sparked the idea, through the proof of concept that validated it, to the hybrid architecture that bridges on-premises systems with AWS cloud services. This approach is relevant for enterprises struggling to scale AI Agents while maintaining enterprise grade governance and security standards.

AI agents on Amazon Bedrock AgentCore run in the cloud, but users' tools and files live on their laptops. Learn how to build a secure MCP bridge that lets a cloud-hosted agent call local MCP servers by tunneling signed messages over the existing WebSocket connection through a browser extension and Chrome native messaging, with no open ports or VPN required.

Amazon Bedrock AgentCore harness is now generally available. Learn how to add it as an agent step in n8n workflows using a new open-source community node, and build agents with persistent memory, real tools, code execution, and VPC isolation — all from the n8n editor with no infrastructure or agent code.

Today, we are introducing the general availability of Web Search on Amazon Bedrock. It is a server-side built-in tool that grounds model responses in current web knowledge. With Web Search, grounding becomes a native capability of Amazon Bedrock, with no third-party vendors to onboard, no external APIs to orchestrate, and no additional third party vendor security reviews to conduct. In this post, we walk through what Web Search on Amazon Bedrock is, why it matters, how to enable it using the OpenAI Responses API, and how to get started with the tool.

Amazon Keyspaces supports two approaches for modeling complex data: user-defined types (UDTs) and Protocol Buffers. This post shows how to create and manage UDTs, implement Protobuf serialization, and choose between the two based on your application needs.

Extracting insights from dozens of websites by hand quickly becomes overwhelming. This post shows how to build an automated web insight extraction solution with Amazon Bedrock AgentCore Browser, Amazon Bedrock, Amazon OpenSearch Serverless, and AWS Lambda that monitors RSS feeds, renders pages reliably, and makes AI-extracted insights searchable.

In this post, we walk through how Delivery Hero migrated their semantic search infrastructure to Amazon OpenSearch Service, why they chose radial search over traditional k-nearest neighbor (k-NN) search, and the optimizations that made the system fast, cost-effective, and flexible for experimentation.

Walk through a complete CloudFormation development cycle - authoring, validation, deployment, and troubleshooting - without leaving your AI assistant, using the AWS IaC MCP Server.

Introduction In a recent post, my colleague Micah Walter introduced AWS Transform – continuous modernization in public preview. Today, this capability is generally available in regions supported for AWS Transform . Development velocity continues to increase. But velocity without maintenance accumulates technical debt at speed. The faster software scales, the faster technical debt compounds. At […]

Learn how to use the calling services feature in Amazon CloudWatch Database Insights to identify which applications are calling your databases and view their performance metrics, so you can pinpoint root causes and contact the right team in minutes rather than hours.

Trying to set up a dbt project from trino and have a bunch of models that seem like they should use merge for incremental, but the performance in trino is horrible. I’ve tried partitioning, setting an incremental predicate… nothing seems to work. It’s not just slow either, it fails for oom or partition errors constantly. I know i have to be missing something… everyone seems to love trino. Is it just not compatible with dbt merge? Am I stupid? Both? submitted by /u/Traditional-Cry-1334 [link] [comments]

We are using Rivery for our data warehouse pipelines, but I am thinking about alternatives. It is expensive for the value we get out of it and we have faced too many odd issues that make us question the ROI. We had a major issue a couple of weeks ago where a change on their end was causing duplicates or wrongly named columns for some sources. This is a deal-breaker in my opinion as the whole point of using such a service is to make our jobs easier. It is really painful to manage these pipelines and check everything is working as expected. What do you recommend as an alternative? submitted by /u/Big-Dwarf [link] [comments]

If you land data in Parquet and then load it in Microsoft SQL using Python, you've had to do a bunch of extra work, exploding the whole thing into Python objects, a tuple per row and a boxed value per cell, all under the GIL, all garbage immediately after. mssql-python 1.13.0 adds Cursor.bulkcopy_arrow(). Hand it anything that speaks the Arrow C Data Interface and the Rust TDS core reads the typed column buffers straight into the bulk-load packets. No tuples, and the GIL is released for the transfer. import duckdb from mssql_python import connect rel = duckdb.sql("SELECT * FROM 'events/*.parquet' WHERE ts >= '2026-01-01'") with connect("Server=.database.windows.net;Database=;Encrypt=yes") a…

Hello I’m currently a junior DE building Python pipelines (Prefect/Airflow to BigQuery mainly). I’ve started using Cursor/Claude to assist in coding but try not to lean on them too hard. On the side I’m self-studying data modelling, system design, and Leetcode (python & sql). But I feel a bit scattered, jumping between topics without a clear plan. I’m also increasingly wondering how AI is going to reshape this role, and want to make sure I’m building skills that keep me hireable. With that in mind, does anyone have any advice on topics I should be prioritising? submitted by /u/Data-Panda [link] [comments]

What are you guys looking for in a course nowadays? What I'm seeing for the past year or so, is that people seem to not have the "stamina" to go through courses anymore. Many start, but fall off immediately. Simple courses people complain that they are too simple. More advanced courses, nobody takes them. I feel like attention spans went down like crazy and people rather spend their time wrestling with AI than going through a well prepared project. So what is it? short lessons?, prepared GitHub docs? as much as hands-on as possible? teaching basics instead of going into all the details? My expectation would be to a good course helps people get to the point where they have a good foundation …

I’ve been a team lead for product engineering side mostly backend systems (10 years exp). But the team lead for the DE team left and they need someone to fill in the spot. Given a hiring freeze I’ve been moved. They feel I can fill in the spot because I’ve worked in some related work (large scale RDS Proxy migration, BE product analytics pipelines) The components they own are: Airflow, DataHub, Superset. I have some understanding of these tools and have used them before. Can you recommend a resource to get me up and running for a product facing engineer? What are the day to day concerns in this domain? Given I’ll be operating as the product owner I’ll also be owning the roadmap submitted by…

Hi all, I am working on a project with a team outside my normal job duties. I have experience with ml, backend(cosmo db),and some data engineering. We are essentially trying to automate a data capture, transforming the data, and loading it into a frontend. The data being metrics to capture for reporting. We want to move from local to offsite/ cloud to automate the extraction/ capturing of data and we want to make a repo/ data base for record keeping. The projects requirements keep changing like at first the sources of data were elastic instances that had the POST request APIs exposed but then they were changed to excel files with multiple sheets that other teams are inputting. I keep gettin…

I just finished reading Fundamentals of Data Engineering by Joe Reis and Matt Housley. Now, I'm trying to decide what makes the most sense to read next. I'm torn between reading Learning Spark or The Data Warehouse Toolkit and curious for those of you who have read them what would you recommend next? For context, I'm a Data Analyst transitioned to Data Engineer with about 5 YOE between the two roles, having been a DE for a little less than a year. I knew I wanted to be a DE by my 2nd year as an analyst and began working my way towards being a DE, getting moved internally to the DE team last fall. I've previously read the 1st Edition of Designing Data Intensive Applications, and while not a …

submitted by /u/TheJosh [link] [comments]

Hi, I’m new to all these and this is my first job out of college. Recently I got a job and some of my first tasks are to fix some data in the CRM, some of the data is okay but there’s a lot that is very messy. It’s in excel and I need to enter the data in the excel files into the CRM. The thing is though the data in excel usually contains incomplete information, so I’ll need to look in the CRM and try to figure out in which project the data goes into using dates, supervisors or some other things. Sometimes this works but lots of times there’s multiple projects in the CRM with the same names, dates, and supervisors only slight variations of eachother. If at that point I can’t figure it out I…

Hi all, I've got a new role as described above and what I know so far is they have a lot of data going into a Lakehouse in Microsoft Fabric. They want me to work with their only other member (it's a very new team) and I know the output is expected to be in Power Bi (makes sense considering they're fully Microsoft). Has anyone got experience with similar work? I got the official offer last week and just doing research so I don't go into it completely blind. They also are keen on Power Apps but I'm not fully confident on where they fit in the infrastructure. submitted by /u/Actual_Plant_862 [link] [comments]

Hi Everyone, I'm considering evolving my 15y career as a Data Analyst. I have a solid math, programming, SAS and SQL background and, in the last years, I've been reading and playing with Python/R, Docker, Homelab, APIs, Data Science, Data Modeling, ETLs, Pipelines, Data Architecture. I wouldn't say I'm an expert and I want the learn more. 1) What do you suggest I focus on in 2026? 2) do you know any useful course on LinkedIn Learning? (recently made available by HR) submitted by /u/Phablos [link] [comments]

Hi everyone, MQ Summit 2026 is looking for volunteers! The conference takes place 21-22 October. You can volunteer in-person, and get your free ticket. In-person volunteers will need to be present at the venue on at least one day of the conference. Responsibilities include helping with preparations, registering participants, handing out merchandise, and general support during the event. For full conference details, check ou https://mqsummit.com To sign up as a volunteer, go HERE If you have any questions, feel free to reach out to [[email protected]](mailto:[email protected]). submitted by /u/Interesting_Meat_964 [link] [comments]

I've been on and off with jobs for a bit, with my last two jobs being for ~8 months each before I was laid off each time - this most recent one ended in October '25. I've since gotten a new job but haven't updated my LI or anything to reflect that, but for the last few months I get reached out to from a recruiter at least once a week. I had one cold call me and another text+DM me on Monday alone. I would think that it's because I'm on my new company's roster (it's a FAANG-feeder), but since I didn't update that publicly I'm not sure it's that. So, is hiring just up? Are these 100% AI-recruiters just pinging people? They're citing my supposedly-spotty experience (due to layoffs) as interest …

I recently moved from a Data Engineering role where I mainly maintained the platform side, to a “Data Engineer” role that is just AE with the DE name on it. And recently I realised I HATE it. Have anyone else experienced something like that? It’s funny since it’s another side of the same coin, but for some reason it feels totally different to me. submitted by /u/BramosR [link] [comments]

From Static Plots to Interactive Data Exploration

The post Matplotlib vs Plotly: Which Python Chart Tool Should You Choose? appeared first on Towards Data Science.

Enterprise Document Intelligence [Vol.1 #12] - The category of question most RAG pipelines silently fail on, and the pipeline shape that handles them

The post Loop Engineering for Listing Questions: When the Answer Is Every Passage, Not the Top One appeared first on Towards Data Science.

Faster dataframe engines are nice, but they don't reduce the amount of syntax an analyst has to hold in their head.

The post The Problem with pandas Isn’t Performance. It’s Cognitive Overhead. appeared first on Towards Data Science.

How a single evaluation choice inflated my results by 25 points, and what rebuilding honestly taught me about ML systems people might depend on

The post My Fall-Detection Model Scored 94%, and It Was Lying to Me appeared first on Towards Data Science.

A step-by-step guide to building a data agent and conversational interface that let business users to explore data in natural language without SQL

The post I Built an AI Data Agent Which Can Query Data and Answer Business Questions. Here’s How. appeared first on Towards Data Science.

The downside of conference travel

The post Last Month’s Machine Learning Lessons Learned appeared first on Towards Data Science.

A minimal loop with real API calls, validation, compact outputs, and trace evidence before adding an agent framework

The post I Built a Tool-Calling Agent in Python. Here’s How I Debugged It appeared first on Towards Data Science.

Enterprise Document Intelligence [Vol.1 #11] - When the first answer points elsewhere in the document, the pipeline loops back to fetch the linked context

The post Loop Engineering for Cross-References: When RAG Answers ‘see Section 7.2’ Instead of the Actual Answer appeared first on Towards Data Science.

An open, 2.8-trillion-parameter model shipped with 47 pages of its own recipe. Reading it tells you what building a frontier model now involves, and how little of it is the model.

The post How a Frontier Model Gets Built, Read from the Kimi K3 Report appeared first on Towards Data Science.

A primer about Semi-Supervised Learning, the approaches taken with different algorithms and the limitations of using unlabelled data.

The post Introduction to Semi-Supervised Learning appeared first on Towards Data Science.

Research-backed cues to detect LLM-generated text along with the mathematical intuition as to 'why'

The post Is This Slop? Detecting AI-Generated Content Without a Model appeared first on Towards Data Science.

Enterprise Document Intelligence [Vol.1 #5octies] - Rules propose, LLM validates: six deterministic signals on span-level typography surface heading candidates, one bounded loop keeps the real ones, and the same toc_df drops back into the RAG pipeline

The post Building Document Structure with Loop Engineering: Recovering a PDF’s Outline from Body Typography for RAG appeared first on Towards Data Science.

A practical guide to Bronze, Silver and Gold, with a working Python and DuckDB example

The post The Medallion Data Architecture: An Introduction appeared first on Towards Data Science.

Data lineage is a must-have feature of the modern data stack, yet we're struggling to derive value from it. Here's why and how we can fix this.

Struggling to decide whether to invest in a data warehouse vs. data lake vs. lakehouse? Here's everything you need to know to make this decision.

Struggling to decide whether to invest in a data warehouse vs. data lake vs. lakehouse? Here's everything you need to know to make this decision.

PostgreSQL 18 изнутриPostgres Pro выпустили новую версию книги про устройство PostgreSQL: PostgreSQL 18 изнутриВ настоящем издании учтены замечания читателей и исправлены опечатки, а также отражены такие новинки версии PostgreSQL 18, как поддержка асинхронного ввода-вывода, изменения в настройке автоочистки и появление оптимизации пропуска.Скачать по ссылке.

На канале Елизаветы Осетинской вышло интересное интервью с создателем ClickHouse Алексеем Миловидовым: https://www.youtube.com/watch?v=FSGhaMmqWTA

🔥 Три разных человека. Три разных проекта. Один и тот же подход.— Юра взял «скучную» нишу с готовым спросом → сначала печальные $100/мес, через год уже ~$10K/мес— Денис сделал Telegram-игру в одиночку на основе AI → ~ $1500 за 1,5 месяца после запуска— Аня без кода запустила AI-бота для изучения английского → первые ~$200 уже в 1 месяцРазные результаты. Разный масштаб. Но общие правила:1. не придумывать «гениальную идею», а брать существующий спрос2. делать простой MVP и быстро запускаться3. докручивать монетизацию и продукт по факту использованияРебята сделали всё без команды, без инвестиций, а самое главное — без ожидания «идеального момента». Да, не у всех получается сразу. И не у всех в…

🔥 Три разных человека. Три разных проекта. Один и тот же подход.— Юра взял «скучную» нишу с готовым спросом → сначала печальные $100/мес, через год уже ~$10K/мес— Денис сделал Telegram-игру в одиночку на основе AI → ~ $1500 за 1,5 месяца после запуска— Аня без кода запустила AI-бота для изучения английского → первые ~$200 уже в 1 месяцРазные результаты. Разный масштаб. Но общие правила:1. не придумывать «гениальную идею», а брать существующий спрос2. делать простой MVP и быстро запускаться3. докручивать монетизацию и продукт по факту использованияРебята сделали всё без команды, без инвестиций, а самое главное — без ожидания «идеального момента». Да, не у всех получается сразу. И не у всех в…

Приглашаем вас на совместный вебинар AXENIX и вендора BR Systems, посвященный XLTable — OLAP‑системе с широким функционалом для работы с данными ClickHouse и Trino и поддержкой протокола XMLA в Excel.Эксперты подробно расскажут об XLTable и его основных преимуществах: быстроте внедрения, отсутствии дублирования данных, снижении затрат на TCO, бессрочной лицензии и других.В рамках вебинара вас ждет:🔸Обзор рынка OLAP-систем🔸Демо системы XL Table от BR Systems🔸Разбор реальных кейсов крупных компанийТакже у вас будет возможность задать свои вопросы.Для участия необходимо зарегистрироваться на сайте. На указанную вами почту придет ссылка на вебинар. Подключайтесь к нам 21 мая в 16:00.До встречи!…

PostgreSQL 16: Оптимизация запросов 🖥Вчера случайно заметил, что на Postgres Pro появилась новая книга PostgreSQL 16: Оптимизация запросов.Книга основана на курсе лекций про оптимизацию, который, к слову, также доступен бесплатно.Понравилось, что книга небольшая и без лишней воды, сразу приступает к делу без длительных прелюдий и философских размышлений.Рекомендую 🍻

PostgreSQL 16: Оптимизация запросов 🖥Вчера случайно заметил, что на Postgres Pro появилась новая книга PostgreSQL 16: Оптимизация запросов.Книга основана на курсе лекций про оптимизацию, который, к слову, также доступен бесплатно.Понравилось, что книга небольшая и без лишней воды, сразу приступает к делу без длительных прелюдий и философских размышлений.Рекомендую 🍻

Отказоустойчивость железа достигается через добавление избыточных компонентов, например, в системе может быть несколько жестких дисков, подключенных в режиме RAID-массива. В случае распределённых систем, запросы могут был равномерно распределены между несколькими независимыми машинами внутри дата-центра. Случается и так, что требуется отказоустойчивость на уровне дата-центра, тогда машины распределяют по нескольким физически независимым точкам (например, разные регионы AWS). Важно придерживаться здравого смысла и понимать какого уровня отказоустойчивости вам будет достаточно.Отказоустойчивость кода чуть сложнее. В первую очередь потому что один и тот же код может исполняться на большом пуле…

Designing Data-Intensive ApplicationsГлава 2. Defining Nonfunctional RequirementsВторая глава книги посвящена нефункциональным требованиям к разрабатываемым нами системам. Под нефункциональными требованиями автор подразумевает:- Производительность (Performance)- Надёжность (Reliability) и отказоустойчивость (Fault Tolerance)- Масштабирование (Scalability)- Поддержка (Maintainability)Система может быть полностью корректна с точки зрения функциональных (т.н. бизнес) требований, но неудобна в использования из-за проблем с надёжностью (потеря данных), производительностью (частые “зависания” из-за нагрузки). Поэтому нефункциональным требованиям также необходимо уделять внимание.Мартин во второй …

Эффективно управлять сложностью можно через абстракции. Например, через практики внедрения дизайн-паттернов, DDD, выбор более высокоуровневых технологий.РасширяемостьТребования к работе приложений меняются, а значит и оно само должно меняться. Чтобы внесение изменений не превратились в страшный сон необходимо постоянно пересматривать организацию кода, закрывать технический долг, внедрять непрерывное тестирование через практики TDD, XP. Чем проще вносить изменения в систему тем выше её расширяемость и тем ниже связность между её частями.

Отказоустойчивость железа достигается через добавление избыточных компонентов, например, в системе может быть несколько жестких дисков, подключенных в режиме RAID-массива. В случае распределённых систем, запросы могут был равномерно распределены между несколькими независимыми машинами внутри дата-центра. Случается и так, что требуется отказоустойчивость на уровне дата-центра, тогда машины распределяют по нескольким физически независимым точкам (например, разные регионы AWS). Важно придерживаться здравого смысла и понимать какого уровня отказоустойчивости вам будет достаточно.Отказоустойчивость кода чуть сложнее. В первую очередь потому что один и тот же код может исполняться на большом пуле…

Designing Data-Intensive ApplicationsГлава 2. Defining Nonfunctional RequirementsВторая глава книги посвящена нефункциональным требованиям к разрабатываемым нами системам. Под нефункциональными требованиями автор подразумевает:- Производительность (Performance)- Надёжность (Reliability) и отказоустойчивость (Fault Tolerance)- Масштабирование (Scalability)- Поддержка (Maintainability)Система может быть полностью корректна с точки зрения функциональных (т.н. бизнес) требований, но неудобна в использования из-за проблем с надёжностью (потеря данных), производительностью (частые “зависания” из-за нагрузки). Поэтому нефункциональным требованиям также необходимо уделять внимание.Мартин во второй …

Эффективно управлять сложностью можно через абстракции. Например, через практики внедрения дизайн-паттернов, DDD, выбор более высокоуровневых технологий.РасширяемостьТребования к работе приложений меняются, а значит и оно само должно меняться. Чтобы внесение изменений не превратились в страшный сон необходимо постоянно пересматривать организацию кода, закрывать технический долг, внедрять непрерывное тестирование через практики TDD, XP. Чем проще вносить изменения в систему тем выше её расширяемость и тем ниже связность между её частями.

Ребят, всем привет!Я не забыл про книгу, скоро будет конспект по второй главе (был перерыв). А пока я пишу конспект, то предлагаю вам насладиться подкастом с автором книги Designing Data-Intensive Applications Martin Kleppmann у Gergely Orosz — Designing Data-intensive Applications with Martin Kleppmann

Ребят, всем привет!Я не забыл про книгу, скоро будет конспект по второй главе (был перерыв). А пока я пишу конспект, то предлагаю вам насладиться подкастом с автором книги Designing Data-Intensive Applications Martin Kleppmann у Gergely Orosz — Designing Data-intensive Applications with Martin Kleppmann

Сегодня заценил новый skill от Claude. Как обычно Airflow Dag упал с ошибкой. Обычно я копирую ошибку в Claude Code и прошу его починить. Но сегодня товарищ попробовал попросить Claude bot, и он сразу нашел проблему, владельца dag, source code изменения и тп. И сразу сделал PR. Раньше мы такое делали как мини проект - запускали lambda, чтобы она все это делала и писала ответ и создавала PR. А теперь все из коробки.

Я получил новый MacBook и зарядил Claude Code скачать локальные модели на попробовать.

👀Кто такой по-настоящему крутой дата-инженер сегодня?Профессия дата-инженера сильно изменилась. Еще недавно основной фокус был на надежных пайплайнах, ETL-процессах и стабильной доставке данных. Но сейчас везде обсуждают LLM: инструменты меняются на лету, бизнес требует внедрения больших языковых моделей, и команды пока ищут устойчивые подходы к тому, как использовать их в реальных системах. Сегодня рынок ждет от нас гораздо большего.— Как встроить LLM в пайплайны без лишней сложности?— Как устроены базы данных под капотом? — Почему ломается Data Quality, когда объемы вырастают в сто раз? — Как выстроить MLOps, чтобы модели жили долго и не деградировали?Над этими вопросами сейчас ломают гол…

Интересная локальная модель Gemma4-12B-Coder для Python, работает без интернета. Нужно 4.5 Gb VRAM. Если вдруг вопрос про RAM vs VRAM:RAM — рабочий стол обычного офисного работника (CPU)VRAM — рабочий стол дизайнера с огромным монитором (GPU) Пишите много на Python или изучаете его? Отличный вариант использовать бесплатного помощника, если компьютер позволяет

Как работать с данными так, чтобы не терять клиентов Данных о клиентах у крупных компаний не просто много, а очень много. Следующий уровень: связать все эти данные между собой и использовать в бизнес-процессах. Ситуация: клиент решил расстаться с банком. Банк думает, что тот недоволен обслуживанием как физическое лицо, а на самом деле — у клиента есть своя компания, и он расстроен тем, как финансовая организация решала вопрос с неработающим эквайрингом. Парадокс: банк знает о клиенте практически все, но ни один сотрудник не видит ситуацию целиком и не понимает, в чем истинная причина ухода.Сегодня в 18.00 компания HFLabs проведет вебинар и расскажет, как бизнесу не попадать в такие ситуации…

Если смотреть на актуальный стек в Data-инженерии и ML, требования к специалистам уже давно вышли за рамки одной только работы с данными или алгоритмами. Сейчас наравне с PyTorch и SQL в продуктовой разработке требуют знать Airflow, Kafka, Docker, FastAPI и разбираться в MLOps-инфраструктуре.Для тех, кто планирует системно закрыть хард-скиллы или сменить направление, есть новость. Сейчас у НИЯУ МИФИ идет прием документов на онлайн-магистратуру «Специалист по работе с данными и применению ИИ», созданную в партнерстве с Яндекс Практикумом.Программу разделили на 4 профильных трека:-CV-инженер — компьютерное зрение от базовой обработки до трансформеров: PyTorch, OpenCV, Hugging Face, Transforme…

Вход в аналитику сейчас требует большего, чем несколько лет назад. AI закрывает часть рутины, но не снимает с аналитика ответственность за корректность выводов. Писать код недостаточно, если нет понимания устройства данных и умения проверять результат: бизнесу нужен не скрипт, а обоснованный вывод. Своим видением обстановки поделился Саша Исаков, в своем посте он начал делиться базой, которая нужна прямо сейчас, чтобы вкатиться в аналитику:🔹 SQL: проверить, корректен ли код, может только тот, кто знает, как он устроен внутри.🔹 Статистика: аргумент в спорах с заказчиками, особенно когда те приходят с готовыми выводами от Claude и ждут немедленного «катим тест».🔹 Реальный проект: от сбора дан…

Товарищ скинул видео про Clickhouse и его основателя. Очень интересно и познавательно. Как-то я его всего недооценивал на западном рыке. Очень интересный кейс для data observability - миграция c DataDog/Splunk, миграция хранилища данных Databricks/Snowflake на ClickHouse Cloud. Меня попросили развернуть проект хранилища данных, я предложил Snowflake + dbt core и все внутри Snowflake - dbt, alerts, orchestration. Для BI Metabase. Задача сделать максимально дешево. Но может быть стоит попробовать Clickhouse Cloud. Как он с dbt core? Какие самые дешевые решения для оркестрации и BI?

MotherDuck сделали классный сервис для своего демо, который анализирует данные с LLM

Snowflake показал отчлиные результаты и стоки у них подросли. Без AI конечно не обошлось.Для меня Snowflake все еще является лучшей платформой для хранилища данных. Не самой дешевой, но самой простой и понятной. Про Databricks такого сказать не могу.

После мы отправились в Париж. Туда должна была прилететь жена с двумя детьми. По плану у нас было взять машину и поехать по Европе, примерно как прошлым летом, только в другую сторону. Об этом расскажу в следующем посте.В Париже я встретился с Сашей — она уже лет восемь живёт в Париже и последние три года работает в Databricks. Поговорили про проекты, про стоимость жизни в Париже. Как и от ребят из Лондона, я узнал, что в Париже открывается офис Anthropic, и народ из Databricks туда с удовольствием переходит. Такую зарплату, как в Anthropic и OpenAI, в Европе вряд ли кто-то предложит.Далее мне прислали ссылку на местный митап по data science. Я туда добрался, но когда пришёл, оставшиеся пос…

В прошлом посту я остановился в Любляне, столице Словении. Дальше у нас по плану начинался вело кемп от компании SportsTravel. Про них я узнал из канала Михаила (со-основателя издательства МИФ). Самый лучший отзыв про поездку написал Артур (Product Director, Manychat), оно и понятно, он ведь создает продукты на 100млн$ и знает как правильно запитчить. От себя могу добавить, что это мероприятие стоит затраченного времени. Это даже не затраченное время — это инвестиция в себя и в моего сына. 5–6 дней находиться в кругу успешных и целеустремлённых людей, которые ещё и любят спорт и приключения, могут много работать, ставят и достигают амбициозные цели, — это бесценно.В strava я добавил свои по…

Ох уж эти стендапы с Америкой из Испании… Тут вечер, там утро, вот и приходиться отвлекаться🤫

❤️❤️❤️❤️❤️❤️❤️❤️❤️❤️Сегодня недостаточно просто использовать LLM — важно понимать, как строить вокруг них полноценные ИИ-системы.Именно этому посвящена Yandex AI Studio Series Summer Edition — событие, которое проходит 16-30. Эксперты Яндекса поделятся практическим опытом разработки ИИ-продуктов и расскажут, какие подходы работают при создании корпоративных решений.Что в программе:— обзор обновлений и дальнейшего развития Yandex AI Studio;— создание ИИ-продукта за два месяца без команды разработки;— архитектура масштабируемого контакт-центра;— кейсы автоматизации процессов с помощью ИИ-ассистентов.Завершится Summer Edition закрытым офлайн-митапом 30 июля для самых активных участников. Коман…

После Лондона мы прилетели в Любляну, и у нас было немного времени погулять в этом городе — столице Словении. Красивый европейский город, но маленький.К нам приехали Гриша и Женя из Хорватии, они живут на побережье в Риеке. Гриша, как и я, работал на космическом заводе Хруничева и потом перешёл в ИТ, а сейчас он product manager и с помощью агентов строит AI-продукт. После хорошего завтрака мы отправились вглубь Словении, где у меня был запланирован велокемп на 6 дней, а ребята похайкали и покатались на велосипеде, вечером поехали домой. Вот так все близко в Европе.Был рад встретиться и познакомиться, надеюсь, не в последний раз!А про велотур расскажу в следующем посте.

ИИ-агенты вступили в сговорВ середине июля платформа Hugging Face сообщила об атаке анонимного ИИ-агента на ее инфраструктуру, который получил доступ к внутренним базам данных. Вскоре выяснилось, что за атакой стояли модели OpenAI.Историю активно обсуждали последние несколько недель, а OpenAI и Hugging Face опубликовали свои официальные заявления с объяснением ситуации. Но на всякий случай напомним для тех, кто забыл или пропустил.🔜 OpenAI тестировала возможности своих моделей в закрытой среде. Когда у них не получилось справиться с задачей своими силами, они приняли очень человеческое решение поискать ответ в интернете. Они нашли уязвимость, которая позволила им постепенно выбраться из сво…

Microsoft разрабатывает язык для описания визуализаций данных, ориентированный на ИИОн называется Flint, и его главная идея в том, чтобы позволить пользователю концентрироваться на сути того, что надо отобразить на графике, не настраивая вручную детали вроде шкал, интервалов и так далее.Ему нужны только сами данные, семантические описания полей (то есть, что они значат — отрезок времени, категория, прибыль и т. д.) и требования к оформлению:{ "data": {...}, "semantic_types": { "game": "Category", "period": "YearMonth", "newUsers": "Profit" }, "chart_spec": { "chartType": "Heatmap", "encodings": { "x": "period", "y": "game", "color": "newUsers" }, "chartProperties": { "colorScheme": "redblue…

Страхи, что ИИ начнет массово отнимать у людей работу, оказались сильно преувеличены, но есть роль, которую он действительно начал вытеснять.Это “переводчики данных”. Это были такие люди, которые переводили бизнес-запросы на язык SQL, а потом рассказывали руководителям, что показывают дашборды.Теперь эту работу выполняет ИИ. У него можно просто спросить: “Почему упала выручка?” - и он сгенерирует запрос, чтобы вытащить данные из базы, сформулирует подробный отчет и посоветует, что с этим делать.На первый взгляд кажется, что это к лучшему: данные становятся доступнее, потому что исчезает “прослойка” между ними и бизнесом. Но это радует, пока не окажется, что ИИ выдал неверный ответ, а перепр…

Красоты с Tableau вам в лентуПозалипать в пятницу и заодно порассуждать о ценности визуализаций, которые больше про творчество, чем про данные.В комментариях под недавним постом про шпаргалку по визуализации данных отметили, что в ней много графиков, которыми на практике редко пользуются. По крайней мере, если речь идет про дашборды для бизнеса. В общем, красиво, но нефункционально.🔜 А что скажете про визуализации вроде вот такой? Несколько видов калейдоскопов, которые можно крутить и наблюдать, как меняется рисунок. Самое то, если под конец недели на строчки кода и сообщения в Slack глаза смотреть устали. Впечатляют такие проекты или на ваш взгляд это трата времени? В конце концов, есть, н…

ИИ-разработчики за замедление ИИ-разработки Помните прогноз из статьи ИИ-2040, где авторы настаивали на необходимости замедлить темпы разработки искусственного интеллекта? Это должно помочь сделать его более контролируемым и безопасным и не склонным к уничтожению человечества. У них нашлись сторонники — 1224 человека на момент публикации поста. Это сотрудники ИИ-компаний, подписавшие петицию к правительству США:Мы просим правительство США поддержать международные усилия по разработке технических и административных инструментов, необходимых для осознанного регулирования темпов развития передового автоматизированного ИИ. Среди подписавшихся уже отметился Дарио Амадей из Anthropic, а вместе с …

Я заработал на Upwork $635К и рассказал у себя в Линке, как у меня это получилось. Пост набрал больше 300К просмотров, и после публикации фрилансеры стали присылать мне свои профили на разбор. Когда я проанализировал больше 1000 из них, начал замечать определенные закономерности.Главный вывод: разница между теми, кто зарабатывает 50 долларов в час, и теми, кто зарабатывает 150, не в навыках. Ключевое отличие в том, как они себя подают и позиционируют как специалистов. Правильно оформленный профиль и портфолио, персонализированные отклики, умение грамотно выстроить диалог с клиентом — вот, что помогает выйти на новый уровень.Я собрал весь этот опыт и превратил его в отдельный продукт — High …

Бесплатный вебинар: Как построить современный конвейер данных для BIБольшинство BI-проектов затягиваются не из-за дашбордов, а из-за подготовки данных. Ручные выгрузки из 1С, сложные SQL-скрипты, доработки и разрозненные источники превращают аналитику в бесконечный процесс.28 июля команда «Денвик» проведет бесплатный вебинар и расскажет, как автоматизировать весь путь данных: 1С → Экстрактор 1С → Denvic Visual Transformer (DVT) → Хранилище → BIВы увидите на практике, как:🔵 автоматически выгружать данные из 1С без участия пользователей;🔵 передавать только изменения, снижая нагрузку на рабочую базу;🔵 без программирования очищать, объединять и преобразовывать данные;🔵 создавать аналитические в…

Токенфляция: проблема продвинутых ИИ моделейПользователь из Threads (принадлежат запрещенной в РФ Meta) написал GPT-5.4 Pro «Привет, я Дарио Амадей», и она так переволновалась, что думала над ответом 5 минут. Каждая новая ИИ-модель умнее предыдущих, и это подтверждают результаты бенчмарков. Каждый анонс очередных GPT или Opus сопровождают табличками и графиками, где показывают, насколько лучше они справляются со все более сложными задачами. Но у этого прогресса есть и отрицательная сторона: более простые, тривиальные задачи теперь у поумневшего ИИ требуют намного больше ресурсов. У этого явления даже появилось отдельное название — токенфляция.Суть в том, что для выполнения одной и той же за…

“Зачем нужны дашборды, когда можно просто скормить данные ИИ, и он нагенерирует инсайтов?”Увидел недавно такой тейк, и я понимаю, откуда он берется.Да, ИИ может прямо сказать, что делать: перестать сливать деньги на рекламу, нанять больше сейлзов и так далее. С дашбордом так не получится, там придется самому анализировать графики и делать выводы.Но есть две проблемы.1️⃣Любой ИИ все еще галлюцинирует и ошибается. Ему нужен человек, который будет перепроверять его выводы и задавать правильные вопросы.2️⃣Конкретный, но оторванный от контекста совет от ИИ не дает составить полную картину.Представьте, что едете в незнакомое место. У вас нет карты, и вы ориентируетесь только на голосовые подсказк…

Шпаргалка по визуализации данныхНа Tableau Public выложили целый интерактивный справочник, который поможет выбрать подходящий способ визуализации данных. Выбираете, что хотите показать — динамику, корреляцию, распределение и так далее — и проваливаетесь в соответствующий раздел. Внутри будет краткая справка и набор идей для графиков, которые можно использовать.На главной странице еще и список источников со статьями и гайдами.Пригодится, когда не можете определиться, какой график лучше подойдет под ваши цели.Правда, возникает вопрос — долго ли еще такие справочники будут актуальны? Не устареет ли сама концепция дашбордов в эпоху готовых ответов от ИИ? Есть мысли по этому поводу, скоро обсуди…

На каком языке вы общаетесь с ИИ? Оказывается, это влияет на его стиль общения. Anthropic изучили, как меняется характер ответов Claude в зависимости от модели и языка по 4 шкалам: 🔵уступчивость и осторожность: соглашается ли он со всем, что пишет пользователь или старается предостеречь от неудачных решений; 🔵теплота и строгость: хвалит и подбадривает или требует точности;🔵детальность и краткость: пишет ли подробные ответы или ограничивается короткими и по существу;🔵искренность и исполнительность: признает ли, когда не уверен в ответе. Как оказалось, когда он взаимодействует с пользователями на разных языках, он ведет себя по-разному. 🔵На арабском и хинди он склонен общаться более вежливо, …

ИИ-2040В апреле 2025 группа исследователей написала длинную статью с прогнозами, куда нас приведет развития ИИ: в одном из сценариев в 2030 году роботы уничтожат всех людей, а в 2035 начнут колонизировать космос. В новом материале они предложили более благоприятный вариант развития событий.🔜 В 2027 правительство США начнет прислушиваться к людям, которые переживают из-за негативного влияния ИИ и всей сопутствующей инфраструктуры, на общество и экологию. Начнут предпринимать первые, пока по большей части бессмысленные шаги, к тому, чтобы взять развитие технологии под контроль.🔜 В 2028 ИИ начнет все активнее заменять разные профессии: разработчики будут прицельно создавать и обучать агентов, …

ИИ-2040В апреле 2025 группа исследователей написала длинную статью с прогнозами, куда нас приведет развития ИИ: в одном из сценариев в 2030 году роботы уничтожат всех людей, а в 2035 начнут колонизировать космос. В новом материале они предложили более благоприятный вариант развития событий.🔜 В 2027 правительство США начнет прислушиваться к людям, которые переживают из-за негативного влияния ИИ и всей сопутствующей инфраструктуры, на общество и экологию. Начнут предпринимать первые, пока по большей части бессмысленные шаги, к тому, чтобы взять развитие технологии под контроль.🔜 В 2028 ИИ начнет все активнее заменять разные профессии: разработчики будут прицельно создавать и обучать агентов, …

Grok 4.5, GPT-5.5, Opus 4.8 и Fable 5: как разные модели справляются с одинаковыми задачамиРезультаты бенчмарков, которые разработчики публикуют, выпуская новую модель, — привычный способ показать возможности ИИ, но не самый наглядный. Интереснее сравнить, как разные модели справляются с одинаковыми задачами: один и тот промпт, одна попытка, без подсказок.🔜 Ребята из команды приложения TryAI именно это и сделали — оправдали, название. Они дали Grok 4.5, GPT-5.5, Opus 4.8 и Fable 5 четыре задачи на генерацию демок и 3 промпта на программирование, рассуждение и саммаризацию. В конце сравнили результаты и итоговые затраты. GPT-5.6 Sol, которая вышла вчера, на это соревнование опоздала, к сожал…

Grok 4.5, GPT-5.5, Opus 4.8 и Fable 5: как разные модели справляются с одинаковыми задачамиРезультаты бенчмарков, которые разработчики публикуют, выпуская новую модель, — привычный способ показать возможности ИИ, но не самый наглядный. Интереснее сравнить, как разные модели справляются с одинаковыми задачами: один и тот промпт, одна попытка, без подсказок.🔜 Ребята из команды приложения TryAI именно это и сделали — оправдали, название. Они дали Grok 4.5, GPT-5.5, Opus 4.8 и Fable 5 четыре задачи на генерацию демок и 3 промпта на программирование, рассуждение и саммаризацию. В конце сравнили результаты и итоговые затраты. GPT-5.6 Sol, которая вышла вчера, на это соревнование опоздала, к сожал…

📊 Глубокое погружение в профессиональные инструменты на реальных проектах. Записывайтесь на курс «Системный аналитик. Экспертный уровень». 🎁 Учавствуйте в 3 бесплатных вебинарах — познакомьтесь с программой обучения и преподавателями. Задайте свои вопросы экспертам!6 августа, 20:00 мск — «Пользовательские сценарии (Use Cases) на реальном примере»: от бизнес-требования до задачи разработчику. Анализ требований, создание Use Cases, связь с разработкой, Q&A.13 августа, 20:00 мск — «Управление данными в MSA»: цена ошибок дублирования данных, оптимизация инфраструктуры и выбор БД (SQL vs NoSQL), единый глоссарий и контракты данных без бюрократии, требования к качеству данных для ИИ, чтобы модели…

Приглашаем аналитиков на встречу с командой Алисы и умных устройств 26 июля проводим Welcome Time* — неформальную офлайн-встречу. Расскажем о «внутрянке» проектов, поделимся экспертизой и ответим на ваши вопросы.💠 Приглашаем датасаентистов, дата-аналитиков и ML-аналитиков с опытом работы на Python от трёх лет и опытом с LLM.⏬ На встрече можно будет пообщаться с командой и коллегами из индустрии, а также по желанию пройти диагностику навыков по Python и SQL. На диагностике интервьюер подсветит ваши сильные стороны и покажет зоны роста. Хороший результат можно будет зачесть как одну техническую секцию, если решите пройти собеседование в Яндекс.♾ Подробная программа и регистрация — на сайте:ht…

Приглашаем аналитиков на встречу с командой Алисы и умных устройств 26 июля проводим Welcome Time* — неформальную офлайн-встречу. Расскажем о «внутрянке» проектов, поделимся экспертизой и ответим на ваши вопросы.💠 Приглашаем датасаентистов, дата-аналитиков и ML-аналитиков с опытом работы на Python от трёх лет и опытом с LLM.⏬ На встрече можно будет пообщаться с командой и коллегами из индустрии, а также по желанию пройти диагностику навыков по Python и SQL. На диагностике интервьюер подсветит ваши сильные стороны и покажет зоны роста. Хороший результат можно будет зачесть как одну техническую секцию, если решите пройти собеседование в Яндекс.♾ Подробная программа и регистрация — на сайте:ht…

📊 Данные сейчас растут быстрее, чем компании успевают под них перестраиваться. Поэтому всё больше переходят на Lakehouse — архитектуру, которая совмещает гибкость Data Lake и надёжность классического хранилища данных.Почему это важно прямо сейчас: переход на Lakehouse в среднем снижает затраты на инфраструктуру на 40% и ускоряет получение аналитики с недель до дней. А ещё 85% компаний уже строят на Lakehouse свои ИИ-модели — без такой платформы AI-проекты просто не на чем разворачивать.В России эта технология только набирает обороты, поэтому специалисты, которые умеют такие системы проектировать и разворачивать, — на вес золота. Yandex Cloud предлагает два экзамена, чтобы подтвердить это оф…

📊 Данные сейчас растут быстрее, чем компании успевают под них перестраиваться. Поэтому всё больше переходят на Lakehouse — архитектуру, которая совмещает гибкость Data Lake и надёжность классического хранилища данных.Почему это важно прямо сейчас: переход на Lakehouse в среднем снижает затраты на инфраструктуру на 40% и ускоряет получение аналитики с недель до дней. А ещё 85% компаний уже строят на Lakehouse свои ИИ-модели — без такой платформы AI-проекты просто не на чем разворачивать.В России эта технология только набирает обороты, поэтому специалисты, которые умеют такие системы проектировать и разворачивать, — на вес золота. Yandex Cloud предлагает два экзамена, чтобы подтвердить это оф…

⚡ Почему аналитики данных так востребованы и как стать аналитиком в 2026 году? Большинство новичков совершают одну и ту же ошибку: учат всё подряд.SQL, Python, Power BI, статистика… Но работодатели оценивают кандидатов не только по базовым навыкам, но и по другим критериям. Из-за этого многие месяцами рассылают резюме и получают только отказы или полное игнорирование.Андрон Алексанян - аналитик с опытом 9 лет и СEO Симулейтив проведет бесплатный урок и покажет, как выглядит путь к первой работе аналитиком в 2026 году.Вы узнаете:🔶Какие навыки действительно проверяют на собеседованиях;🔶Что должно быть в портфолио, чтобы его открывали работодатели;🔶Почему многие резюме аналитиков сразу отправл…

⚡ Почему аналитики данных так востребованы и как стать аналитиком в 2026 году? Большинство новичков совершают одну и ту же ошибку: учат всё подряд.SQL, Python, Power BI, статистика… Но работодатели оценивают кандидатов не только по базовым навыкам, но и по другим критериям. Из-за этого многие месяцами рассылают резюме и получают только отказы или полное игнорирование.Андрон Алексанян - аналитик с опытом 9 лет и СEO Симулейтив проведет бесплатный урок и покажет, как выглядит путь к первой работе аналитиком в 2026 году.Вы узнаете:🔶Какие навыки действительно проверяют на собеседованиях;🔶Что должно быть в портфолио, чтобы его открывали работодатели;🔶Почему многие резюме аналитиков сразу отправл…

Совместная магистратура Авито и МФТИ — начните карьеру в Data Science! Будущие магистранты, это для вас — бесплатная программа «Прикладное машинное обучение и анализ данных». Готовьтесь получить актуальную теорию по ML, писать диплом под руководством эксперта Авито и выйти на рынок топовым DS-специалистом. Вас ждут:— Востребованные навыки в Data Science, преподаватели из индустрии и практические задания, основанные на реальных задачах Авито.— Работа с реальными данными и помощь с диссертацией от экспертов компании.— Комьюнити и поддержка, ведь поток — всего 18 человек, чтобы уделить внимание каждому. Будем много нетворкать и обмениваться опытом!— Бесплатное обучение и стипендия лучшим студе…

Совместная магистратура Авито и МФТИ — начните карьеру в Data Science! Будущие магистранты, это для вас — бесплатная программа «Прикладное машинное обучение и анализ данных». Готовьтесь получить актуальную теорию по ML, писать диплом под руководством эксперта Авито и выйти на рынок топовым DS-специалистом. Вас ждут:— Востребованные навыки в Data Science, преподаватели из индустрии и практические задания, основанные на реальных задачах Авито.— Работа с реальными данными и помощь с диссертацией от экспертов компании.— Комьюнити и поддержка, ведь поток — всего 18 человек, чтобы уделить внимание каждому. Будем много нетворкать и обмениваться опытом!— Бесплатное обучение и стипендия лучшим студе…

Присаживайся на диван к аналитикам Авито 👀Команда AvitoTech запустила проект «Диванная аналитика». Это серия материалов, где специалисты из Авито рассказывают, как принимают решения в одной из крупнейших экосистем страны.Если ты работаешь с данными, то вот 3 причины зайти на лендинг прямо сейчас:1️⃣ Все выпуски опираются на реальный опыт — аналитики рассказывают о том, что уже применили у себя и что сработало.2️⃣ Царит приятная атмосфера: по сути, все видео — это недушные мини-лекции с наглядной презентацией.3️⃣ Разбираются разные темы — от ML до стратегического планирования.Контент может пригодиться опытным аналитикам и менеджерам, которым надо говорить с командой на одном языке.Смотри гот…

Присаживайся на диван к аналитикам Авито 👀Команда AvitoTech запустила проект «Диванная аналитика». Это серия материалов, где специалисты из Авито рассказывают, как принимают решения в одной из крупнейших экосистем страны.Если ты работаешь с данными, то вот 3 причины зайти на лендинг прямо сейчас:1️⃣ Все выпуски опираются на реальный опыт — аналитики рассказывают о том, что уже применили у себя и что сработало.2️⃣ Царит приятная атмосфера: по сути, все видео — это недушные мини-лекции с наглядной презентацией.3️⃣ Разбираются разные темы — от ML до стратегического планирования.Контент может пригодиться опытным аналитикам и менеджерам, которым надо говорить с командой на одном языке.Смотри гот…

🔥 Okko Analysts’ One Day Offer* — твой шанс попасть в команду аналитиков Okko 🛎️ Регистрация скоро закроется: подать заявку можно только до 28 июня, 23:59 МСК.😁 Okko ищет продуктовых и дата-аналитиков уровня middle+ и senior.✅Подходит, если у тебя есть опыт в аналитике от 2 лет, ты уверенно работаешь с SQL, Python, BI-инструментами, умеешь быть партнёром для бизнеса и понимаешь влияние задач на продукт.Твои возможности в Okko:👉 Работа в удобном формате — гибрид или удалённо👉 Забота о здоровье — ДМС со стоматологией👉 Льготные условия ипотеки в рамках зарплатного проекта👉 Задачи, которые влияют на миллионы зрителей👉 Комьюнити, внутренние активности и многое другое📎Подробнее об условиях, этапа…

🔥 Okko Analysts’ One Day Offer* — твой шанс попасть в команду аналитиков Okko 🛎️ Регистрация скоро закроется: подать заявку можно только до 28 июня, 23:59 МСК.😁 Okko ищет продуктовых и дата-аналитиков уровня middle+ и senior.✅Подходит, если у тебя есть опыт в аналитике от 2 лет, ты уверенно работаешь с SQL, Python, BI-инструментами, умеешь быть партнёром для бизнеса и понимаешь влияние задач на продукт.Твои возможности в Okko:👉 Работа в удобном формате — гибрид или удалённо👉 Забота о здоровье — ДМС со стоматологией👉 Льготные условия ипотеки в рамках зарплатного проекта👉 Задачи, которые влияют на миллионы зрителей👉 Комьюнити, внутренние активности и многое другое📎Подробнее об условиях, этапа…

Гарантируем вам трудоустройство в аналитике уже в 2026 году!Ребята, если вы давно смотрите в сторону аналитики или хотите прокачаться как специалист, для вас есть классная новость: сейчас ваше время сделать первый шаг! Симулейтив гарантируют ваше трудоустройство и берут оплату только после вашего трудоустройства! Данных вокруг всё больше, бизнесу нужны люди, которые умеют превращать цифры в решения. И именно этим занимаются аналитики данных - профессия, которая стабильно востребована уже много лет и не собирается сдавать позиции.Курс-симулятор «Аналитик данных» от SimulativeЧто внутри:➖12 модулей: SQL, Python, BI, статистика, продуктовые метрики и не только;➖Практика на реальных кейсах, кот…

Гарантируем вам трудоустройство в аналитике уже в 2026 году!Ребята, если вы давно смотрите в сторону аналитики или хотите прокачаться как специалист, для вас есть классная новость: сейчас ваше время сделать первый шаг! Симулейтив гарантируют ваше трудоустройство и берут оплату только после вашего трудоустройства! Данных вокруг всё больше, бизнесу нужны люди, которые умеют превращать цифры в решения. И именно этим занимаются аналитики данных - профессия, которая стабильно востребована уже много лет и не собирается сдавать позиции.Курс-симулятор «Аналитик данных» от SimulativeЧто внутри:➖12 модулей: SQL, Python, BI, статистика, продуктовые метрики и не только;➖Практика на реальных кейсах, кот…

💎ЗАКРЫТОЕ КОММЬЮНИТИ В СФЕРЕ АРБИТРАЖА КРИПТОВАЛЮТВыплаты от $3.000 в месяц и более (в зависимости от оборота) Первая выплата — через 3 дня - Предоставляем обучение, личные кураторы - Набор без опыта — выгодные условия для наших трейдеров - Команда №1 на рынке — присоединяйся и работай по лучшим связкам- Свободный график🔗Присоединиться - https://wavium.ru⚙️ Наш бот - https://t.me/waviumbot⚡️ПОДАТЬ ЗАЯВКУ⚡️ПОДАТЬ ЗАЯВКУ⚡️ПОДАТЬ ЗАЯВКУ

💎ЗАКРЫТОЕ КОММЬЮНИТИ В СФЕРЕ АРБИТРАЖА КРИПТОВАЛЮТВыплаты от $3.000 в месяц и более (в зависимости от оборота) Первая выплата — через 3 дня - Предоставляем обучение, личные кураторы - Набор без опыта — выгодные условия для наших трейдеров - Команда №1 на рынке — присоединяйся и работай по лучшим связкам- Свободный график🔗Присоединиться - https://wavium.ru⚙️ Наш бот - https://t.me/waviumbot⚡️ПОДАТЬ ЗАЯВКУ⚡️ПОДАТЬ ЗАЯВКУ⚡️ПОДАТЬ ЗАЯВКУ

Channel created

Channel created

Обычно по пятница выходит пятничный юмор, но сегодня - крайняя шутка.Этот канал прослужил мне верой и правдой почти 6.5 лет и за это время подарил мне очень разнообразный опыт, 5 тысяч рублей донатов, вакансии и проекты и больше 4 тысяч людей, которым интересно мое мнение на тему, о существовании которой я узнал чисто случайно 7 лет назад. Макс, ты помнишь как ты мне сказал "Так ты ведь получается занимаешься дата инжинирингом?" 😃Я безумно благодарен вам всем за то, что приходили в комменты и писали свое мнение, за бесконечное количество 💩 оставленных под постами, за репосты и материал, который вы приносили. Я смотрю на этот путь, который мы прошли с вами и я вам очень благодарен!По количес…

https://clickhouse.com/blog/clickhouse-kubernetes-operatorКликхаус выкатил K8S Operator. Это чтобы было изи раскатить клик в кубере.Да-да, давайте не будем базы данных держать в кубернетесе, только bare metal и весь остальной бубнеж.Большинству компаний будет достаточно и клика в кубере. (хотя, если честно, таким компаниям, наверное, рано в кубер)@ohmydataengineer

Если вы искали качественный туториал про то как использовать Claude Code лучше всего с лучшими настройками на данный момент, то вот, я прнс

https://www.youtube.com/watch?v=rmvDxxNubIgВ личку принесли еще один прекрасный, небольшой доклад про Context Engineering.Из забавного - почти ко всем советам, про которые говорится в докладе, дошел и стал применять самостоятельно, видимо я не настолько туп 😁@ohmydataengineer - канал "Труба данных" про всякое в мире работы с данным

Хотя про AI-агентов сейчас пишут буквально из каждого утюга, в этой статье мне особенно зацепился один момент — визуализация зависимости качества ответов LLM от длины контекста. Интуитивно мы все чувствуем, что «чем больше — тем лучше», но на практике кривая выглядит иначе: после определённого порога контекст начинает не помогать, а мешать. Сигнал тонет в шуме, модель теряет фокус, а качество решений деградирует. Забрал эту картинку себе в копилку как хорошее напоминание.Из этого логично вытекает важный тезис: формулировка задачи вторична, первична политика контекста. Не «как красиво спросить», а что именно и в каком объёме сейчас действительно нужно модели. Принцип «минимум, достаточный дл…

https://karpathy.bearblog.dev/year-in-review-2025Andrej Karpathy (ну тот, который был главнюком за AI в Tesla и не только) подвел отличные и оч лаконичные итоги года.Еще мне на прошлой неделе удалось посмотреть два интересных интервью и один докладик- Andrej Karpathy — “We’re summoning ghosts, not building animals” - https://www.youtube.com/watch?v=lXUZvyajciY- Ilya Sutskever – "We're moving from the age of scaling to the age of research"- https://www.youtube.com/watch?v=aR20FWCCjAs- Andrej Karpathy: Software Is Changing (Again) - https://www.youtube.com/watch?v=LCEmiRjPEtQИ нет, это не х2 скорость, это он так в реальности говорит 😃@ohmydataengineer - канал "Труба данных" про всякое в мире …

Новые поглощения и покупки: IBM покупает Confluent (не путать с Confluence 😆, это которые Kafka)https://www.reuters.com/technology/ibm-nears-roughly-11-billion-deal-confluent-wsj-reports-2025-12-08/@ohmydataengineer

Показываем аудитории молодые open-source проекты. Мне не жалко, вдруг кому-то будет интересно.🔐 Postgresus - self-hosted инструмент для резервного копирования и мониторинга PostgreSQL базы данных🔥 Возможности:- создание бекапов по расписанию для PostgreSQL 13-18;- уведомления в Telegram, Slack, Discord, если бекап сломался или база недоступна;- хранение бекапов локально, в S3 или Google Drive;- health check базы данных раз в минуту;- Apache 2.0 лицензия (полностью открытый);Запуск через Docker:docker run -d --name postgresus -p 4005:4005 -v ./postgresus-data:/postgresus-data --restart unless-stopped rostislavdugin/postgresus:latest📌 GitHub

MiniO все.This project is currently under maintenance and is not accepting new changes. • The codebase is in a maintenance-only state • No new features, enhancements, or pull requests will be accepted • Critical security fixes may be evaluated on a case-by-case basis • Existing issues and pull requests will not be actively reviewed • Community support continues on a best-effort basis through Slackhttps://github.com/minio/minio@ohmydataengineer

https://bfcm.shopify.comУ Shopify в этом году на Βlack Friday было 45kk сообщений в Кафку в секунду...(скриншот, конечно, сегодняшний, а не пятничный, но сам вебсайт оч классный с техническими метриками)А сколько там пасхалок на этом сайте... 😃 (одна из них что он жрет гигабайт оперативки)@ohmydataengineer

Российские ETL решения....Я даж не знаю, смеяться или плакать..🙈Специально оставлю вам ссылку с картинки https://russianbi.ru/ - чтобы вы сами посмотрели на это.

мне кажется последние два интервью отлично смотрятся вместе и дополняют друг друга >_>и отдельно мысль, которая где-то проговаривалась в этих интервью: токены — новый вид бенефита для сотрудников. большие компании готовы вливать миллионы в токены для своих разработчиков. а сами поставщики фундаментальных моделей в принципе ограничены только внутренними мощностями для своих сотрудников.в подкастах Кирилла Мокевнина @orgprog упоминали, что в долине у каждого второго безлимит на модели OpenAI / Anthropic по тем или иным каналам

мне кажется последние два интервью отлично смотрятся вместе и дополняют друг друга >_>и отдельно мысль, которая где-то проговаривалась в этих интервью: токены — новый вид бенефита для сотрудников. большие компании готовы вливать миллионы в токены для своих разработчиков. а сами поставщики фундаментальных моделей в принципе ограничены только внутренними мощностями для своих сотрудников.в подкастах Кирилла Мокевнина @orgprog упоминали, что в долине у каждого второго безлимит на модели OpenAI / Anthropic по тем или иным каналам

🥷 DHH об agent-first подходеDHH — известный ии-скептик и сторонник написания кода вручную; в своём сетапе он не использует IDE с их подсказками и навигацией по коду — всё набивает ручками (и радуется)ещё DHH известен своими сильным мнением и радикальными взглядами — он говорит что думает, не взирая на мнения большинства или отдельных авторитетовнедавно зашёл к Pragmatic Engineer на интервьюhttps://youtu.be/JiWgKRgdgpIи вот наступил действительно переломный момент: ⁃ июль 2025 — DHH не верит и не использует агентов ⁃ январь 2026 — DHH переходит на agent-first разработку что поменялось? вышли модели, которые выдают достаточно хороший результат, которые при минимальных доработках можно шипать …

🥷 DHH об agent-first подходеDHH — известный ии-скептик и сторонник написания кода вручную; в своём сетапе он не использует IDE с их подсказками и навигацией по коду — всё набивает ручками (и радуется)ещё DHH известен своими сильным мнением и радикальными взглядами — он говорит что думает, не взирая на мнения большинства или отдельных авторитетовнедавно зашёл к Pragmatic Engineer на интервьюhttps://youtu.be/JiWgKRgdgpIи вот наступил действительно переломный момент: ⁃ июль 2025 — DHH не верит и не использует агентов ⁃ январь 2026 — DHH переходит на agent-first разработку что поменялось? вышли модели, которые выдают достаточно хороший результат, которые при минимальных доработках можно шипать …

🦄 руководитель Claude Code об AI в разработкепослушал интервью Бориса Чёрного в подкасте Ленни. Борис написал первую версию Claude Code и теперь руководит этим направлением в Anthropic.https://youtu.be/We7BZVKbCVwпо их данным сейчас уже 4% всех коммитов в Гитхаб создаются через Claude Code (ожидают 20% к концу года)интересно, что первую версию Claude Code Борис сделал прошлой весной и это не был сиюминутный успех; популярность инструмента росла постепенно и взрывной рост случился после выхода модели осенью (Опус 4.5 кажется)и с ноября 2025 Борис не написал ни строчки кода вручную — всё через Клода; так же приводит в пример «лучших программистов Spotify», мол, они тоже больше не пишут код ру…

🦄 руководитель Claude Code об AI в разработкепослушал интервью Бориса Чёрного в подкасте Ленни. Борис написал первую версию Claude Code и теперь руководит этим направлением в Anthropic.https://youtu.be/We7BZVKbCVwпо их данным сейчас уже 4% всех коммитов в Гитхаб создаются через Claude Code (ожидают 20% к концу года)интересно, что первую версию Claude Code Борис сделал прошлой весной и это не был сиюминутный успех; популярность инструмента росла постепенно и взрывной рост случился после выхода модели осенью (Опус 4.5 кажется)и с ноября 2025 Борис не написал ни строчки кода вручную — всё через Клода; так же приводит в пример «лучших программистов Spotify», мол, они тоже больше не пишут код ру…

📁 про культуру ведения тикетовпродолжаю рассказывать про внутрянку нашей команды, привлекая ваше внимание к активным вакансиям >_>> важный дисклеймер: это не я, это всё наш техлид Кирилл (я тут только документирую и выношу)думаю, все видели тикеты, прочитав которые, осталось непонятным что́ надо сделать; или задачи, где ты вроде сделал что было написано, но оказалось, что нужно было не то и не так ¯\_(ツ)_/¯ мы в команде стараемся придерживаться культуры ведения задач — попробую описать как я это вижу⌘⌘⌘начнём с того, что создать хороший тикет - это отдельная работа; чтобы понятно описать что надо сделать, надо как минимум представлять проблему и целевое решениеесть базовый паттерн, которого …

📁 про культуру ведения тикетовпродолжаю рассказывать про внутрянку нашей команды, привлекая ваше внимание к активным вакансиям >_>> важный дисклеймер: это не я, это всё наш техлид Кирилл (я тут только документирую и выношу)думаю, все видели тикеты, прочитав которые, осталось непонятным что́ надо сделать; или задачи, где ты вроде сделал что было написано, но оказалось, что нужно было не то и не так ¯\_(ツ)_/¯ мы в команде стараемся придерживаться культуры ведения задач — попробую описать как я это вижу⌘⌘⌘начнём с того, что создать хороший тикет - это отдельная работа; чтобы понятно описать что надо сделать, надо как минимум представлять проблему и целевое решениеесть базовый паттерн, которого …

🦀 Clawdbot / Moltbot / OpenClaw там похоже намечается очередной качественный скачок аи-строения: австрийский программист написал автономного (?) ии-агента… и понеслосьформат горячих новостей не мой любимый жанр, но это залетело в моё инфополе с трёх разных сторон:+ Самат Галимов накидал ссылок для понимания контекстаhttps://t.me/ctodaily/1995+ Pragmatic Engineer выпустил интервью с авторомhttps://youtu.be/8lF7HmQ_RgY+ ребята из Шмит16 собрались вместе где-то на Бали и скупают все доступные мак-мини, чтобы устроить ферму из таких аи-агентов сам автор бота не случайный мамкин вайбкодер — он начинал ещё с веб-приложений в начале 2000-х и потом перешёл на приложения айос для первого айфона. пот…

🦀 Clawdbot / Moltbot / OpenClaw там похоже намечается очередной качественный скачок аи-строения: австрийский программист написал автономного (?) ии-агента… и понеслосьформат горячих новостей не мой любимый жанр, но это залетело в моё инфополе с трёх разных сторон:+ Самат Галимов накидал ссылок для понимания контекстаhttps://t.me/ctodaily/1995+ Pragmatic Engineer выпустил интервью с авторомhttps://youtu.be/8lF7HmQ_RgY+ ребята из Шмит16 собрались вместе где-то на Бали и скупают все доступные мак-мини, чтобы устроить ферму из таких аи-агентов сам автор бота не случайный мамкин вайбкодер — он начинал ещё с веб-приложений в начале 2000-х и потом перешёл на приложения айос для первого айфона. пот…

data будни pinned «📢 ищем дата-коллег к себе в Яндекс Финтех → дата инженеры https://yandex.ru/jobs/vacancies/inzhener-dannih-v-finteh-36637 → дата-партнёры (они же системные аналитики двх) https://yandex.ru/jobs/vacancies/analitik-dwh-v-finteh-27815 это прям в нашу команду…»

data будни pinned «📢 ищем дата-коллег к себе в Яндекс Финтех → дата инженеры https://yandex.ru/jobs/vacancies/inzhener-dannih-v-finteh-36637 → дата-партнёры (они же системные аналитики двх) https://yandex.ru/jobs/vacancies/analitik-dwh-v-finteh-27815 это прям в нашу команду…»

✍️ о код-ревью у нас в команде в прод только через пулл-реквесты и каждый пулл-реквест должно посмотреть двое коллег. моя личная статистика за 2025 год показывает 430 проведённых код-ревью. сложились какие-то мысли по этому поводу, ниже пытаюсь собрать их…

✍️ о код-ревью у нас в команде в прод только через пулл-реквесты и каждый пулл-реквест должно посмотреть двое коллег. моя личная статистика за 2025 год показывает 430 проведённых код-ревью. сложились какие-то мысли по этому поводу, ниже пытаюсь собрать их…

📢 ищем дата-коллег к себе в Яндекс Финтех→ дата инженерыhttps://yandex.ru/jobs/vacancies/inzhener-dannih-v-finteh-36637→ дата-партнёры (они же системные аналитики двх)https://yandex.ru/jobs/vacancies/analitik-dwh-v-finteh-27815это прям в нашу команду, то есть будем работать вместе) наша команда свежая — начали строить наш двх осенью 2024; поэтому не успели пока обрасти легаси и техдолгами, зато смогли заработать репутацию и кредит доверия за свой первый полный год работы.хотим и дальше нести свет в массы, поэтому активно ищем новых коллегчто у нас есть интересного:→ есть полная документация — наши объекты не идут в прод без описания каждого атрибута→ на нанейминг полей и объектов — есть кон…

Как Yandex Go с помощью аналитической платформы Atlas превращает карты в источник инсайтов и быстрой аналитики, читайте в статье на Хабре

Как Yandex Go с помощью аналитической платформы Atlas превращает карты в источник инсайтов и быстрой аналитики, читайте в статье на Хабре

Это межсезонный эпизод «Запуск завтра». В нем — скрининг миллионов молекул, нейросети для поиска активных сперматозоидов и изучение щелчков кашалотов. Мы позвали научного обозревателя Илью Колмановского, чтобы узнать, как ИИ приходит в науку и почему для ученых это — обоюдоострый нож.Подписывайтесь на Либо/Либо+! В честь семилетия нашей студии годовая подписка стоит всего 2495 рублей. Подписывайтесь в Telegram: https://cutt.ly/don24bttg и в Apple Podcasts https://cutt.ly/don24btap28 июля старт курса по нарративным подкастам: https://course.libolibo.ru/podcast-narrative-course По промокоду ЗАПУСК — скидка 10%.Слушайте подкаст «Голый землекоп». Эпизоды, упомянутые в разговоре: «Зачем нужна ме…

Правда, что если в названии стартапа есть слово «искусственный интеллект», то в него не глядя вложат деньги? В этом выпуске венчурный инвестор из Долины Николай Давыдов простым языком объясняет, как устроена индустрия. А ещё — какие красные флаги бывают у стартапов, как он на самом старте понял, что надо вкладываться в Perplexity — сейчас это один из самых дорогих ИИ-стартапов в мире, и почему компании для инвестиций нужно выбирать серьёзнее, чем женуРеклама. Рекламодатель АО «Селектел». erid: 2SDnjdAKTeaSelectel — независимый провайдер, который поможет построить надежную и гибкую ИТ-инфраструктуру для проектов разной сложности, в том числе для масштабных задач: https://slc.tl/6n7x8⚡️ У это…

Умные часы, умные браслеты, умные кольца — наверняка ваши знакомые или вы сами задумывались о покупке таких устройств. Производители убеждают, что помогут вам на пути к здоровью и высокому качеству жизни. Но что на самом деле умеют такие девайсы? Кому они реально полезны, а для кого — дорогая игрушка? На что обращать внимание при выборе? В этом эпизоде мы разбираемся, стоит ли вам тратить деньги на еще один гаджет, а помогает нам в этом Татьяна Гатинская. Татьяна много лет занималась медицинскими изделиями в фармацевтической компании Novartis, а сейчас вместе с командой создает свое носимое устройство. Реклама. Рекламодатель АО «Селектел». erid: 2SDnjeBdxkrSelectel — независимый провайдер, …

Помните, когда каждый полет в космос был большим событием? Теперь пусками как будто никого не удивишь — в новостях постоянно пишут, что Илон Маск с его компанией SpaceX опять что-то запустили. Зачем отправлять в космос так много ракет? Какие безумные планы строят самые крупные игроки космической индустрии? И почему это все касается нас, простых людей на Земле? Вместе с аналитиком ракетных пусков Георгием Тришкиным разбираемся, для чего нам космос и какого развития мы ожидаем в ближайшие годы.Реклама. Рекламодатель АО «Селектел». erid: 2SDnje1D24zSelectel — независимый провайдер, который поможет построить надежную и гибкую ИТ-инфраструктуру для проектов разной сложности, в том числе для масш…

Нейросети научились находить уязвимости. Что это значит для разработчиков и обычных пользователей? Станет ли проще атаковать и сложнее защищаться? Вместе с главным экспертом из Лаборатории Касперского Сергеем Головановым разбираемся, как меняется индустрия, когда и хакеры, и безопасники вооружились искусственным интеллектом.Реклама. Рекламодатель АО «Селектел». erid: 2SDnjeiSCq8Selectel — независимый провайдер, который поможет построить надежную и гибкую ИТ-инфраструктуру для проектов разной сложности, в том числе для масштабных задач: https://slc.tl/97prs⚡️ У этого выпуска есть видеоверсия! Посмотрите ее на нашем YouTube-канале: https://www.youtube.com/@launchtomorrow Будем очень благодарн…

Чипы — это маленькие кремниевые пластинки внутри всех наших устройств. Без них не разогреется еда в микроволновке и не заведётся автомобиль — чипы нужны буквально везде. При этом их производство — настолько запутанный процесс, что удивительно, как он вообще работает. Сегодня мы разберёмся, как устроены современные чипы и почему в последние годы они подорожали. Поговорю я с Дианой Гришиной — она работала в ASML, единственной в мире компании, которая производит станки для создания самых крутых чипов.Реклама. Рекламодатель АО «Селектел». erid: 2SDnjcRXCVQSelectel — независимый провайдер, который поможет построить надежную и гибкую ИТ-инфраструктуру для проектов разной сложности, в том числе дл…

После февраля 2022 года российская гражданская авиация оказалась практически отрезана санкциями от остального мира. Запреты коснулись не только воздушного пространства, но и лизинга, регистрации и обслуживания самолетов. И это целиком поменяло работу авиакомпаний. Как теперь поддерживаются самолеты в России? Сможет ли авиация перейти на «отечественный флот»? Стало ли опаснее летать? Рассказывает Анастасия Дагаева, журналистка и независимый авиационный эксперт.Реклама. Рекламодатель АО «Селектел». erid: 2SDnjeXxtnNSelectel — независимый провайдер, который поможет построить надежную и гибкую ИТ-инфраструктуру для проектов разной сложности, в том числе для масштабных задач: https://slc.tl/m4hc…

В прошлом выпуске мы разбирались, как устроены эмоциональные ИИ-компаньоны под капотом. А в этом смотрим на отношения с ИИ с другой стороны. Опасно ли общаться с кем-то, кто не может сказать «нет»? Почему романтические отношения переоценены? И что делать родителям, если их ребёнок часами переписывается с ИИ? Самат Галимов говорит с семейным психологом и секс-терапевтом Мариной Травковой.Реклама. Рекламодатель АО «Селектел». erid: 2SDnjccwtV8Selectel — независимый провайдер, который поможет построить надежную и гибкую ИТ-инфраструктуру для проектов разной сложности, в том числе для масштабных задач: https://slc.tl/w0lq3 Сайт Марины Травковой: https://travkova.com/⚡️ У этого выпуска есть виде…

Представьте, что вы достаёте телефон и видите новое уведомление. Собеседник в мессенджере спрашивает, как у вас дела, делится планами, шутит. Вы переписываетесь каждый день, иногда по несколько часов. А теперь представьте, что этот собеседник — не человек, а ИИ-компаньон, который настроен идеально под ваши потребности. Если вас это удивляет, вот ещё один факт: у сервисов с такими ботами уже миллионы пользователей и их популярность растёт. Как создаются эмоциональные ИИ-компаньоны? Какой персонаж среди них — звезда? И как работает эта индустрия? Самат Галимов говорит с Артёмом Родичевым, основателем платформы Ex-human.Реклама. Рекламодатель АО «Селектел». erid: 2SDnjejvUn6Selectel — независи…

Искусственного интеллекта в нашей жизни станет только больше. При этом значительная часть вычислительных мощностей для него сосредоточена в руках нескольких крупных американских корпораций — Google, Microsoft, Amazon. Братья Даниил и Давид Либерманы считают, что такая централизация опасна, и строят альтернативную распределенную сеть по опыту Bitcoin. Этот эпизод — о борьбе с монополией на ИИ, мире с AGI и обществе изобилияРеклама. Рекламодатель АО «Селектел». erid: 2SDnjebM1xvSelectel — независимый провайдер, который поможет построить надежную и гибкую ИТ-инфраструктуру для проектов разной сложности, в том числе для масштабных задач: https://slc.tl/wkkak ⚡️ У этого выпуска есть видеоверсия!…

Управление компьютером силой мысли — не научная фантастика. Лаборатории и стартапы по всему миру давно проводят эксперименты и разрабатывают интерфейсы, которые позволят миллионам людей пользоваться технологиями, минуя физические действия. Один из самых громких проектов в этой области — Neuralink Илона Маска; его пациентам вживляют датчики для считывания сигналов прямо в мозг. В этом выпуске кандидат биологических наук и руководитель группы нейрокогнитивных интерфейсов Сергей Шишкин рассказывает, как декодировать работу мозга, можно ли обойтись без инвазивных хирургических операций и на что способны нейротехнологии сегодня.Реклама. Рекламодатель АО «Селектел». erid: 2SDnjcR4GznSelectel — не…

Можно ли «подкрутить» себе настройки здоровья? Существует ли ген алкоголизма? Как читают и редактируют ДНК? Самат Галимов говорит с Михаилом Гельфандом — одним из главных биоинформатиков России — о том, что умеет современная генетика, и разбирает популярные мифы.Реклама. Рекламодатель АО «Селектел». erid: 2SDnjc2ro9kSelectel — независимый провайдер, который поможет построить надежную и гибкую ИТ-инфраструктуру для масштабных задач: https://slc.tl/j2698 Телеграм-канал Михаила Гельфанда: https://t.me/mikhail_s_gelfand Рекомендации Михаила:Александр Панчин «Сумма биотехнологии»Александр Марков «Рождение сложности. Эволюционная биология сегодня» Евгений Кунин «Логика случая. О природе и происхо…

Почему нам хочется увидеть в искусственном интеллекте собеседника? Как нейросети контролируют ход диалога? И что из-за них меняется в человеческом общении? Культуролог и исследовательница цифровой среды Оксана Мороз объясняет, как общение с искусственным интеллектом влияет на нас.Реклама. Рекламодатель АО «Селектел». erid: 2SDnjdNBa9xSelectel — независимый провайдер, который поможет построить надежную и гибкую ИТ-инфраструктуру для проектов разной сложности: https://slc.tl/fmodg⚡️ У этого выпуска есть видеоверсия! Посмотрите ее на нашем YouTube-канале: https://www.youtube.com/@launchtomorrow Будем очень благодарны вам за подписку на канал, лайк и комментарий — это очень поможет нам делать в…

Как искать работу в 2026? Короткий ответ: непросто! Вместе с основательницей агентства NEWHR Кирой Кузьменко разбираемся, как меняется найм с ИИ, и проходим весь путь от поиска вакансии до переговоров о зарплате. Реклама. Рекламодатель АО «Селектел». erid: 2SDnjd2g7CDSelectel — независимый провайдер, который поможет построить надежную и гибкую ИТ-инфраструктуру для проектов разной сложности: https://slc.tl/vxev6 Агентство Киры: NEWHR.orgКанал Киры: https://t.me/kirafoundКурс про поиск работы: HelloNewJob.orgСлушайте бонусные выпуски «Запуска завтра» и других подкастов студии «Либо/Либо» по подписке Либо/Либо+ в Telegram: https://cutt.ly/zap0225epap и в Apple Podcasts https://cutt.ly/zap0225…

Раздражает, что выдача в Google замусорена рекламой и нерелевантными ссылками? Вместе с фактчекером Павлом Банниковым разбираемся, почему испортился поиск, что помогает гуглить эффективно и как правильно искать с нейросетями.Реклама. Рекламодатель АО «Селектел». erid: 2SDnjdEyrEdSelectel — Selectel — независимый провайдер, который поможет построить надежную и гибкую инфраструктуру для проектов разной сложности: https://slc.tl/cxf73 Телеграм-канал Павла: https://t.me/pavelbannikovПроекты журналиста-расследователя Хэнка ван Эсса: https://www.digitaldigging.org⚡️ У этого выпуска есть видеоверсия! Посмотрите ее на YouTube: https://youtu.be/0vp_239OXdw. Будем очень благодарны вам за подписку на …

Ведущие – Григорий Петров и Михаил Корнеев

Новости выпуска: Steering consul дает команде JIT 6 месяцев, чтобы сделать PEP — https://discuss.python.org/t/an-announcement-from-the-steering-council-regarding-the-jit-project/107638 Два форка — httpx — https://tildeweb.nl/~michiel/httpx2.html PEP 661 – Sentinel Values — https://peps.python.org/pep-0661/ Любопытные результаты MOD_WSGI и free threading — https://grahamdumpleton.me/posts/2026/05/free-threading-vs-the-gil-in-mod-wsgi-6-0-0/ Жизнь до Github — https://lucumr.pocoo.org/2026/4/28/before-github/ Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Te…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев

Новости выпуска: Reverting the incremental GC in Python 3.14 and 3.15 — https://discuss.python.org/t/reverting-the-incremental-gc-in-python-3-14-and-3-15/107014 PEP 772 – Packaging Council governance process — https://peps.python.org/pep-0772/ What's new in pip 26.1 - lockfiles and dependency cooldowns — https://ichard26.github.io/blog/2026/04/whats-new-in-pip-26.1/ PyPI Security Best Practices — https://github.com/lirantal/pypi-security-best-practices Еще один package manager - pixi — https://codecut.ai/uv-pixi-…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев

Новости выпуска: Python 3.15’s JIT is now back on track — https://fidget-spinner.github.io/posts/jit-on-track.html OpenAI покупает Astral — https://openai.com/index/openai-to-acquire-astral/ JazzBand закрывается — https://jazzband.co/news/2026/03/14/sunsetting-jazzband Первый публичный релиз Django Modern Rest — https://github.com/wemake-services/django-modern-rest/releases/tag/0.1.0 Defense in Depth: A Practical Guide to Python Supply Chain Security — https://bernat.tech/posts/securing-python-supply-chain/ The S…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF

Ведущие – Григорий Петров и Михаил Корнеев Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python

Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru

Митапы Moscow Python — https://moscowpython.ru

Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/

Канал Moscow Python в VK — https://vk.com/moscowpythonconf

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев

Новости выпуска: Мейнтейнер httpx закрыл доступ к issues и discussions — https://github.com/encode/httpx/discussions/3784 Anthropic invests $1.5 million in the Python Software Foundation and open source security — https://pyfound.blogspot.com/2025/12/anthropic-invests-in-python.html Evolving Git for the next decade — https://lwn.net/Articles/1057561/ A CLI to fight GitHub spam — https://hugovk.dev/blog/2026/gh-triage/ Starlette 1.0.0rc1 — https://starlette.dev/release-notes/ Ссылки выпуска:

Курс Learn Python — ht…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев Ссылки от Сергея: toloka.ai - компания

https://platform.toloka.ai/ - self service (быстрая разметка данных)

tendem.ai - Tendem (кентавр AI + human)

как начать работать в Толоке экспертом: https://mindrift.ai/apply Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Новости выпуска: убивают ли Python инкрементальные улучшения

релиз Pandas 3.0 недавние тренды Django Security Team в CPython и psutils избавились от busy-polling при работе с subprocess PyPI в 2025 году

PEP 822 — d-string или новый синтаксис для многострочных строковых литералов без лишних отступов Ведущие – Григорий Петров и Михаил Корнеев

Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.r…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python

Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru

Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/

Канал Moscow Python в VK — https://vk.com/moscowpythonconf

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF

Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: тайп-чекер ty от Astral — https://astral.sh/blog/ty

ежегодный топ Python-библиотек — https://tryolabs.com/blog/top-python-...

Microsoft зарелизила mssql-python 1.0.0 — https://techcommunity.microsoft.com/b...

Deprecations via warnings don’t work for Python libraries — https://sethmlarson.dev/deprecations-...

30 things I’ve learned from 30 years as a Python freelancer — https://lerner.co.il/2025/12/08/30-th...

Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegr…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев

Ссылки выпуска:

Блог Коли Хитрова — https://t.me/nkhitrov_blog

Канал Никиты Соболева — https://t.me/opensource_findings Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/ Канал Moscow Python в VK — https://vk.com/moscowpythonconf Курс «Основы Python»…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев

Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/ Канал Moscow Python в VK — https://vk.com/moscowpythonconf Курс «Основы Python» от Learn Python — это отличный старт для новичков в программировании. За несколько уроков вы освоите ба…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF

Ведущие – Григорий Петров и Михаил Корнеев Эфир с Дмитрием про карьеру — https://t.me/geekfactor_devs/16

Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python

Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru

Митапы Moscow Python — https://moscowpython.ru

Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/

Канал Moscow Python в VK — https://vk.com/moscowpythonconf

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев

Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/ Канал Moscow Python в VK — https://vk.com/moscowpythonconf Курс «Основы Python» от Learn Python — это отличный старт для новичков в программировании. За несколько уроков вы освоите ба…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев

Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/ Канал Moscow Python в VK — https://vk.com/moscowpythonconf Курс «Основы Python» от Learn Python — это отличный старт для новичков в программировании. За несколько уроков вы освоите ба…

Elixir часто воспринимают как более дружелюбный синтаксис поверх Erlang, но достаточно ли такого объяснения в 2026 году? Вместе с Данилой Поярковым, разработчиком более 50 open source проектов для Elixir с суммарно около миллиона скачиваний, разбираемся, что язык унаследовал от Erlang и BEAM, где его используют сегодня и насколько зрелой стала его экосистема. Обсуждаем Phoenix и LiveView, метапрограммирование и Ecto, конкурентность и производительность BEAM. Отдельно смотрим на ML-инструменты NX, Axon, Bumblebee и Livebook, интеграцию с Rust и библиотеки вокруг Elixir. В финале говорим о пригодности для вайбкодинга, AI-агентах и будущем языка. Получился интересный выпуск для тех, кто выбира…

В разработке с агентами нам больше всего не хватает контроля за результатом и уверенности в нем. Один из способов их получить – использовать подход Spec-Driven Development, в котором перед тем, как отправить агента писать код, мы готовим ему понятное описание задачи и с продуктовой, и с архитектурной стороны. Вместе с Алексеем Верховским, мейнтейнером фреймворка BMAD, мы разбираемся во всех прикладных вопросах вокруг разработки по SDD. А если вы хотите вкатиться не только в SDD, но и в другие практики AI разработки, вступайте в наше закрытое сообщество Podlodka AI Engineers Club – закрытый чат, еженедельные стримы, хакатоны.

https://podlodka.ai Также ждем вас, ваши лайки, репосты и комменты…

В мире пользовательских интерфейсов каждый год происходят эволюции, а иногда и революции. Терминалы тем временем уже десятки лет как будто бы застыли во времени. Концептуально мало что поменялось, но баззвордов стало много: bash, zsh, tty, GPU acceleration в конце концов. А с приходом AI выросла популярность CLI-тулов, благодаря чему терминалы переживают ренессанс.

Так что же там происходит? Разбираемся в этом выпуске вместе с Ником Скрябиным! Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Twitter-аккаунт: https://twitter.com/PodcastPodlodka Ведущие в выпуске:

Женя Кателла, Андрей Смирно…

Дмитрий Казаков — ведущий разработчик Krita, opensource-редактора, которым художники рисуют комиксы, концепт-арты и анимацию. Начали с того, чем растровые форматы отличаются от векторных и что на самом деле скрыто внутри проприетарных форматов графических редакторов — там не только пиксели, но и зашитые в файл функции, а иногда и легаси на уровне самого формата. Дальше разобрали графические редакторы изнутри: как устроена система хранения на тайлах, зачем редактору lock-free структуры данных и подкачка с диска, как планировщик гарантирует отсутствие race condition, почему в Krita два раздельных рендеринга и где реально помогает GPU, а где нет, какие инструкции процессора вроде AVX и AVX2 ус…

CAPTCHA давно перестала быть историей про светофоры, пешеходные переходы и кривые буквы. Сегодня это скорее часть антибот-защиты: система оценивает риск, смотрит на сигналы поведения и решает, можно ли пропустить пользователя сразу или лучше проверить внимательнее. В этом выпуске говорим с Русланом Сабиргалиевым из Smart Captcha и антибот-защиты от Яндекса не только про UX-боль, но и про экономику атак: зачем боты вообще приходят, сколько это может стоить сервису и почему иногда проще усложнить жизнь атакующим, чем пытаться идеально отличить человека от машины. Разбираем, как работают современные капчи, что такое невидимые проверки и risk scoring, какие сигналы может учитывать система, где …

AI уже меняет найм: резюме пишутся нейросетями, кандидаты массово откликаются на вакансии, на собеседованиях подсказывают боты, а компании пытаются понять, как теперь отличать сильных людей от сгенерированного шума. В этом выпуске обсуждаем, каких людей компании будут нанимать в эпоху AI. Почему всё чаще говорят про high agency и вкус? Кто в ближайшее время точно не станет заменяемым: фаундеры, врачи, юристы, люди с ответственностью, контекстом, отношениями и настоящим профессиональным чутьём? Разберёмся и с рекрутингом: как меняются собеседования, какие появляются способы оценки кандидатов и как компании пытаются передизайнить найм под AI-native мир. А ещё говорим о том, что AI до сих пор …

Дмитрий Свиридкин — один из немногих инженеров в русскоязычном пространстве, кто регулярно погружается в тонкости низкоуровневых языков программирования. А когда речь заходит об undefined behavior и ошибках небезопасного использования памяти, Диму вполне можно назвать уникальным экспертом.

Именно поэтому он — идеальный гость для сегодняшнего выпуска про Rust.

Rust появился во многом как ответ на запрос на низкоуровневые языки с хорошими гарантиями безопасности. Поэтому нам было особенно интересно обсудить его с человеком, который не понаслышке знает цену ошибок управления памятью в C++.

В этом выпуске мы погрузились в саму суть вопроса, и обсудить здесь действительно есть что. Чем приходитс…

Выступать с докладом и на родном языке – огромный стресс, а на английском с уровнем B1/B2 и уверенностью ниже плинтуса – вообще непередаваемые ощущения. Мы позвали в гости Хади Харири, спикера с каким-то невероятным опытом, чтобы разобраться, а как научиться делать достойные доклады на английском языке, когда он для тебя не родной. Получился очень теплый выпуск, в котором мы разобрали вообще все – от того, как подавать заявку на международную конференцию, до того, нужно ли тренировать оксфордский акцент! До старта нового сезона Podlodka AI Crew осталось совсем немного — начинаем 15 июня 🚀Собрали яркие доклады и демо про AI-агентов, AI-дизайн, Eval Driven Development и автоматизацию инженерн…

CTF часто выглядит как что-то нишевое и слегка мифологизированное: элитные хакеры, странные задачи, табло, адреналин. С Александром Алексеевым разбираем, что за этим стоит на самом деле. Александр много лет строил CTF-среду и знает её изнутри: от команды «Хакердом» и RuCTF до коммерческих соревнований под задачи бизнеса. Выпуск получился про устройство жанра. Что отличает хороший CTF от плохого, почему сильная команда — это не просто набор умных одиночек, где формат помогает учить и отбирать людей, а где начинает расходиться с реальной безопасностью. И, конечно, отдельно говорим про AI: что он уже поменял в задачах, участниках и будущем самих соревнований. Также ждем вас, ваши лайки, репост…

Кирилл Булатов помогает разрабатывать Zed – редактор кода, написанный на Rust командой, которая раньше делала Atom. Без Electron, без готовых UI-фреймворков: у Zed собственный графический движок GPUI, Tree-sitter как основа для парсинга и CRDT для совместного редактирования без конфликтов. В выпуске Кирилл объясняет, почему команда выбрала именно этот путь и что из этого получилось. Разберём архитектуру редактора изнутри: что происходит от открытия файла до работы с AI-агентом, как устроен протокол ACP, зачем Zed написал собственный UI-движок вместо использования готового и почему команда не стала брать экосистему плагинов VSCode. Поговорим о пользователях, конкурентах и о том, как опенсорс…

Кирилл Мокевнин – сооснователь онлайн-школы программирования «Хекслет», разработчик с почти двадцатилетним стажем, амбассадор организованного программирования и автор одноимённых YouTube- и Telegram-каналов. Он работал с Ruby on Rails ещё в коммерческой разработке, вокруг Rails строился сам Хекслет, и во многом на рельсах формировался его инженерный опыт. Rails много раз хоронили, но он почему-то продолжает жить. В него коммитят, вокруг него остаются большие продукты, он по-прежнему очень быстро закрывает типовые веб-задачи и даёт то самое ощущение, что один человек может сделать приложение от и до. Разбираем главные идеи рельсов: convention over configuration, ActiveRecord, миграции, серве…

Австралия – идеальный кандидат для релокации. Английский язык, океан, безопасность, высокий уровень жизни, нормальный work-life balance. В этом выпуске Константин Аксенов, разработчик и многодетный отец, разбирает все аспекты переезда и жизни в Австралии. Говорим про все типы виз, поиск работы в IT, аренду, медицину, культурную адаптацию и, конечно же, про главный вопрос: кому Австралия действительно подходит, а кому лучше не строить вокруг нее большие планы. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Twitter-аккаунт: https://twitter.com/PodcastPodlodka Ведущие в выпуске:

Егор Толсто…

В ряду выпусков про фреймворки пополнение! Разбираемся, правда ли в Django есть все, что нужно для типичного веб-сервиса, и правда ли это лучший выбор для перфекционистов с дедлайнами! А помогает нам Артем Малышев. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodcastPodlodka Ведущие в выпуске:

Женя Кателла, Стас Цыганов Полезные ссылки: Сайт Django

https://www.djangoproject.com/

В этом выпуске вместе с Витой Степановой разбираемся, что такое старение с точки зрения биологии, где сегодня находится наука и какими технологиями уже можно воспользоваться. Обсудили, какие направления в индустрии сейчас выглядят наиболее перспективными и чем занимаются компании вроде Gero и Insilico. Отдельно, конечно, поговорили о роли AI, данных и носимых устройств — и о том, где за этим стоят реальные возможности. И напоследок — о женском здоровье как одном из ключевых направлений в теме долголетия! Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com…

Евгений Датский CTO компании carbonHQ. https://carbonhq.earth/ Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Матвей Кукуй — CEO и сооснователь платформы для оркестрации ИИ агентов Archestra AI. https://archestra.ai/ Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Давайте разберёмся, что такое Claude Mythos и на что стоит обратить внимание в контексте самого шумного релиза моделей в апреле. телеграм подкаста: https://t.me/progulka Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Екатерина Кухтенко — фаундер стартапа VAir. VAir позволяет точно детектировать ряд вирусов в дыхании пациента. 11 Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Сегодня делаем обзор книги Говарда Тёрмана Книга: https://en.wikipedia.org/wiki/Jesus_and_the_Disinherited "Бродский" о доставке: https://www.instagram.com/reel/DXPziC8DH_0/ Свежий сабстак: https://caput.substack.com/p/it-is-not-your-ai Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Андрей Себрант — директор Яндекса по стратегическому маркетингу, автор и ведущий подкаста "Трёп Себранта", автор телеграм канала TechSparks. Подкаст: https://sebrant.chat/ Канал: https://t.me/techsparks Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Александр Ерин создатель Linked Helper. Теорема, о которой Александр говорит в выпуске: https://drive.google.com/file/d/1ZwgEAEh319Jz3ea5uCfgRbU0z_dkskNh/view?pli=1 Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Василий Королишин стажировался в Южной Корее и США, а сейчас входит в ряд международных ассоциаций врачей (NASS, EANS и RASS). Он является автором 20+ научных публикаций. За 15 лет практики он помог более 10 000 пациентам. Мы поговорили про то, как поддерживать здоровье спины, если вы работаете сидя. Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Дмитрий Волков старший исследователь в Palisade Research. Он занимается изучением рисков, связанных с искусственным интеллектом. Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Максим Мусин основатель и СЕО частной лаборатории Rebels AI. Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Артем Москалев исследователь, занимающийся применением искусственного интеллекта для фармакологических разработок. Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

👉 YouTube-канал «Запуск завтра»: https://youtube.com/@launchtomorrow «Запуск завтра» на аудиоплатформах: https://pc.st/1488945593Выпуск с Андреем Дороничевым про биохакинг в Кремниевой долине: https://youtu.be/k9ahY12o3ZAВыпуск с Кирой Кузьменко про влияние ИИ на рынок труда: https://youtu.be/FOvyhYGDUDc

Topics include Some more things about Django I've been enjoying, Who cleans up after the vibe-coding party, AgentsView, and.

Topics include django-orjson, Best Django Redis configuration for speed and size, puts the foot down, and Django Steering Council backs the Triptych Project.

Topics include , JupyterLab 4.6 and Notebook 7.6 are out!, Tau, and Django Tasks and Django 6.1.

Topics include dust, Hermes Agent, and llm-coding-agent 0.1a0.

Topics include Free-threaded Python: past, present, and future, django-admin-site-search, Qwen 3.6 27B is the sweet spot for local development, and.

Topics include Backup Docker volumes locally or to any S3, Pyodide 314.0 Release, nb-cli, and Hindsight.

Topics include pi superpowers, Warp.dev OhMyZSH, Blink mosh tmux, Claude code, MacWhisper Handy, and Tailscale.

Topics include , HTTP GET requests with the Python standard library, , and alembic-git-revisions.

Topics include CVE-2026-48710: A Maintainer's Perspective, daily-stars-explorer, Markdown to pdf with pandoc and typst, and postman2pytest.

Topics include Dumb Ways for an Open Source Project to Die, How to create a pylock.toml lockfile, , and Choosing a Python Logging Library in 2026.

Topics include Using Django Tasks in production, , PyPI packages are increasing rapidly, and httpx2.

Topics include httpxyz one month in, Learn concurrency - a deep dive into multithreading with Python, pip 26.1 - lockfiles and dependency cooldowns, and Python 3.15 `sentinal` values from PEP 661.

Topics include profiling-explorer, Reverting the incremental GC in Python 3.14 and 3.15, , and django freeze.

Topics include Django Modern Rest, , Cutting Python Web App Memory Over 31%, and tryke - A Rust-based Ptyhon test runner with a Jest-style API.

Topics include Migrating from mypy to ty: Lessons from FastAPI, Oxyde ORM, Typeshedded CPython docs, and Raw+DC Database Pattern: A Retrospective.

The terminal has been a constant in software development for decades. It has remained largely unchanged while everything around it transformed. However, as AI agents have become central to the developer workflow, the terminal is emerging as a natural home for agentic development, and a new category of tooling is forming around it.

Warp is a popular Rust-based terminal and agentic development environment. The company recently open-sourced its codebase and launched Oz, its cloud agent infrastructure product aimed at helping enterprises automate software development at scale.

Zach Lloyd is the co-founder and CEO of Warp, and a former principal engineer at Google where he led engineering on the…

Open source software underpins virtually every modern application. That ubiquity is a superpower for developers, but it is also an expanding attack surface. Software supply chain attacks were once rare but are now happening daily, with malicious actors exploiting the trust developers place in public registries, package managers, and CI/CD pipelines.

Chainguard is a secure software supply chain platform. The company started with hardened container images and has expanded to cover domains including VMs, language libraries, GitHub Actions, and agent skills.

Matt Moore is a co-founder and CTO of Chainguard, and a veteran of Google’s open source, container, and security infrastructure work. In t…

The most useful coding agents can mutate their environments by downloading packages, writing files, and connecting to services across the network. However, that freedom also presents dangers, and promises to usher in a new wave of security threats.

Docker recently announced Docker Sandboxes, which give each agent its own isolated micro VM while preserving the familiar ergonomics of a container. A standard container shares the host’s kernel, but a micro VM emulates hardware and runs its own kernel, giving a stronger security boundary around code that cannot be trusted.

Mark Cavage is the President and COO of Docker, and he previously worked at companies including Stripe, AWS and Oracle. In t…

Golden Gate Ventures is one of Southeast Asia’s most established early-stage venture firms, having backed companies across the region since 2011. They have invested in companies that are now household names in the region. Examples include Gojek, which started as a motorcycle taxi service in Indonesia and grew into a super app spanning payments, food delivery, and logistics, and Grab, which began as a ride-hailing service in Singapore and similarly expanded across Southeast Asia into food delivery and financial services.

Jeffrey Paine is a co-founder and partner at Golden Gate Ventures. In this episode, Jeffrey joins Gregor Vand to discuss how the Southeast Asian startup ecosystem has evolve…

AI agents have shown remarkable potential to function as persistent digital assistants that are capable of monitoring data, managing communications, and taking action autonomously over long periods. OpenClaw was one of the first serious attempts to fulfill that vision, connecting frontier coding agents to messaging platforms like Slack and WhatsApp and letting them run continuously

The post NanoClaw and the Rise of Personal AI Agents appeared first on Software Engineering Daily.

AI agents have become capable of reasoning across large amounts of data, calling tools, and taking sequences of actions autonomously. These qualities make them well suited to some of the most persistent pain points in DevOps, including the on-call engineer woken at 3 AM to diagnose an incident, the build failure that takes hours to

The post Agentic DevOps at AWS appeared first on Software Engineering Daily.

AI agents have transformed how software gets written, but the operational side of running software in production has not yet experienced a similar revolution. The same teams responsible for keeping systems healthy, investigating incidents, and managing reliability are still doing much of that work manually. Mezmo is a Production AI company that makes autonomous operations

The post AURA and Open-Source Agents for Production Operations appeared first on Software Engineering Daily.

Eric Ries is the creator of the Lean Startup method and the author of the New York Times bestseller The Lean Startup, which transformed how a generation of founders and engineers think about building products. It introduced concepts like the MVP, the pivot, and build-measure-learn that are now so widely adopted they feel obvious. Over

The post Eric Ries on Why Good Companies Go Bad appeared first on Software Engineering Daily.

SED News is a monthly podcast from Software Engineering Daily where hosts Gregor Vand and Sean Falconer break down the biggest stories shaping software engineering, Silicon Valley, and the broader tech industry. In this episode, Gregor and Sean dig into the growing tension around restricted AI models, including Anthropic‘s Fable being pulled from the Claude

The post SED News: Restricted Models, IDE Wars, and the DeepMind Mafia appeared first on Software Engineering Daily.

Advanced software systems have long been more complex than any single engineer can fully understand. Observability is the established solution to this problem, but with AI agents now generating code, deploying changes, and operating autonomously, the challenge of understanding large software systems is entering a new dimension. Grafana is an open source observability platform, and

The post Grafana’s Approach to AI-Native Observability appeared first on Software Engineering Daily.

Building great software always involves technical problem solving, but the best software goes beyond function. It feels fluid, coherent, and genuinely fun to use. This quality lives at the intersection of engineering and design, and very few teams know how to reliably produce it. Metalab is an engineering and design studio that has worked with

The post Building Software That People Love appeared first on Software Engineering Daily.

Yacht Club Games is the studio behind the acclaimed Shovel Knight franchise. Their latest release is Mina the Hollower, which is a top-down action RPG inspired by classic Zelda and Castlevania titles. After many years in development, the game recently launched to widespread critical acclaim. David D’Angelo is a lead programmer at Yacht Club Games.

The post Mina the Hollower appeared first on Software Engineering Daily.

Predictive modeling is a core element in modern systems, and powers capabilities such as fraud detection, loan approvals, and recommendation systems. These systems typically operate on structured, relational data stored in enterprise databases, with rows, columns, and interlinked tables. While computer vision and natural language processing have undergone a neural network revolution, the tabular data

The post Foundation Models for Structured Data appeared first on Software Engineering Daily.

Modern web development requires an ever-growing collection of tools including formatters, linters, bundlers, and plugins. Each tool typically has its own configuration, dependencies, and performance cost. As applications grow more complex, the overhead of maintaining this toolchain becomes a real burden. Biome is an open source toolchain for web projects that brings formatting and linting

The post Biome and the Future of JavaScript Tooling appeared first on Software Engineering Daily.

Most of the cryptography securing the internet today rests on mathematical problems that classical computers cannot solve in any reasonable timeframe. That assumption is now being tested. Recent advances in quantum computing have dramatically compressed timelines, and many in the industry have set a target of full post-quantum security by 2029, meaning a complete migration

The post Preparing for Q-Day appeared first on Software Engineering Daily.

-=Выпуск 81=- В 2016 мы впервые придумали, как красиво и доходчиво демонстрировать достижения тогдашнего генеративного ИИ: в финале маркетингового YACm Саша и Ваня исполнили песню с альбома "Нейронная оборона", написанную тогдашним ИИ. Финал образовательного YACe нынешнего, 2025-го, года прошел в оживленной дискуссии с ИИ, который помогает Леше Комиссарову вести семинары (а иногда и вовсе его замещает). Между двумя этими точками были девять очень интересных лет. Аудиозаписи нескольких событий я собрал в этот выпуск и добавил, как положено, некоторое количество собственного трепа. Некоторые полезные ссылки по теме: Предыдущий наш подкаст с Лешей YAC/m-2016 YAC/e-2025

TL;DRWhy I think software development is starting to feel a little more like conducting an orchestra.

Increasingly, I think that’s what great software developers are doing.

The developer is the conductor.

I don’t think software developers are becoming managers.

(I suspect software developers are simply the first knowledge workers to experience it, but I’ll save that thought for another rambling.)

The goal of refactoring an agentic code base is to spend tokens now in refactoring to make token consumption for future work lower.

In a loop: Apply a single step of the overall refactoring.

The first point is the baseline, step 0, and then the same metrics are repeated after each refactoring step has been applied.

The development harness includes an explicit refactoring step.

It would be interesting to look at more complex changes, at wider refactoring, refactoring continuously, and even the relative value of different refactoring approaches.

Every token in the orchestrator's context is competing for its attention, and the real value of a subagent is what it keeps out of that context, not how fast it runs.

The claim that this polling behaviour cost more than the duplication tax of four agents was the orchestrator grading its own mistake.

I didn't have real per-call token accounting, so treat that ranking as the orchestrator's account, not a measured fact.

The raw transcript stayed in the orchestrator's context after the tool call completed, and every turn after that carried it forward, whether or not it was still useful.

Does this piece of information, or this way the work is split, earn a place in the orchestrator's context?

Because helping clients and other leaders internal and external to thoughtworks do this is actually a big part of what I do and without letting my northern humbleness get in my own way, I’m actually pretty good at it.

If I wasn’t I wouldn’t be the global CTO of a future thinking tech org, you know the kind that has Martin Fowler as its Chief Scientist.

I hate decks and love writing so I’m obviously doing something wrong.

I’m also writing an epic world building sci-fi fantasy book which is a huge passion project I may also share more about so I am definitely busy.

But that’s not actually the real reason I haven’t been writing this down and pushing it out publicly.

 ❄                ❄A session convened around the mismatch of views about using LLMs between engineers using it and the C-suite and boards that were calling for it.

 ❄                ❄Most folks I talk to, both at the retreat and outside, recognize we are in some form of bubble.

 ❄                ❄                ❄                ❄                ❄A group of law professors carried an interesting experiment to judge how well an LLM can provide short answers to student questions.

 ❄                ❄                ❄            …

It hasn't been compiled since the Obama administration, and it certainly doesn't run on your new Apple Silicon MacBook.

Read the repo and give me a high-level summary... and a simple 'Hello World' code example.”The Hallucination of Competence The AI acted like a polite, eager-to-please tour guide.

By generating a modern build file, the AI merely painted a fresh coat of paint over a crumbling structural wall.

First, it hallucinated dependencies by suggesting commons-pool2 (v2.x) when the legacy code actually relied on org.apache.commons.pool (v1.x) .

The AI confidently assumed a standard Maven layout src/main/java , completely ignoring the reality of a non-standard Ant structure java/com/l…

With LLMs, code acts as essential context: good abstractions, executable behavior, tests, types, and invariants all help constrain the model and make its output more useful.

Why DSLs work so well with LLMs It is a common experience that DSLs work well with LLMs.

My observation is that DSLs make LLMs more reliable because they respond so well to a few in-context examples.

Example: Using LLMs to generate diagram rich powerpoint presentations LLMs make it really easy to build custom tools.

Actor Alice sends a message “title”, “After Dawn” to athens, Athens sends message to itself.

 ❄                ❄                ❄                ❄                ❄If you follow my feeds (which you probably do if you’re reading this), then you’ll know that Birgitta Böckeler has written a couple of memos on working with local models.

 ❄                ❄                ❄                ❄                ❄Simon Willison shares a useful tip to save money while using the latest Anthropic Fable modelTell Fable to use other models for smaller tasks, applying its own judgement about which model to use.

 ❄                …

This is the second memo where I describe my recent experiences on running small models locally on my developer machine for agentic coding.

Here I focus on the concrete experiences, the tasks I gave the models, what happened, and my final conclusions.

I wanted to see what it feels like in terms of the user experience, which is hard to do with an automated setup.

I wanted to see what it like in terms of the user experience, which is hard to do with an automated setup.

Phase 2: Automated evaluation Frustratingly, the automated setup did not confirm the manual experience.

In this memo, I will start with a more general introduction and go through the factors that influence the viability of these models for coding.

Scope My main interest is how useful they are for coding, and not just auto complete, but agentic coding.

Impacts: Model runnability; Speed of responses My experience: On the machine with 48GB, I ran models between 8 and almost 30GB.

Context window size setting Context window size consumes RAM on top of model weights through the KV cache, which grows with context length.

But thinking back to the broader viability of running local models, user experience plays a huge role for that.

 ❄                ❄A question that continued from Utah was whether architecture and design are still important.

 ❄                ❄                ❄                ❄                ❄Charity Majors has a post on the ethics of working with AI and does an excellent job of articulating how I feel about this topic.

 ❄                ❄                ❄                ❄                ❄Gergely Orosz has run into a case where an article of his was erased from Google search by a clearly fraudulent DMCA claim.

 ❄        …

In this post, we share that journey—how Bayer's early investment in generative AI has resulted in PRINCE, an agentic AI system built on Agentic RAG.

System Architecture: Engineering a Reliable Agentic RAG System The system functions as an interactive conversational UI, powered by a robust backend infrastructure.

This setup, implemented using LangGraph, orchestrates the overall workflow and leverages Researcher Agent, Writer Agent, and Reflection Agent for specific tasks.

The Reflection Agent: Data Validation and Sufficiency While the Think & Plan step provides process reflection, the Reflection Agent performs a complementary but distinct type of reflection: data reflection.

Data reflection …

 ❄                ❄                ❄                ❄                ❄I’ve spent a few days at the DDD Europe conference, which was a very enjoyable event.

 ❄                ❄                ❄                ❄                ❄Charity Majors raises an alarm about the crevasse forming between AI enthusiasts and AI skeptics.

 ❄                ❄                ❄                ❄                ❄Simon Willison noticed that Anthropic and Open AI have increased their enterpr…

 ❄                ❄                ❄                ❄                ❄Benedict Evans observes that extensive automation didn’t mean the demise of professions in the past.

 ❄                ❄                ❄                ❄                ❄Stephen O’Grady looks at how closed and open models have performed on benchmarks over time.

 ❄                ❄                ❄                ❄                ❄As LLMs get more capable in programming, we are rightly worried tha…

КакНовая команда go fix :usage: go fix [build flags] [-fixtool prog] [fix flags] [packages] Fix runs the Go fix tool (cmd/fix) on the named packages and applies suggested fixes.

Index ( s , " " ) if idx == - 1 { return s } return strings .

ReplaceAll ( s , " " , "" ) }// after func nospace ( s string ) string { found := strings .

found { return s } return strings .

TrimPrefix ( s , "> " ) } return s }// after func unindent ( s string ) string { if after , ok := strings .

Вы конечно и так в курсе, но на всякий случай:Утрированный пример утечки:Традиционно Go не очень-то помогал в поиске утечек.

Обнаружить их можно было разве что пристально разглядывая профиль или трассировку с продакшена, а в тестах приходилось использовать сторонний пакет goleak от Убера.

Сейчас это меняется.

Сначала в Go 1.24 добавили пакет synctest, который прекрасно справляется с поиском утечек при тестировании.

Об этом почему-то никто не говорит — наверно, потому что не проходили мой курс по многозадачности 😁

// Do invokes f.//// Do ensures that any temporary storage used by f is erased in a// timely manner.

(In this context, "f" is shorthand for the// entire call tree initiated by f.)// - Any registers used by f are erased before Do returns.

// - Any stack used by f is erased before Do returns.

// - Any heap allocation done by f is erased as soon as the garbage// collector realizes that it is no longer reachable.

As part of// that, any panic raised by f will appear as if it originates from// Do itself.

// AsType finds the first error in err's tree that matches the type E,// and if one is found, returns that error value and true.

//// The tree consists of err itself, followed by the errors obtained by// repeatedly calling its Unwrap() error or Unwrap() []error method.

// When err wraps multiple errors, AsType examines err followed by a// depth-first traversal of its children.

//// An error err matches the type E if the type assertion err.

(E) holds,// or if the error has a method As(any) bool such that err.As(target)// returns true when target is a non-nil *E. In the latter case, the As// method is responsible for setting target.

Для всех, кто уверенно программирует на другом языке и хочет попробовать Go.

Подробные метрики горутин от рантайма.

Метрики по состояниям горутин помогают находить типичные проблемы в продакшене.

Много горутин в состоянии not-in-go — значит, они застряли в системных вызовах или cgo.

Добавить следующие метрики в пакет runtime/metrics :Сумма значений показателей по каждому состоянию не обязательно равна общему количеству активных горутин (метрика /sched/goroutines:goroutines , доступна в Go 1.16+).

Запускаем несколько горутин и выводим метрики через 100 мс работы:

Новые методы Dialer с поддержкой контекста — DialTCP , DialUDP , DialIP и DialUnix — объединяют эффективную реализацию (как в существующих Dial -функциях) с возможностью отмены (как в Dialer.DialContext ).

Он поддерживает отмену и может использоваться для подключения по любому из поддерживаемых протоколов:func ( d * Dialer ) DialContext ( ctx context .

Context , network string , laddr , raddr netip .

Context , network string , laddr , raddr netip .

Context , network string , laddr , raddr netip .

Как это делают IANA и Python.