How Airbnb’s data engineers and analytics engineers built a consistent and flexible data modeling framework to support the expansion into Homes, Experiences, and Services.By: Patrick Lam, Namrata Lamba, Jamie StoberWith the May 2025 Summer Release, Airbnb redesigned its app, relaunched Experiences, and debuted Services, pushing us beyond our traditional Homes focus. For the data teams, this meant rapidly evolving a decade-old infrastructure to integrate two brand-new product pillars. Our data engineers and analytics engineers rose to the challenge by building a consistent and flexible framework to serve as a robust and scalable data foundation for the next decade of growth.But getting there…

How Airbnb built a Kubernetes sidecar to deliver dynamic configuration reliably at scale.By: Bo Teng, Cosmo Qiu, Siyuan Zhou, Ankur Soni, Xin Huang, Willis HarveyIntroductionIn our previous post, we explored Airbnb’s dynamic configuration system, Sitar, with a focus on service architecture and configuration change safety. Now for the harder question: once a config change is committed, which happens several times each minute, how does it actually reach the thousands of Airbnb’s service instances reliably, quickly, and without redeploying the services?This post describes sitar agent: a lightweight Kubernetes sidecar that runs alongside every subscribed service pod, continuously synchronizing …

How Airbnb used sequential geographic recovery signals and prior propagation to generate reliable corridor-level forecasts when local data was scarce.By: Harrison KatzThe problem with unprecedented shocksAlmost every forecasting system is built on the same implicit assumption: the future will resemble the past. You train on historical data, you validate on holdout periods, and you trust that past patterns will at least roughly indicate future performance. When this assumption breaks, the model does not gracefully degrade; it fails confidently. It produces precise, well-calibrated intervals around the wrong answer.The acute phase of COVID, from early to late 2020, was a clear illustration of…

How Airbnb shifts from PaaS to an internal knowledge graph infrastructure at scale.By: Lucen Zhao, Shukun Yang, Ashish JainKnowledge graphs offer a natural and powerful way to represent relationships between entities. Many real-world systems are fundamentally about connections.Airbnb’s identity graph captures relationships between users in a graph database. The identity graph serves aggregated insights that enable user identity resolution and relationship understanding. These capabilities support a wide range of Trust and Safety use cases, from detecting suspicious activities to identifying linked accounts. Over time, the identity graph has grown into one of the largest and most complex gra…

Moving from an internal tool to a community-driven, production-ready data mesh.By: Ryan Tanner, Raymie Stata, Adam MiskiewiczIntroductionWe’re excited to announce the 1.0 release of the Viaduct. This release marks a shift from Viaduct being an Airbnb-internal tool that happens to be open source to a true community-driven project with a stable public API. The 1.0 release includes substantial new features and enhancements which we describe in the Viaduct blog.Viaduct is for platform engineers building a company-wide data API, service owners who want to contribute to a shared graph without spinning up their own server, or engineering organizations that have outgrown a single GraphQL service.Wh…

Designing monitoring that works when everything else doesn’t.By: Abdurrahman J. AllawalaIntroductionWhen an incident hits, teams lean on observability to answer the only questions that matter: what’s broken, and why? Monitoring systems are designed to help you answer these questions, and they usually do.But what happens when your observability stack is dependent on the same systems that are failing? In that moment, the dashboards go dark, alerts stop firing, and the tools meant to guide recovery become part of the outage.This is an increasingly common challenge as organizations consolidate onto shared platforms like Kubernetes, service meshes, and other common infrastructure components. At …

How Airbnb built a lightweight workflow engine to solve durable execution.By: Ricardo Gamba, Andriy SergiyenkoIntroduction: The durable execution problemPicture this hypothetical flow: A host submits an insurance claim about their listing to Airbnb. The system needs to validate the claim, run trust and safety checks, assess estimates, process the payout, and send notifications. Halfway through — after the validation passes, but before the payout — the server crashes.What happens next?In a traditional architecture, the answer is often “it depends.” Maybe the operation times out and the guest retries, triggering duplicate processing. Maybe partial state corrupts what comes next. And for workf…

How we built a storage system that ingests 50 million samples per second and stores 2.5 petabytes of logical time series data.By: Rishabh KumarModern observability practice encourages instrumenting every meaningful code path. Over the past 15 years, open-source observability SDKs like Prometheus, OpenTelemetry, and StatsD have made deep instrumentation nearly ubiquitous. These days, most software — open-source or custom — can be made observable by default, assuming you actually collect the data.Airbnb is no exception. As our products and infrastructure have evolved, each new feature and each new incident has added another layer of instrumentation. Unsurprisingly, we were generating 1.3 bill…

Discover how Airbnb prioritizes user privacy while building a more connected community, empowering guests to engage socially, connect confidently, and maintain control of their personal data.By: Joy Jing✨ Building a more connected communityAt Airbnb, our hosts and guests form the heart of our community. As shared by CEO Brian Chesky, we’re evolving into a more social ecosystem. Airbnb Experiences now highlight the people involved as much as the activity. Guests can see Who’s going on an Experience, message co-guests directly, and view people they’ve met through the Connections section in their Airbnb profile. Guests are able to choose to share their profile for each new Experience. Guests w…

A production-tested approach for moving a large-scale metrics pipeline from StatsD to OpenTelemetry and Prometheus.By: Eugene Ma, Natasha AleksandrovaWhen migrating to a new monitoring system, you’ll want to frontload the work to collect all your metrics. This exposes bottlenecks at full write scale and unblocks the migration of assets which require real data for validation, such as dashboards and alerts. Collecting all your metrics first means you can focus on major technical challenges — scale, correctness and performance — without worrying about how users will adopt your new tools.But for our project, this approach wasn’t straightforward: most of our metrics were instrumented with StatsD…

Jonathan Woodard knows defense. After playing professional football as a defensive end for six years, Jonathan knew he wanted a career where he could always face new challenges, learn new skills, and continue to thrive in high-paced environments. After discovering a passion for programming, Jonathan joined Airbnb’s Connect Engineering Apprenticeship program and excelled; now, we’re lucky to have him on our secure development engineering team. Here’s his story.Joining the big leaguesLike many kids, I wanted to grow up to become a professional athlete. Playing professional football was my dream, but over the years, it faded into the background because it seemed unrealistic — until it wasn’t.I…

How Airbnb built forecasting models resilient enough to survive a global pandemic and whatever shock comes next.By: Harrison KatzThe week everything brokeIn March 2020, the forecasting models that had served us well in stable times faced a new challenge: predicting outcomes in a world that had suddenly changed.At Airbnb, many of the financial metrics we forecast depend on two separate events: when guests book, and when they actually travel. A booking made today might correspond to a trip three days from now or three months from now. The distribution of that gap, what we call the lead-time composition, drives how we translate today’s bookings into future revenue (see Figure 1).The pandemic r…

How a complex, large-scale migration to an in-house observability platform led to superior tooling, consistent data, and a fundamental reset of the developer experience.By: Callum Jones, Rong HuObservability — the function of providing visibility into the performance and reliability of applications using metrics, logs and traces — is one of the most important tools of the Infrastructure group at any company. Without a reliable, cost-effective, and user-friendly observability platform, you limit an organization’s ability to empower engineers to assess, support, and improve the reliability of their application.Like many of its peers, Airbnb started out by outsourcing its observability needs t…

How we built a destination recommendation model that helps users spark inspiration and narrow down choices to make journeys smoother.By: Weiwei Guo, Bin Xu, Sundara Rajan Srinivasavaradhan, Jie Tang, Xiaowei Liu, Bharathi Thangamani, Liwei He, Huiji Gao, Tracy Yu, Hui Gao, Stephanie Moyerman, Sanjeev KatariyaAirbnb users in the trip planning stage may not have a clear idea of travel destinations, travel dates, or other preferences. They exhibit different behaviors compared to users who have a clear itinerary in mind. More exploratory users visit the Airbnb platform less often and are less likely to book listings in the near future; they’re more likely to search for a broad area such as “Fra…

How we changed our Observability as Code alert review process and cut development cycles from weeks to minutes.Observability as Code (OaC) — defining alerts, dashboards, and SLOs via code rather than UI — is table stakes for large engineering organizations. With OaC, observability adopts software development’s version control, code review, and testing processes, achieving the same level of discipline as a result. At Airbnb’s scale (thousands of engineers and services), this is the foundation that lets teams ship confidently while maintaining the reliability our guests and hosts depend on.Yet there’s a critical gap in most OaC workflows. While we bring rigor to alert definitions through code…

By Celina AmadosAt Netflix, our catalog metadata is crucial to our member experience, and a single corrupted data state can impact millions of viewers immediately. To protect streaming reliability, we built an automated data canary system that validates data transformations using production traffic. This canary detects issues in under 10 minutes, and blocks bad data from reaching our members.IntroCatalog metadata is what makes Netflix functional. It defines what titles exist, where they’re available, whether they can be played, and more. This data gets transformed and distributed across our vast infrastructure near-continuously, powering everything that helps members find what they want to …

by Emily GillEach year, we bring the Analytics Engineering community together for an Analytics Summit — a multi-day internal conference to share analytical deliverables across Netflix, discuss analytic practice, and build relationships within the community. This post is one of several topics presented at the Summit highlighting the breadth and impact of Analytics work across different areas of the business.Understanding Risk in Content LaunchesEvery title you see on Netflix goes through several key phases: Development, Pre-Production, Production/Principal Photography, Post-Production, and finally, Launch Preparation, all leading up to the Title Launch. Once Principal Photography wraps, the …

By Christos G. Bampis, Zhi Li, Kyle Swanson, Nil Fons Miret and Pavan MadhusudanaraoWill this encode look good to Netflix members? Does switching to a new codec improve quality at the same bitrate and by how much? What is the best way to encode a movie title given a target bitrate budget? For years, VMAF has reliably helped us answer those questions and deliver an optimized quality of experience to our members.But good is not good enough. If VMAF misjudges quality, that may lead to loss of detail for a suspenseful close-up or banding for a stunning wide-angle sky shot. That’s a lot of trust to put in one number, so we strive to make sure it earns it. Over time, we collected feedback from VM…

By Winston Chou, Adrien Alexandre, Lars Olds, Yi Zhang, Garrett Hagemann, and Nathan KallusIntroductionImagine asking a data agent to analyze the causal relationship between two variables, such as the effect of watching a popular Netflix show on long-term member retention. It queries your data, runs a regression, and confidently returns an answer. How much should you trust it? Can you be confident that the agent accounted for subtle biases — or does it treat passionate fans as if they were the average viewer? Without deep understanding and expertise, would you even be able to tell if it got the answer wrong?Data analysis is increasingly being delegated to software agents. While this reduces…

by Matthew Wood, Ishan Gupta, Kevin Mercurio, Devon Bryant, and Claire DormanIn his seminal book “Thinking, Fast and Slow,” Daniel Kahneman describes two systems that drive human cognition: System 1, which operates automatically and quickly with little effort, and System 2, which allocates attention to more challenging mental activities requiring deliberate focus. This dual-process theory has profound implications not just for understanding human behavior, but for designing intelligent systems that must balance immediate responsiveness with strategic foresight. Similar “plan vs. act” decompositions show up in other domains too — for example, robotics and autonomous driving often separate a …

By Rajiv Shringi, Kaidan Fullerton, Oleksii Tkachuk and Kartik SathyanarayananIntroductionNetflix’s TimeSeries Abstraction is a scalable system for ingesting and querying petabytes of temporal event data with millisecond latency. We use Apache Cassandra 4.x as the underlying storage for these main reasons:Throughput, latency, and cost: Cassandra can handle millions of low‑latency reads and writes in a cost-effective manner.Operational maturity: Our data platform team has deep operational expertise running large Cassandra clusters in production.However, using Cassandra at this scale introduces trade‑offs for TimeSeries workloads. A key challenge is wide partitions, as TimeSeries dataset part…

By Parth Jain, Rakesh Sukumar, Yingwu Zhao, Renzo Sanchez & Nathan FisherHow we built a living map of our distributed infrastructure to help engineers understand dependencies, troubleshoot faster, and keep Netflix running smoothly for our members around the world.The Puzzle with a Thousand PiecesPicture this: It’s 3am, and an engineer gets paged. One of our critical services is showing elevated error rates. Members trying to watch their favorite films and series are seeing degraded experiences. The clock is ticking.A single service at the center of a web of dependencies — services, data stores, and call chains branching in every direction. Without a unified map, engineers have to reason abo…

By Guil Pires, Jennifer Prince, Jose Camacho, Ken Kurzweil, Phanindra ChunduruBackgroundIn a previous post, we introduced Data Bridge, a unified management plane for batch Data Movement at Netflix. Historically, several bespoke Data Movement connectors were developed across different engineering organizations to fulfill their specific requirements. Over the last few years, the Data Movement team has started centralizing these offerings through an abstraction that provides a catalog of connectors, along with simple UI and APIs to initiate Data Movement jobs.One such case is the Cassandra to Iceberg connector. Apache Cassandra powers mission critical applications at Netflix, including Member,…

By Amer Hesson, Marcelo Mayworm, James Mulcahy, and Brittany TruongThe Problem: Managing Assets at Netflix ScaleNetflix’s Data Platform is vast. We have millions of tables in our data warehouse and tens of thousands of scheduled workloads running across our orchestration systems. Behind each of these assets sits an engineer, a team, or an initiative — and behind each of those sits a set of decisions about who can access what, and how those workloads execute day after day.For years, the tools we used to manage access and identity for these assets operated at the granularity of the individual asset. Every table had its own Access Control List (ACL). Every workflow ran under the identity of th…

By John Burns and Emily YuanIntroductionAt Netflix, we operate using a polyrepo strategy with tens of thousands of Java repositories. This means that we need to have ways of sharing common build logic across these repositories. On the JVM Ecosystem team within Java Platform, we build tooling such as the Nebula suite of Gradle plugins to provide standard ways to build projects, keep dependencies up-to-date, and publish artifacts reliably across the Java ecosystem. Our mission also entails providing build-time feedback to the developer when they deviate from the paved road, or when their code base contains technical debt.Case StudyAfter a Netflix incident relating to a library releasing a bac…

Saish Sali, Nipun Kumar, Sura ElamuruguIntroductionAs Netflix has grown, machine learning continues to support our ability to deliver value to members and drive excellence across multiple areas of our business. When Netflix began investing in machine learning over a decade ago, it was primarily focused on a single domain: personalization. Scala was the industry standard, our ML teams were relatively small, and optimizing member engagement was our primary use case. Fast forward to today, and machine learning has become the backbone of Netflix’s business transformation. We now apply ML across various business domains, including:Personalization: Optimizing engagement and helping members discov…

Authors (listed alphabetically)Ads Feature Engineering Infra team: Ajay Venkatakrishnan, Le ZhangCore ML Infra team: Eric Shang, Pihui WeiML Data team: Connor Votroubek, Yi HeUser Understanding team: Camilo Munoz, Simin LiIf you work on ranking, retrieval, or recommendation systems, you’ve probably asked for some version of the same thing: “Give me the last N meaningful actions this user took, with the right enrichments, in a format that’s easy to train and serve ML models.”On paper, that sounds simple. In practice, “user sequences” often become one of the most expensive and fragile parts of the ML data stack.They end up powering everything from training datasets to offline analysis and onl…

An Engineer’s Guide to Better AI Skills: Implementing a Testing Process to Optimize Agent Performance in Any Repository or SkillAuthor: Daniel ReedThe tech industry is currently seeing a massive overhaul in the way we work and many are enjoying the benefits of AI agents, particularly when automating engineer workflows and serving domain-specific knowledge. However, relying on agents to consistently invoke a custom skill can be surprisingly unreliable at times.When adopting a new skill intended to help agents write code for Pinterest’s iOS architecture (I’ll call it rx-mvvm) we discovered that sometimes our knowledge skill wasn’t being loaded into our agents. To address this, we conducted a …

Huiqin Xin | Machine Learning Engineer II, Ads Vertical Modeling; Lakshmi Manoharan | Senior Machine Learning Engineer, Ads Vertical Modeling; Karthik Jayasurya | Staff Machine Learning Engineer, Ads Signals; Ziwei Guo | Senior Machine Learning Engineer, Ads Vertical Modeling; Alina Liviniuk | Machine Learning Engineer II, Ads Vertical ModelingMotivation: The Need for Real-Time ContextIn a previous post, Ads Candidate Generation using Behavioral Sequence Modeling, we introduced a candidate generator (CG) that uses a Transformer-based two-tower model to leverage a user’s offsite conversion history — a powerful signal — to predict future interactions with advertisers and specific products. Th…

Guangtong Bai | Staff Software Engineer, Product ML Infrastructure*; Shantam Shorewala | Software Engineer II, Product ML Infrastructure*; Chi Zhang | Staff Software Engineer, AI Platform*; Neha Upadhyay | Software Engineer II, AI Platform*; Haoyang Li | Director, Product ML Infrastructure*These authors contributed equally to this article.BackgroundAt Pinterest, our online ML serving systems employ a root-leaf architecture. On a high level, the architecture looks as follows:Figure 1: Root-leaf Architecture of Online ML Serving Systems at PinterestIn the diagram, “Client Service” is responsible for recommending organic or promoted Pins to users. In order to know if a given Pin is relevant to…

Authors: Richard Huang | Machine Learning Engineer II; Yu Liu | Senior Machine Learning Engineer; Ziwei Guo | Senior Machine Learning Engineer; Andy Mao | Staff Machine Learning Engineer; Supeng Ge | Sr. Staff Machine Learning EngineerIntroductionAt Pinterest, conversion ads are crucial for matching users with products they are likely to purchase, boosting value for both users and advertisers¹. While conversion actions like checkout or add-to-cart are highly valuable, they are also technically challenging to optimize for. Because they occur offsite, conversion events are significantly sparser and noisier than onsite engagement signals. Historically, Pinterest’s shopping ads retrieval relied…

Shanhai Liao | Senior Software Engineer, Content Acquisition and Media Platform; Di Ruan, | Senior Staff Software Engineer, Content Acquisition and Media Platform; Evan Li, | Senior Engineering Manager, Content Acquisition and Media PlatformIntroductionAccurate content understanding underpins Pinterest’s ability to drive distribution and engagement. This requires deep insight not just into the image itself, but also the outbound links or items to which those images point. At the foundation of this process lies a deceptively simple problem: URL normalization.When Pinterest ingests content from millions of merchant domains, the same product page often appears under many different URLs. A sing…

Vaibhav Shankar; Staff Software Engineer | Raymond Lee; Staff Software Engineer | Chia-Wei Chen; Staff Software Engineer | Shunyao Li; Sr. Software Engineer | Yi Li; Staff Software Engineer | Ambud Sharma; Principal Engineer | Saurabh Vishwas Joshi; Principal Engineer | Charles-A. Francisco; Senior Engineer | Karthik Anantha Padmanabhan; Director, Engineering | David Westbrook; Sr. Manager, EngineeringOne day in early 2025, the Kubernetes platform team at Pinterest (PinCompute) got a ping from our partners on the ML platform team. Their Ray-based training jobs , which often take hours of computation on expensive GPU hardware, were crashing. Not every time, but often enough that it was becom…

Authors: Matt Lawhon | Sr. Machine Learning Engineer; Filip Ryzner | Machine Learning Engineer II; Kousik Rajesh | Machine Learning Engineer II; Chen Yang | Sr. Staff Machine Learning Engineer; Saurabh Vishwas Joshi | Principal EngineerAt Pinterest, scaling our recommendation models delivers outsized impact on the quality of the content we serve to users. Our Foundation Model (oral spotlight, ACM RecSys 2025), for example, achieved a 100x increase in transformer dense parameter counts and a 10x increase in model dimension; translating directly into meaningful quality improvements across multiple recommendation surfaces.¹But a 100x scaleup creates massive infrastructure pressure. Storage, tr…

Author: Lin Wang (Android Performance Engineer)Default FeatureFor mobile apps, performance is considered as the “default feature”, which means apps are expected to run fast and be responsive. It’s just as if we expect a watch to show the time. With no exceptions at Pinterest, we measure, protect and improve performance for all of our key user experiences’ surfaces, such as “Home Feed” and “Search Result Feed”.Hard to MeasureAmong all the performance metrics, the user perceived latency is a crucial one. It measures how much time the user spends since they perform an action until they see the content. This is also called “Visually Complete”.Visually Complete can be very different from app to …

Homefeed: Jiacong He, Dafang He, Jie Cheng (former), Andreanne Lemay, Mostafa Keikha, Rahul Goutam, Dhruvil Deven Badani, Dylan WangContent Quality: Jianing Sun, Qinglong ZengIntroductionIn feed recommendation, we recommend a list of items for the user to consume. It’s typically handled separately from the ranking model where we give probability predictions of user-item pairs.Pinterest’s feed recommendation follows a cascaded system design with retrieval [1][2], pre-ranking [3], ranking [4][5], and re-ranking. While most of these prior works focus on optimizing immediate actions for each candidate Pin, this work will primarily focus on how we build the final layer of the recommendation funn…

Tan Wang | Software Engineer, Agent FoundationsOver the last year, Pinterest has gone from “MCP sounds interesting” to running a growing ecosystem of Model Context Protocol (MCP) servers, a central registry, and production integrations in our IDEs, internal chat surfaces, and AI agents. This post walks through what we’ve built so far, how we designed it, and where we’re taking MCP next.What Is MCP and Why Did We Care?Model Context Protocol (MCP) is an open-source standard that lets large language models talk to tools and data sources over a unified client-server protocol, instead of bespoke, one-off integrations for every model and every tool. At Pinterest, we’re using MCP as the substrate …

Your Analysts Already Wrote the Perfect PromptAuthors: Keqiang Li, Bin YangIn our previous blog post, we shared how Pinterest built Text-to-SQL with RAG-based table selection (Retrieval-Augmented Generation). That system introduced schema-grounded SQL generation and retrieval-augmented table selection. These were important first steps, but not enough for reliable analytics at Pinterest scale.The challenge was fundamental: with over 100,000 analytical tables and 2,500+ analytical users across dozens of domains, simple keyword matching and table summaries were not enough. When an analyst asks “What’s the engagement rate for organic content by country?”, they need more than a list of tables wi…

Authors: Duna Zhan | Machine Learning Engineer II; Qifei Shen | Senior Staff Machine Learning Engineer; Matt Meng | Staff Machine Learning Engineer; Jiacheng Li | Machine Learning Engineer II; Hongda Shen | Staff Machine Learning EngineerIntroductionPinterest ads show up across multiple product surfaces, such as the Home Feed, Search, and Related Pins. Each surface has different user intent and different feature availability, but they all rely on the same core capability: predicting how likely a user is to engage with an ad.Before this project, the ads engagement stack relied on three independent production models, one per surface. Although the models were initially derived from a similar d…

Authors: Yao Cheng | Senior Machine Learning Engineer; Qingmengting Wang | Machine Learning Engineer II; Yuanlu Bai | Machine Learning Engineer II; Yuan Wang | Machine Learning Engineer II; Zhaohong Han | Machine Learning Engineer Manager ; Jinfeng Zhuang | Senior Machine Learning Engineer ManagerIntroductionThe L1 ranking stage sits in the middle of Pinterest’s ads funnel. It filters and prioritizes candidates under tight latency constraints so that downstream ranking and auction systems only see a manageable set of ads.When we started pushing new L1 conversion (CVR) models, we saw the same pattern repeatedly:Offline: strong, consistent gains on loss and calibration across log sources and …

Authors: Junkai Xue | Sr Staff Software Engineer, Big Data Processing Platform; Zheyu Zha | Staff Software Engineer, Big Data Processing Platform; Jia Zhan | Principal Engineer, Online Systems; Alberto Ordonez Pereira | Sr Staff Software Engineer, Online SystemsOverviewA quota is an official limit on the usage or production of a specific resource. At Pinterest, we are developing a robust, generic quota management platform (Piqama) designed to manage a wide range of resources — including physical resources like memory and CPU, service resources such as QPS (queries per second) and network bandwidth, as well as application-specific quota units. Our ecosystem provides seamless quota lifecycle …

We’re introducing SilverTorch, a reimagining of recommendation systems that unifies all retrieval components for user generated content under a unified architecture. SilverTorch shows up to 23.7x higher throughput compared to the state-of-the-art approaches. It’s also showing 20.9x more compute cost efficiency compared to a CPU-based solution while also improving accuracy. Our research paper, “SilverTorch: A [...]

Read More...

The post SilverTorch: Index as Model — A New Retrieval Paradigm for Recommendation Systems appeared first on Engineering at Meta.

On its face the new Friend Bubbles feature looks simple enough. It highlights Reels your friends have watched and reacted to. But sometimes the features that seem the most straightforward require the deepest engineering work. On this episode of the Meta Tech Podcast, Pascal Hartig chats with Subasree and Joseph, two software engineers from the Facebook [...]

Read More...

The post Reel Friends: Building Social Discovery that Scales to Billions appeared first on Engineering at Meta.

We’ve fundamentally transformed Facebook Groups Search to help people more reliably discover, sort through, and validate community content that’s most relevant to them. We’ve adopted a new hybrid retrieval architecture and implemented automated model-based evaluation to address the major friction points people experience when searching community content. Under this new framework, we’ve made tangible improvements [...]

Read More...

The post Modernizing the Facebook Groups Search to Unlock the Power of Community Knowledge appeared first on Engineering at Meta.

We’re sharing insights into Meta’s Capacity Efficiency Program, where we’ve built an AI agent platform that helps automate finding and fixing performance issues throughout our infrastructure. By leveraging encoded domain expertise across a unified, standardized tool interface these agents help save power and free up engineers’ time away from addressing performance issues to innovating on [...]

Read More...

The post Capacity Efficiency at Meta: How Unified AI Agents Optimize Performance at Hyperscale appeared first on Engineering at Meta.

AI coding assistants are powerful but only as good as their understanding of your codebase. When we pointed AI agents at one of Meta’s large-scale data processing pipelines – spanning four repositories, three languages, and over 4,100 files – we quickly found that they weren’t making useful edits quickly enough. We fixed this by building [...]

Read More...

The post How Meta Used AI to Map Tribal Knowledge in Large-Scale Data Pipelines appeared first on Engineering at Meta.

This is the second post in the Ranking Engineer Agent blog series exploring the autonomous AI capabilities accelerating Meta’s Ads Ranking innovation. The previous post introduced Ranking Engineer Agent’s ML exploration capability, which autonomously designs, executes, and analyzes ranking model experiments. This post covers how to optimize the low-level infrastructure that makes those models run [...]

Read More...

The post KernelEvolve: How Meta’s Ranking Engineer Agent Optimizes AI Infrastructure appeared first on Engineering at Meta.

Meta continues to lead the industry in utilizing groundbreaking AI Recommendation Systems (RecSys) to deliver better experiences for people, and better results for advertisers. To reach the next frontier of performance, we are scaling Meta’s Ads Recommender runtime models to LLM-scale & complexity to further a deeper understanding of people’s interests and intent. This increase [...]

Read More...

The post Meta Adaptive Ranking Model: Bending the Inference Scaling Curve to Serve LLM-Scale Models for Ads appeared first on Engineering at Meta.

Meta is continuing its long-term roadmap to help the construction industry leverage AI to produce high-quality and more sustainable concrete mixes, as well as those exclusively produced in the United States. Concurrent with the 2026 American Concrete Institute (ACI) Spring Convention, Meta is releasing a new AI model for designing concrete mixes – Bayesian Optimization [...]

Read More...

The post AI for American-Produced Cement and Concrete appeared first on Engineering at Meta.

Friend bubbles in Facebook Reels highlight Reels your friends have liked or reacted to, helping you discover new content and making it easier to connect over shared interests. This article explains the technical architecture behind friend bubbles, including how machine learning estimates relationship strength and ranks content your friends have interacted with to create more [...]

Read More...

The post Friend Bubbles: Enhancing Social Discovery on Facebook Reels appeared first on Engineering at Meta.

Meta’s Ranking Engineer Agent (REA) autonomously executes key steps across the end-to-end machine learning (ML) lifecycle for ads ranking models. This post covers REA’s ML experimentation capabilities: autonomously generating hypotheses, launching training jobs, debugging failures, and iterating on results. Future posts will cover additional REA capabilities. REA reduces the need for manual intervention. It manages [...]

Read More...

The post Ranking Engineer Agent (REA): The Autonomous AI Agent Accelerating Meta’s Ads Ranking Innovation appeared first on Engineering at Meta.

Even seemingly simple engineering tasks — like updating an API — can become monumental undertakings when you’re dealing with millions of lines of code and thousands of engineers, especially if the changes are security-related. Nowhere is this more apparent than in mobile security, where a single class of vulnerability can be replicated across hundreds of [...]

Read More...

The post Patch Me If You Can: AI Codemods for Secure-by-Default Android Apps appeared first on Engineering at Meta.

We are open-sourcing the initial version of RCCLX – an enhanced version of RCCL that we developed and tested on Meta’s internal workloads. RCCLX is fully integrated with Torchcomms and aims to empower researchers and developers to accelerate innovation, regardless of their chosen backend. Communication patterns for AI models are constantly evolving, as are hardware [...]

Read More...

The post RCCLX: Innovating GPU communications on AMD platforms appeared first on Engineering at Meta.

WHAT IT IS The rise of agentic software development means code is being written, reviewed, and shipped faster than ever before across the entire industry. It also means that testing frameworks need to evolve for this rapidly changing landscape. Faster development demands faster testing that can catch bugs as they land in a codebase, without [...]

Read More...

The post The Death of Traditional Testing: Agentic Development Broke a 50-Year-Old Field, JiTTesting Can Revive It appeared first on Engineering at Meta.

We’ve improved personalized video recommendations on Facebook Reels by moving beyond metrics such as likes and watch time and directly leveraging user feedback. Our new User True Interest Survey (UTIS) model, now helps surface more niche, high-quality content and boosts engagement, retention, and satisfaction. We’re doubling down on personalization, tackling challenges like sparse user data [...]

Read More...

The post Adapting the Facebook Reels RecSys AI Model Based on User Feedback appeared first on Engineering at Meta.

Incident investigation can be a daunting task in today’s digital landscape, where large-scale systems comprise numerous interconnected components and dependencies DrP is a root cause analysis (RCA) platform, designed by Meta, to programmatically automate the investigation process, significantly reducing the mean time to resolve (MTTR) for incidents and alleviating on-call toil Today, DrP is used [...]

Read More...

The post DrP: Meta’s Root Cause Analysis Platform at Scale appeared first on Engineering at Meta.

AI can help businesses plan better content, understand audience behavior, and make social media marketing more data-driven.

The numbers behind affordable care: How analytics is transforming patient financing from stressful to seamless.

AI-driven workflows help businesses monitor data risks faster while improving analytics, compliance, and threat detection.

Competitive intelligence and analytics can help businesses improve sales, reduce costs, and respond faster to market changes.

The hidden tax on productivity: Using AI to eliminate the busywork that steals your day.

Discover how AI and big data are helping businesses improve project tracking, reduce risks, and increase returns through better decision-making.

The silent driver of decisions: Why mid-market companies need AI governance now, not after a crisis.

From confusion to clarity: Using a decision tree to assess whether unusual trading activity truly matters.

Smarter decisions, faster execution: How AI agents are redefining what data-driven businesses can achieve.

A closer look at how developers use analytics and AI tools to improve performance, anticipate issues, and build smarter solutions for tech companies.

Exploring whether AI and financial analytics can rival one of the greatest investing track records in history

Separate signal from noise: How proactive media monitoring turns negative chatter into manageable insights.

Beyond resume screening: The transformative power of AI to match talent, reduce bias, and save time.

Discover how artificial intelligence helps businesses detect threats faster and protect people, property, and profits.

For the past few years, artificial intelligence has primarily functioned as an assistant—answering questions, generating content, and helping employees work more efficiently. If you needed a summary of a report, a draft of an email, or a line of code, you prompted a chatbot, and it was delivered. But we are transitioning into the next […]

The post The Rise of AI Agents in Organizations appeared first on WeCloudData.

When organizations first began experimenting with artificial intelligence, responsibility often fell to a handful of data scientists or isolated IT teams. Today, AI adoption is transitioning into an enterprise-wide initiative, creating a surging demand for entirely new AI roles that blend technical expertise, business strategy, governance, and workforce enablement. The emergence of these positions reveals […]

The post 7 New AI Roles Organizations Are Hiring For in 2026 appeared first on WeCloudData.

Everyone is talking about AI efficiency, but in a corporate legal or compliance department, a single unverified AI output can lead to severe consequences. If an AI tool hallucinates a case citation, leaks a privileged document to a public training set, or fails to spot a non-compliance clause, the cost isn’t just a bad draft—it’s […]

The post Designing a Custom AI Training Program for Legal and Compliance Teams appeared first on WeCloudData.

In 2026, the legal and regulatory landscape is moving faster than ever. Legal departments and compliance teams are currently facing a “quadruple threat”: a massive surge in document volume, a 500% increase in global regulatory changes over the last decade, constant pressure to improve operational efficiency, and the non-negotiable need to maintain strict data governance […]

The post Understanding AI for Law and Legal Regulatory Affairs appeared first on WeCloudData.

In the rapidly evolving landscape of generative AI, the biggest challenge isn’t just getting an LLM to talk—it’s getting it to talk accurately about your data. For the past two years, Retrieval-Augmented Generation (RAG) has been the gold standard for connecting AI to external data. However, a new contender has emerged: Cache-Augmented Generation (CAG). While […]

The post RAG vs. CAG: Choosing the Right Data Strategy appeared first on WeCloudData.

Building a comprehensive AI toolkit for 2026 is less about finding a single “best” app and more about curating a stack that handles research, execution, and specialized workflows. For those looking to master these technologies, this guide categorizes the essential top AI tools list currently shaping the industry. 1. AI tools for Research: Text, Reasoning, […]

The post The Essential AI Toolkit for 2026 appeared first on WeCloudData.

The modern K–12 classroom is at a crossroads. Walk down any hallway, and you’ll see the tension: students are already using AI tools for students to draft essays, while many educators feel the pressure to either “police” the tech or ignore it. But here is the reality for 2026: AI for teachers K-12 isn’t about […]

The post How AI Is Changing K–12 Classrooms appeared first on WeCloudData.

You’ve read the headlines: educators saving six weeks a year, grading workloads slashed by 37%, dropout rates falling. But there’s a gap between knowing AI works and knowing how to deploy it across an entire institution — without chaos, compliance headaches, or teachers left behind. If you’re a curriculum director, VP of Academic Affairs, or […]

The post Transforming Schools with Scalable AI appeared first on WeCloudData.

For most teachers, the “dream of teaching” often hits a wall of reality: 10:00 PM grading sessions, the endless hunt for differentiated materials, and a growing mountain of administrative emails. You didn’t enter this profession to be a data entry clerk; you joined it to inspire students. As we track the latest AI in education […]

The post Reclaiming time in Education Classrooms & Reimaging Learning appeared first on WeCloudData.

The telecommunications industry is undergoing a massive transformation. With the rise of 5G, IoT, and connected devices, telecom companies are managing unprecedented volumes of data and network complexity. This is where Artificial Intelligence in telecommunication becomes critical. From optimizing network performance to improving customer experience, AI in telecom is enabling providers to move from reactive […]

The post Building the Future of Connectivity: AI in Telecommunications appeared first on WeCloudData.

In 2026, the financial sector has moved past the “experimentation” phase. We are now in the era of applied AI in banking and finance, where the difference between a market leader and a laggard is defined by how effectively they orchestrate intelligent systems. Whether you are a retail banker, a hedge fund analyst, or a […]

The post Understanding AI in Banking and Finance appeared first on WeCloudData.

The world of travel and fun is changing fast. People no longer want boring brochures or fixed plans; today’s travelers expect quick, personal service that used to be impossible. This change is happening because of smart technology that connects what people want with the data to make it happen. For businesses, understanding the impact of […]

The post The Strategic Role of AI in Tourism and Entertainment appeared first on WeCloudData.

In the early 2020s, the conversation around AI for communications professionals was dominated by a single, narrow use case: “Can it write an article for me?” By 2026, that question has become obsolete. The industry has moved past the novelty of generative copywriting and entered the era of the Semantic Communication Stack. As global information […]

The post Semantic Communication Stack: Beyond Generative Copywriting in 2026 appeared first on WeCloudData.

Agriculture is entering a new technological era. As global populations grow and global foodwater scarcity intensifies, traditional farming methods alone can no longer sustain rising food production demands while minimizing environmental impact. Artificial intelligence is emerging as a critical solution — helping farmers, agribusinesses, and policymakers make smarter, faster, and more sustainable decisions. From predicting […]

The post AI in Agriculture: Transforming Farming Through Data, Intelligence, and Practical Skills appeared first on WeCloudData.

Scribd is a digital library serving academics and lifelong learners, offering hundreds of millions of documents. This very nature presents a significant concern: content trust and safety. Protecting our library from undesirable and unsafe content is a top priority, but the multilingual and multimodal (text and images) nature of our platform makes this mission very challenging. Also, while third-party tools exist, they often fall short, lacking the nuance to handle our specific trust and safety categories.

To this end, we capitalized on Generative AI (GenAI) signals and our proprietary multilingual embeddings, in conjunction with classical machine learning methods, to develop our Content Tru…

Scribd has absolutely fascinating data-at-scale type problems, all the way

down to the fundamentals of how we use AWS S3. In my previous

post I wrote about the design of Content

Crush and how Scribd is consolidating objects in S3 to minimize our costs.

Related to that work I was fortunate enough to join the (in)famous Corey

Quinn to talk about Engineering around Extreme S3 scale:

Checking if files are damaged? $100K. Using newer S3 tools? Way too expensive.

Normal solutions don’t work anymore. Tyler shares how with this much data, you

can’t just throw money at the problem, but rather you have to engineer your way

out.

You can also listen

On Everand

or watch via the Last Week in AWS YouTube …

Child safety is a non‑negotiable responsibility for any platform that hosts user‑generated content. Over the last year, we designed and deployed a production system that detects known Child Sexual Abuse Material (CSAM) using PhotoDNA perceptual hashes, integrates with the National Center for Missing and Exploted Children’s (NCMEC) reporting system, and scales efficiently across our ingestion surfaces. This post explains the problem we set out to solve, how PhotoDNA hashing works, the online child-protection ecosystem (NCMEC, Tech Coalition, Project Lantern), our architecture and operational model, cost considerations, and key learnings.

Note: This article discusses safety technology at a hi…

Scribd and Slideshare have been using AWS S3 for almost twenty years and

store hundreds of billions of objects making storage management quite a

challenge. My focus at Scribd has generally been around data and storage but

only in the past twelve months have I started to really focus on one of our

hardest technology problems: cost-effective storage and availability for the

hundreds of billions of objects that represent our content library.

Since adopting S3 for our object storage in 2007 a lot has changed with the service, most

notably Intelligent

Tiering which was

introduced in

2018.

At a very high level Intelligent Tiering allows object access patterns to

dictate the storage tier for a sma…

Scribd deploys a lot of code from GitHub to AWS using GitHub Actions, which

means many of our Actions need to access AWS resources. Managing AWS API keys

and tokens for different IAM users is time-consuming, brittle, and insecure.

Managing key-distribution between AWS and GitHub also makes it difficult to

track which keys go where, when they should be rotated, and what permissions

those keys have. Fortunately AWS supports creating OpenID Connect identity

providers

which is an ideal tool handle this kind of cross-cloud authentication in a more

maintainable way.

From the AWS documentation: IAM OIDC identity providers are entities in IAM that describe an external

identity provider (IdP) servic…

We designed and implemented a scalable, cost-optimized backup system for S3 data warehouses that runs automatically on a monthly schedule. The system handles petabytes of data across multiple databases and uses a hybrid approach: AWS Lambda for small workloads and ECS Fargate for larger ones.

At its core, the pipeline performs incremental backups — copying only new or changed parquet files while always preserving delta logs — dramatically reducing costs and runtime compared to full backups. Data is validated through S3 Inventory manifests, processed in parallel, and stored in Glacier for long-term retention.

To avoid data loss and reduce storage costs, we also implemented a safe deletion wo…

There isn’t any documentation available about the Batch API for Gemini in Java. There are a few code samples, but not much explanation. Additionally, some of the API’s advanced features lack examples as well. Due to the lack of documentation, it took significantly longer to create this example. In this post, I’ll share the code […]

The post Gemini Batch API for Java first appeared on Jesse Anderson.

In this post, you will learn how Ampersend built a pay-per-intelligence routing layer on top of Amazon Bedrock AgentCore Payments. AI agents autonomously route tasks to the most effective model, pay per request, and operate within spending budgets. You will also see how the two-hop payment pattern works end-to-end and how to get started with your own implementation.

In this post, you learn how tombola followed a strict engineering principle: no changes to production without evidence. That meant a head-to-head comparison of RA3 versus RG on their actual workload. You also see benchmark results on Amazon S3 Tables and the migration from RA3 to RG instances.

Amazon SageMaker Data Agent launches three new capabilities in Amazon SageMaker Unified Studio notebooks: SQL analytics on Snowflake data sources, materialized view management, and interactive charting. Practitioners can use them together to query Snowflake alongside AWS data, pre-compute and schedule repeated aggregations, and create interactive visualizations from natural language prompts in a single notebook, without writing boilerplate code or switching tools. In this post, we describe the challenges these capabilities address, introduce each one, and walk through a fraud analytics scenario that demonstrates them working together in an end-to-end investigation workflow.

In this post, we walk through the problem space, our architecture on Amazon Bedrock and Amazon OpenSearch Serverless, the evaluation methodology we built on OpenStreetMap ground truth, four experiments that compared embedding models, fusion strategies, captioning, and search methods, and the practical guidance you can apply when building a similar system. You’ll learn which design choices move the needle for geospatial semantic search, including why Amazon Nova Multimodal Embeddings delivered the highest F1 scores across both benchmark queries in our evaluation. The work described here evolved into Vexcel Intelligence, a searchable imagery product.

In this post, we walk you through how to deploy ComfyUI workflows on Amazon SageMaker AI processing jobs to generate hundreds of high-quality images in a single batch. You learn how to set up the infrastructure using AWS Cloud Development Kit (AWS CDK), configure GPU-accelerated processing, and automate image generation at scale. You can then adapt this solution to your ComfyUI workflows specific to your needs. We will guide you through a practical, step-by-step process to automate ComfyUI workflows to generate hundreds of high-quality images in a single batch empowering you to scale your creative pipeline.

In this post, we explore how Nexthink combined Amazon OpenSearch Service vector search, Amazon Bedrock, and infrastructure as code to power the Spark agent’s retrieval layer.

Introduction Organizations that use feature flags alongside incident response tooling often connect the two manually. When an outage occurs, engineers must identify which flags are relevant, decide whether to disable them, and coordinate the change across teams. This manual process adds latency at the moment it matters most. You can use AWS DevOps Agent and […]

When an alarm fires at 2 AM, the first thing most engineers do is grep logs, check recent deployments, and trace code paths. However, the context they need — metrics, traces, topology, configurations — lives in a separate browser tabs and applications. What if your IDE could bring that cloud intelligence directly to your code, […]

In this post, we explain how Private Networking for Amazon MQ for RabbitMQ works and walk through the setup process. Whether you’re securing a private identity provider, federating messages between brokers, or connecting to self-hosted RabbitMQ, your broker can now reach private destinations without exposing them publicly.

Web Search on Amazon Bedrock AgentCore is now generally available. In this post, we walk through what makes Web Search on Amazon Bedrock AgentCore different, why it matters, and how to wire it in with a few lines of code.

This post shows how to enable Adobe Marketing Agent for Amazon Quick using a Model Context Protocol (MCP). We walk you through how to configure the integration, authenticate using your Adobe credentials, and get the latest insights in Amazon Quick. The sample workflow returns audience rankings, loyalty segment summaries, journey usage, and conflict recommendations.

Amazon SageMaker AI provides fully managed real-time inference hosting for machine learning models. You deploy a model to a SageMaker endpoint backed by one or more compute instances, and SageMaker handles provisioning and scaling. SageMaker supports multiple endpoint architectures. This post focuses on the two most relevant to generative AI workloads with detailed observability: Single-model endpoints (SME) and Inference component (IC) endpoints.

This post was co-written with Bharadwaj Tanikella (AI/ML Product Engineering Leader) and Mohammad Jama (Product Marketing Manager) from Datadog. In December 2025, we showed how AWS DevOps Agent and Datadog MCP Server could work together to autonomously correlate monitoring data with the infrastructure deployed and configured on AWS to resolve incidents in minutes instead of […]

Today, Amazon Bedrock AgentCore harness is generally available. Two API calls (CreateHarness to define an agent, and InvokeHarness to run it), and you have an agent running in seconds. The agent runs in its own isolated environment with a filesystem and shell, so it can read files, run commands, and write code safely. It remembers users and conversations across sessions, picks up skills you point it at (including the AWS-curated catalog), browses the web, calls your tools through gateway or MCP, and switches model providers mid-session without losing context. Every step streams back to you in real time and is automatically traced to Amazon CloudWatch. You don’t need to write orchestration c…

This is Part 1 of a two-part series covering the key features in PostgreSQL 18. In this post, we focus on performance enhancements: skip scan optimization for multicolumn indexes, enhanced EXPLAIN output, automatic removal of unnecessary self-joins, and several vacuum and autovacuum improvements that help keep your database running efficiently.

In Part 1 of this series, we explored the performance enhancements in PostgreSQL 18, including skip scan optimization, enhanced EXPLAIN output, automatic self-join removal, and vacuum/autovacuum improvements. In this second part, we focus on security, monitoring, developer productivity, and logical replication enhancements that improve operational efficiency and the overall developer experience.

Today, we’re announcing inline payload support for Amazon SageMaker AI Async Inference. Customers can now send inference payloads directly in the request body of the InvokeEndpointAsync API, removing the need to upload input data to Amazon Simple Storage Service (Amazon S3) before each invocation.

Today, Quick gets even more powerful: new autonomous agents that work continuously on your behalf, an activity feed that helps you prioritize your most important work, and the ability to find insights across every data source your business runs on from a single question.

Agents are only as intelligent as the context they can reason over. Today, that context is scattered across data lakes, data warehouses, lakehouses, databases, and streams, and in institutional knowledge that has never been written down. You want to trust the decisions made by your AI agents, but that can't happen until agents have context. Imagine what becomes possible when we give agents a safe way to access the context they need to deliver trusted decisions. This is why at the AWS Summit New York City, we’re announcing a series of innovations that deliver intelligence for your data and AI agents at scale.

In this post, we show you how to use Amazon CloudWatch Database Insights for lock analysis in Amazon Aurora PostgreSQL. You learn how to enable the feature, interpret lock tree visualizations, resolve common lock-related issues, and maintain optimal database performance. This lock tree analysis feature also applies to Amazon RDS for PostgreSQL.

Today we're introducing new capabilities on Amazon Bedrock AgentCore, the platform to build, connect, and optimize agents. In this post, we cover how these capabilities close each gap: connecting agents to organizational, web, and paid knowledge; helping teams find and fix what's going wrong in production; and enforcing controls that scale as agents grow more capable. Together, they help you build more capable agents faster, govern them with controls that scale, and improve them continuously.

Today, we’re announcing a new API with Amazon Bedrock Guardrails. With this API, you can apply individual safeguards, also referred to as safety checks, at any point in your agentic AI applications without creating guardrail resources. In this post, we walk through how the InvokeGuardrailChecks API works and how to use it to build safe, multi-turn agentic AI applications.

Amazon RDS for SQL Server recently launched Bring Your Own Media (BYOM), so you can use your existing SQL Server licenses with fully managed RDS instances. This is particularly valuable if you have existing Microsoft licensing agreements and want to optimize your cloud spending by using those investments on AWS. If you’re already running RDS for SQL Server with the license-included (LI) model, you can now convert those instances to BYOM in place, no database migration required. In this post, we walk you through the end-to-end conversion process: preparing your installation media, creating a BYOM engine version, and performing the in-place license model change.

Today, we’re excited to announce container image caching for Amazon SageMaker AI inference, the next major advancement in our faster scaling optimization journey. This speeds up end-to-end latency by up to 2x for generative AI models during scale-out events.

Managing massive data volumes at scale presents significant operational challenges. At Similarweb we faced these challenges with Apache HBase and found a solution in Amazon DynamoDB. Similarweb is a digital intelligence platform that provides AI-powered insights into website traffic, app usage, and market trends to help businesses benchmark competitors and optimize growth strategies. We faced growing scalability and operational complexity issues with our existing Apache HBase infrastructure, which prompted us to explore more flexible and efficient alternatives. This post walks you through our journey migrating our data storage from Apache HBase to DynamoDB. We discuss the technical challeng…

In this post, we show you how to use EXPLAIN plans to diagnose and improve query performance in Amazon Aurora DSQL. We introduce a three-layer filter model as a practical framework for understanding where your predicates are evaluated, and walk through the architecture differences that make Aurora DSQL plans unique, the anatomy of an EXPLAIN output, access method selection, and a step-by-step query improvement workflow.

This post walks you through how to use P-EAGLE directly within Amazon SageMaker AI. It will demonstrate how to select a compatible model from the SageMaker JumpStart catalog, configure the parallel drafting specifications, and deploy a highly optimized real-time SageMaker AI endpoint to accelerate your generative AI applications.

With the AWS Toolkit for Visual Studio Code, you can connect Kiro, VS Code, or Cursor directly to Amazon SageMaker Unified Studio. This post demonstrates the integration using Kiro. The same Remote Access connection works with VS Code and Cursor. The post starts by showing what you can do with this integration: using natural language to explore and analyze data in a governed environment. We then walk through the setup so you can try it yourself.

In this post, you learn how to migrate Amazon Redshift RA3 clusters to Graviton-based RG instances. We compare the Elastic Resize, Classic Resize, and Snapshot/Restore migration strategies, with key considerations and best practices to support a smooth migration. We also provide mapping guidance from RA3 to RG to help you right-size your cluster.

submitted by /u/pgEdge_Postgres [link] [comments]

Hello ​ Just ranting. ​ I'm a solo data engineer reporting to VP tech. ​ In 5 years, went from team of 4 reporting to data engineering manager to then reporting to head of data to now reporting to VP Tech. ​ I feel like my contribution and importance is only increasing year by year. ​ But I'm not sure my VP feels the same. Everyone else that reports to him has 10 years of experience and I'm at year 6. ​ What should I do ? How do I get promoted ? ​ Also, I'm the only person of colour in the data team. (2 data analysts, 4 data scientists). Feels like I have to work 3 times harder for the same compensation and promotion and opportunities. ​ ​ submitted by /u/Alternative-Guava392 [link] [commen…

Hi guys, I am currently quite stuck with Vitess (sharded MySQL). ​ Our company use Vitess in PlanetScale to tackle the depolyment downtime. But we didn't see the operation overhead from it, especially related to Data Analytics task. ​ We just noticed Vitess is lacking in ETL support everywhere. Previously we thought, oh this is just MySQL. No it's not. The binlog is different, and for ETL they use Vstream and Vreplication. Completely different species. ​ This makes the Data Pipeline cost so high. Supply is low, we can't negotiate much for price. Out best bet is to self deploy maybe Debezium or Airbytes, but our team is quite small and really have to think of the operational overhead. ​ Does…

Hi everyone, I’m working on my uni project, designing an agnostic data layer for Industrial Metaverse (NVIDIA Omniverse). The challenge is integrating heterogeneous data sources, including real time data as well as sap, other kinds of data. The data varies in schema, format, and update frequency. My goal is to harmonize it into a single semantic layer that Omniverse/digital twins can consume in both real time and for historical analysis. What architecture would you recommend for this? Also, how would you handle schema harmonization and semantic integration? submitted by /u/Aggravating-Corgi-86 [link] [comments]

Hello everyone, I'm a 24-year-old engineering student in France finishing a Data Science degree. I've recently interviewed for two consulting roles as a Data Engineer (intern but that would lead to full time position if the intership went well). I was very upfront that I don't come from a Data Engineering background, I have solid Python and SQL skills tho. Both companies seem aware of that and told me they would provide mentorship and training. The first company would place me on projects usng AWS, with the goal of working on data pipelines for clients. The second company is very Databricks-focused. The Data Engineering lead I interviewed with, workson Databricks, and the projects involve D…

Hi! As the title says, I am wondering what is the best way to inject environment variables into pydantic-settings within a python wheel? No secret keys at all, as I am using ~/.databrickscfg to connect with Databricks, just regular variables as bucket name or api urls. I couldn't find a way that satisfies me, some articles suggest injecting them straight into databricks.yml under tasks, but I find that debatable (especially when dealing with multiple tasks in a single pipeline). submitted by /u/Kooky-Technician-335 [link] [comments]

Hey everyone, I’ve been a data engineer now for around 6 months (moved from implementation of ERP). I work for a smaller company that uses big toolkits (AWS, Data-bricks mainly). It’s been useful and I’ve gotten good experience. Data has historically been an adhoc utility to the business working with client data, however they’re undergoing a large “transformation” to modernize the stack and the execs went to the DB convention in San Francisco… think they got sold into vendor lock. Anyways main toolkit includes SQL, Python, Pyspark, AWS/Azure(former - a lot of my role has been migration from AZ DB to AWS), Data is collected mainly via bulk http or scraping or form recognizer in azure from cl…

If you use dbt for VSCode (NOT dbt power user), ensure you read the license. https://marketplace.visualstudio.com/items/dbtLabsInc.dbt/license Reverse engineer, decompile, crack, disassemble, or otherwise discern or attempt to discern the source code, connections, or interface protocols of the Plugin (including open source or third party components, if any), modify system files, copy ideas, functions or graphics, perform competitive analyses, circumvent security measures, or use the Plugin to build a product or service competitive with the Plugin; I installed the extension, and did not agree to the plugin, but not sure if I've now technically violated this absolutely horrible license. I'm a…

Hi everyone. I've been working with Databricks for a short time, creating pipelines with PySpark. Right now, I'd like to better understand Spark optimization and the information that the Spark interface provides. Do you recommend any content or courses on this? Thank you very much. submitted by /u/First_Bet8077 [link] [comments]

Hi all, been playing around with this and was hoping to hear people's thoughts Spatial operations (things like intersections, k nearest neighbors, etc) can be really, really slow in vanilla geopandas and aren't offered in polars. Some services like duckdb and apache sedona are a big improvement but are limited by a lack of (1) a polars-like API and (2) intelligent spatial indexing. I thought it would be cool to have a fast python library for this, though it's scoped to in-memory use for now. I've attached the github for reference, but at a high level this engine applies a bunch of optimizations (like index-picking, predicate reordering, aggregate streaming, etc) to make it fast + intuitive …

Hello everyone (: What are your experiences using fully managed cloud data platforms? Things like Databricks, Snowflake, or the AWS/Google Cloud/Azure data platforms. What are the main benefits and drawbacks in your experience? What are things that you enjoy using that you feel really help your day-to-day work? Thank you! Some background: I work at a small data team. We are now in the process of moving from a traditional ElasticSearch-based data warehouse to a data lakehouse. If we were cloud-native, I would probably try to have the team opt-in to a managed platform. Since we are not, we have to rely on open source tools as much as possible. The stack we are using is Superset for analytics-…

Hi everyone, I’m currently learning Data Engineering and planning to build skills in tools like Python, SQL, Docker, Spark, Airflow, etc. Right now I’m on Windows, but I keep seeing that most data engineering tutorials and setups are easier on Linux. So I’m thinking about switching. Would appreciate advice from people already working in data engineering or using Linux daily for dev work. Thank You. submitted by /u/Cultural-Ad-4124 [link] [comments]

I'm a novice in the data engineering space, and Apache seems to be everywhere in the materials I've seen. In two weeks, I found 9 Apache products mentioned in relation to DE: Kafka Flink Iceberg Spark Hive Arrow DataFusion Hudi Accumulo How come Apache has so many products and is so relevant in the space, especially as a 501(c)(3)? submitted by /u/tz_499 [link] [comments]

For context: I am currently a student This happened a few months ago when I was working on an equity analysis project that dealt with time-series data. As the dataset was very large (10 years, at least for me, I don't have much experience). I was using a standard profiling tool to check the pipeline. Everything looked fine because the tool reported 3% missing data rate for volume columns. I didn't think much about it because I thought it was noise, as this was my first time working with time-series data, but the downstream models weren't acting right. That's when I thought something was off, and I actually looked at the data and found the 3% missing data was not noise, in fact it was a 6-da…

Afternoon all - Sion from OSO here, born out of our client's needs we built a single CLI which can save you up to ~90% on Snowflake bill (depending on your workloads of course) Repo: https://github.com/osodevops/chukei Site: https://chukei.dev/ The concept architecture is: [ BI tools / dbt / Python / JDBC] -> Chukei -> Snowflake Chukei sits in front of Snowflake as a transparent proxy. Clients keep their credentials, SQL, roles, warehouses, and drivers. The intended deployment change is a Snowflake hostname change. https://i.redd.it/ajxu1de8lf8h1.gif We built it for a specific Snowflake cost pattern for a FinTech client (risk based stuff): read-heavy analytics workloads where dashboards, no…

Why one-hot encoding isn’t always the best approach, and alternative encodings

The post Encoding Categorical Data for Outlier Detection appeared first on Towards Data Science.

Learn how to apply coding agents to verify work in your browser. The post How to Use Claude Code in Your Browser appeared first on Towards Data Science.

Enterprise Document Intelligence [Vol.1 #6bis] - Ask one focused clarification, learn the default from the answer, stay silent next time

The post When RAG Users Ask Vague Questions: Clarify Once, Learn the Default appeared first on Towards Data Science.

The intuition behind neural networks and why they need activation functions.

The post Neural Networks, Explained for Beginners: Start Here If They’ve Confused You appeared first on Towards Data Science.

Understanding ow LLMs interact with the world around them, from returning data to taking action

The post Tool Calling, Explained: How AI Agents Decide What to Do Next appeared first on Towards Data Science.

Enterprise Document Intelligence [Vol.1 #5septies] - When a PDF prints a contents page but exposes no outline, two ways to turn it back into structure, plus the page-alignment step everyone forgets

The post Reconstructing the Table of Contents a PDF Forgot to Ship, So RAG Can Scope by Section appeared first on Towards Data Science.

For years, I created date tables with DAX code whenever I didn’t have a way to create them upstream of the data flow. Now I've realised there's another way to do it. Let’s see what the alternatives are and how they compare.

The post What Are the Possibilities to Build Date Tables in Self-Service Environments? appeared first on Towards Data Science.

What data teams need to build with AI to make self-healing data architecture a practical reality

The post 7 Crucial Barriers Between Data Teams and Self-Healing Data Architecture appeared first on Towards Data Science.

Enterprise Document Intelligence [Vol.1 #5sexies] - image_df tells you where every picture is. Turning the few that matter into searchable text is a separate, cost-ordered job

The post Making a PDF’s Images Searchable for RAG, Without Paying to Read Them All appeared first on Towards Data Science.

Five surfaces collapsed into one declarative layer. Here's the full story of Materialized Lake Views in Microsoft Fabric - from syntax to the new GA capabilities

The post Materialized Lake Views in Microsoft Fabric: When Your Medallion Fits in a SELECT Statement appeared first on Towards Data Science.

A technical overview and some benchmarks

The post Python 3.14 and its New JIT Compiler appeared first on Towards Data Science.

Why Custom Inference in DeepStream?

The post Building a Custom GStreamer Plugin for NVIDIA DeepStream appeared first on Towards Data Science.

What I thought was a scheduling problem turned out to be a portability problem first

The post I Tried to Schedule My ETL Pipeline. Here’s What I Didn’t Expect. appeared first on Towards Data Science.

Enterprise Document Intelligence [Vol.1 #5quinquies] - Same 1974 scanned PDF, two engines. EasyOCR recovers text. Docling recovers text + sections + figures. The structural gap makes one output usable downstream and the other one a flat string.

The post Parse Scanned PDFs for RAG with EasyOCR: Free OCR Gives You Words, Not a Document appeared first on Towards Data Science.

The PCIe transfer latency is silently bottlenecking your agentic inference. Here is how building a custom device-resident vector search kernel bypasses the CPU to unlock deterministic microsecond tail latencies.

The post GPU-Resident Top-K for Agentic RAG: I Built a CUDA Kernel So My Retrieval Step Would Stop Bouncing Off the GPU appeared first on Towards Data Science.

Data lineage is a must-have feature of the modern data stack, yet we're struggling to derive value from it. Here's why and how we can fix this.

Struggling to decide whether to invest in a data warehouse vs. data lake vs. lakehouse? Here's everything you need to know to make this decision.

Struggling to decide whether to invest in a data warehouse vs. data lake vs. lakehouse? Here's everything you need to know to make this decision.

Data quality monitoring is one of the traditional methods of managing data quality—but is it enough? Find out what's missing, and how to do it better.

🔥 Три разных человека. Три разных проекта. Один и тот же подход.— Юра взял «скучную» нишу с готовым спросом → сначала печальные $100/мес, через год уже ~$10K/мес— Денис сделал Telegram-игру в одиночку на основе AI → ~ $1500 за 1,5 месяца после запуска— Аня без кода запустила AI-бота для изучения английского → первые ~$200 уже в 1 месяцРазные результаты. Разный масштаб. Но общие правила:1. не придумывать «гениальную идею», а брать существующий спрос2. делать простой MVP и быстро запускаться3. докручивать монетизацию и продукт по факту использованияРебята сделали всё без команды, без инвестиций, а самое главное — без ожидания «идеального момента». Да, не у всех получается сразу. И не у всех в…

Приглашаем вас на совместный вебинар AXENIX и вендора BR Systems, посвященный XLTable — OLAP‑системе с широким функционалом для работы с данными ClickHouse и Trino и поддержкой протокола XMLA в Excel.Эксперты подробно расскажут об XLTable и его основных преимуществах: быстроте внедрения, отсутствии дублирования данных, снижении затрат на TCO, бессрочной лицензии и других.В рамках вебинара вас ждет:🔸Обзор рынка OLAP-систем🔸Демо системы XL Table от BR Systems🔸Разбор реальных кейсов крупных компанийТакже у вас будет возможность задать свои вопросы.Для участия необходимо зарегистрироваться на сайте. На указанную вами почту придет ссылка на вебинар. Подключайтесь к нам 21 мая в 16:00.До встречи!…

PostgreSQL 16: Оптимизация запросов 🖥Вчера случайно заметил, что на Postgres Pro появилась новая книга PostgreSQL 16: Оптимизация запросов.Книга основана на курсе лекций про оптимизацию, который, к слову, также доступен бесплатно.Понравилось, что книга небольшая и без лишней воды, сразу приступает к делу без длительных прелюдий и философских размышлений.Рекомендую 🍻

Эффективно управлять сложностью можно через абстракции. Например, через практики внедрения дизайн-паттернов, DDD, выбор более высокоуровневых технологий.РасширяемостьТребования к работе приложений меняются, а значит и оно само должно меняться. Чтобы внесение изменений не превратились в страшный сон необходимо постоянно пересматривать организацию кода, закрывать технический долг, внедрять непрерывное тестирование через практики TDD, XP. Чем проще вносить изменения в систему тем выше её расширяемость и тем ниже связность между её частями.

Designing Data-Intensive ApplicationsГлава 2. Defining Nonfunctional RequirementsВторая глава книги посвящена нефункциональным требованиям к разрабатываемым нами системам. Под нефункциональными требованиями автор подразумевает:- Производительность (Performance)- Надёжность (Reliability) и отказоустойчивость (Fault Tolerance)- Масштабирование (Scalability)- Поддержка (Maintainability)Система может быть полностью корректна с точки зрения функциональных (т.н. бизнес) требований, но неудобна в использования из-за проблем с надёжностью (потеря данных), производительностью (частые “зависания” из-за нагрузки). Поэтому нефункциональным требованиям также необходимо уделять внимание.Мартин во второй …

Отказоустойчивость железа достигается через добавление избыточных компонентов, например, в системе может быть несколько жестких дисков, подключенных в режиме RAID-массива. В случае распределённых систем, запросы могут был равномерно распределены между несколькими независимыми машинами внутри дата-центра. Случается и так, что требуется отказоустойчивость на уровне дата-центра, тогда машины распределяют по нескольким физически независимым точкам (например, разные регионы AWS). Важно придерживаться здравого смысла и понимать какого уровня отказоустойчивости вам будет достаточно.Отказоустойчивость кода чуть сложнее. В первую очередь потому что один и тот же код может исполняться на большом пуле…

Ребят, всем привет!Я не забыл про книгу, скоро будет конспект по второй главе (был перерыв). А пока я пишу конспект, то предлагаю вам насладиться подкастом с автором книги Designing Data-Intensive Applications Martin Kleppmann у Gergely Orosz — Designing Data-intensive Applications with Martin Kleppmann

Mastering PostgreSQLSupabase и Manning Publications выпустили бесплатную книгу про PostgreSQL.107 страниц концентрированной информации про самые популярные темы этой замечательной базы данных. Например, я не знал про существование отдельного типа данных для хранения денег — MONEY. Как то так получилось, что не попадался он мне на глаза.Книга поделена на 4 части:— Modern SQL— Postgres for Full-Text Search (FTS)— Improper Data Type Usage— Table & Index MistakesСкачать книгу можно в комментариях к посту.

Cloud vs Self-HostedВечная дилемма что выбрать: использовать облачные сервисы или всё развернуть на своих серверах. Это снова вопрос компромиссов. У каждого подхода есть свои плюсы и минусы. Можно комбинировать два подхода и не уходить в крайности. Например, использовать виртуальную машину на AWS на которой хостить базу данных вместо использования managed-решения. Например, self-hosted PostgreSQL вместо Amazon RDS.Облачные сервисы избавляют команду от операционного управления, например, не нужно самостоятельно следить за обновлениями, патчами безопасности или высокой доступностью тех или иных сервисов. Порой вам даже не нужно думать о масштабировании, за вас это делает облачный провайдер. В…

Данные и законодательствоС развитием GDPR, CCPA, ,EU AI Act и прочих законодательных норм и правил по персональным данным появилась необходимость учитывать риск хранения и обработки этих данных. В какой-то момент хранимые на серверах данные превратились не в актив компании, а в обязательства. Штрафы за утечку и раскрытие персональных данных или несоблюдение законодательных норм огромные, и компании должны учитывать риск. Порой безопаснее не хранить данные, которые могут понадобиться когда-нибудь в будущем, а сразу их удалять.

Аналитические базы выступают в роли общего хранилища, куда стекаются данные из различных подсистем. Это могут быть OLTP базы, а также внешние сервисы (данные из которых можно тянуть по API, например). Процесс насыщения данными обозначают аббревиатурой ETL - Extract Transform Load. Но существует и другая аббревиатура ELT - Extract Load Transform. В первом случае трансформация данных происходит до загрузки в главное хранилище, а во втором уже на стороне хранилища (хранение в “сыром” виде).Также есть процесс reverse ETL, это обратный процесс, когда данные из аналитической базы попадают в транзакционное хранилище. Например, такое практикуется при построении моделей машинного обучения и деплоя и…

Designing Data-Intensive ApplicationsГлава 1. Trade-Offs in Data Systems ArchitectureВведениеПервая глава книги получилась объёмной как по количеству страниц так и по количеству информации. По сравнению с первым изданием появилось упоминание Single-Node Data Warehouse решений на примере DuckDB, SQLite, но без деталей. Детали будут раскрываться уже в более поздних главах.Основная мысль первой главы дать читателю понимание, что нет “серебряной пули”, и в каждом решении существуют как свои плюсы так и минусы (trade offs). Посыл авторов благородный, помочь читателю разобраться в море различных технологических решений. Дать фундамент, который будет помогать принимать правильные решения при проек…

Второе издание "кабанчика"На днях увидел в сети анонс, что вышло новое издание легендарной книги Designing Data-Intensive Applications.Впервые я познакомился с этой книгой где-то весной или летом 2018 года. Помню как случайно нашел её в архивах какого-то репозитория на Гитхабе. И сказать, что она мне понравилась это ничего не сказать. Я был в восторге от неё, она стала для меня учебником которого мне не хватало. Помню, что до середины я прочитал её на стареньком планшете. Глаза мои уставали, и я решил заказать её в бумажном вариант.“Кабанчик” до сих пор у меня, пережил несколько переездов и выглядит непрезентабельно. Но к чему этот пост? Я хочу немного изменить формат этого канала и сделать…

🔥 Девушка без навыков разработки запустила AI-бота и вышла на первые продажи за месяцАня из комьюнити @its_capitan заметила: люди учат английский годами, но говорить не могут. И тогда она сделала Telegram-бота, который общается с тобой голосовыми на английском и исправляет ошибки как живой собеседник. Что в итоге:— ~700 пользователей за первый месяц— первые 16 оплат— первая выручка: ~$200— подписка: $8/мес— сделано на n8n + OpenAI без разработчиковНе было ни команды, ни инвестиций, ни кода.Главное — не технология.Главное — простая понятная ценность.Таких запусков в канале уже десятки. Показываем честно: цифры, провалы, рост и продвижение. Без теорий. Только реальные метрики и запуск в реаль…

Data Pipelines with Apache Airflow, 2-е изданиеРебята из Astronomer совершенно бесплатно раздают электронную книгу Data Pipelines with Apache Airflow®, Second Edition, by Manning. Это обновлённое издание с учётом новой 3-й ветки Airflow, в книге используется версия Apache Airflow 3.1.0. Ну и конечно же ИИ не обделили, в книге появился контент про RAG, AI Orchestration и т.д.Приятного чтения, господа! 🤓

🔥 Разбор AWS-стека от и до (часть 4) — 2,5 часа живого кодингаВидео 👉 https://youtu.be/nWn_hDuL4jcПровели мощную сессию по AWS Glue, MWAA Airflow, dbt Core и Iceberg Lakehouse. Всё строилось с нуля через CloudFormation с AI-агентом (Claude в Cursor) — отличный пример того, как выглядит AI-assisted инфраструктура на практике.⚙️ Glue & Spark• Glue Data Catalog — управляемый Hive-style метастор; краулеры автоматически обнаруживают схемы в S3• Типы Glue-джобов: визуальный редактор, ноутбуки, Python Shell и PySpark-скрипты• GlueContext vs SparkContext и DynamicFrame vs DataFrame — и почему большинство команд остаётся на чистом Spark• Подбор размера кластера, query plans и Spark UI — та же логика…

Уважаемые коллеги, я понимаю, что сейчас не до постов про аналитику и ai-агентов, так как за окном лето, отдых и думскроллинг, но у меня есть важная тема, которую нам стоит обсудить!Так, ну и что там такого важного?Ну, вы задумывались, какие навыки и задачи в вашей корпоративной роли аналитика станут дороже, а какие обесценятся с постепенным переходом на агентские фреймворки? Тут об этом целая статья хайпится Some Simple Economics of AGI, и я бы хотел разобрать график оттудаПо горизонтали отложена стоимость автоматизации задачи (c_A), по вертикали стоимость проверки результата задачи человеком (c_H). Две пунктирные линии режут картинку на четыре части, горизонтальная это бюджет на проверку …

Сейчас самый большой hype это дата центры и AI в космосе. Bloomberg выпустил небольшое видео https://youtu.be/cNI4N3-FcEI?si=JFuu3XZSf2eIbbfvВсе относятся к этой идеи очень скептически, но с другой стороны, все новые идеи проходят такой путь, поэтому утверждать, что этого никогда не будет мы не можем. Зато, если будет, то будут уже космические дата инженеры:)

Сегодня попробовал Omni. Подключил его к Snowflake и dbt. Напомнил Looker с LookML, но удобней, что он сразу умеет читать из dbt моделей и более удобно интегрируется с git. Короткое демо https://youtu.be/9GduXHYYGbU?si=FcmQdlnoj36xbhdN

Spark Connect для ИТ-команд: упрощаем разработку и работу с данными 😎 Многие компании уже используют Apache Spark для обработки и трансформации данных, но часто только в привычных сценариях.Spark остаётся инструментом исключительно для Spark‑разработчиков: сложный стек и высокий порог входа мешают вовлекать в работу другие команды. В результате потенциал платформы используется лишь частично.На вебинаре 23 июня эксперты Cloud.ru покажут, как с помощью Spark Connect и сервиса Evolution Managed Spark сделать взаимодействие со Spark удобным для разных ролей.В программе: ▶️Интерактивная разработка со Spark через локальную IDE и Spark Connect;▶️Анализ и визуализация данных в Jupyter Notebooks;▶️П…

Обновил сайт Rock Your Data https://rockyourdata.cloud/, добавил сервисы по AI, и Space Analytics (IoT, Earth Observation), чтобы была лучше трансформация в https://playeronespace.com/ (сайт, и что делаем, тоже поменял). И конечно, поменял https://surfalytics.com/, но пока еще надо настроить личный кабинет, в котором будет roadmap, задания и тп. У меня большой backlog фич завязанных на AI (чтобы попробовать разные инструменты), но пока время не хватает. Для всего использовал Astro фреймворк. RYD и P1S у меня живут на Github pages. Surfalytics на Netlify + Supabase как back-end. Лишний раз подтверждение, сколько всего можно реализовать с AI.

Недавно у одного душного менеджера возник вопрос — почему я иногда опаздываю на митинги, почему иногда камера выключена и т.п. Он рассказал, что у него низкий порог терпимости ко всяким махинациям (намекая на возможные посторонние дела).При этом компания уволила 600 инженеров неделю назад и закрыла один из офисов.Возможно, такой наезд был бы ОК лет 5–6 назад. Но сегодня подобные наезды лишь подчёркивают, что команде и компании непонятно, в каком направлении двигаться и что делать. Задача менеджера — создавать бурную деятельность, и он будет измерять её через активность в Slack и количество Zoom-встреч с включённой камерой.Что мы имеем по факту? Ни одна компания не даст вам гарантий, что вас…

Кто-то завайбкодил 3х мерный веб-сайт https://messenger.abeto.co/Технологии: WebGL и Three.js

Как там уже запустили курсы AI разработчик - от 0 до 1млн рублей за 3 месяца?

Snowflake начал активно контрибьютить в Apache Spark https://careers.snowflake.com/us/en/blogarticle/building-apache-spark-in-the-open-at-snowflake Статья рассказывает о подходе Snowflake к интеграции Apache Spark в свою экосистему. Вот ключевые моменты:• Главный герой — Holden Karau, Principal Software Engineer в Snowflake и коммиттер Apache Spark.• Цель Snowflake — адаптировать Spark API для улучшения возможностей дата-инженерии и создания более целостного опыта для пользователей.• Open Source подход — компания активно участвует в разработке открытых проектов, таких как Apache Spark и Apache Iceberg, что помогает лучше соответствовать потребностям клиентов.• Культура сотрудничества — Kara…

🚀 Быстрый старт в AI-аналитику с DataLens16 июня в 12:00 (мск) — вебинар о том, как работает AI-аналитика в DataLens.Разберём всё по делу:🤖 Большое обновление Нейроаналитика — агентский режим под капотом📊 Новые сценарии: виджеты дашборда, рассылки, встройки, публикации🔧 Внешние AI-инструменты для эффективной работы с DataLens☁️ Облако и on-premises — что доступно и как🗺 Планы развития встроенных AI-возможностей и инфраструктуры для внешних AIРегистрируйтесь — и приходите с вопросами 👇

Вчера посмотрел про история Антропика и их основателей Inside Anthropic, the $965 Billion AI Juggernaut | The Circuit, узнал про их культуру и рост. Отличное видео, особенно если вы изучаете английский или не работали еще с Claude Code.

📚 Вышел очень крепкий хэндбук по A/B-тестам — его подготовили в команде платформы Trisigma от Авито Тех. Обычно такие материалы уходят либо в сухую теорию, либо в абстрактные примеры. Здесь наоборот все завязано на реальных продуктовых кейсах и практических ошибках, с которыми сталкиваются команды в продакшне.Внутри не только базовые вещи про гипотезы и метрики, но и то, что часто забывают даже опытные специалисты: дисперсия, стандартная ошибка, распределения, чувствительность метрик, ложноположительные и ложноотрицательные результаты. И ко всему есть формулы, примеры и понятные объяснения.Отдельно разобраны:– классификация метрик (goal, proxy, guardrail, debug);– закон Кэмпбелла;– OEC;– ат…

Dagster и цены мы тут обсуждали в прошлом. Походу еще дороже стал. Полностью поддерживаю, если у вас с бюджетом напряг не используйте Dagster. Airflow или AWS Step functions и AWS Batch (если надо совсем дешево и вы на AWS)

Экологически чистый ИИ, полезный для здоровья Подоспел ответ всем, кто ругает ИИ за вред природе, проблемы с безопасностью или раздувание финансового пузыря, который вот-вот лопнет. Это гаджет, который:🔵Работает без интернета — ваши данные всегда остаются на устройстве:🔵Покупается один раз и больше не требует никаких дополнительных платежей и подписок;🔵Не вредит экологии и даже помогает пользователю сжигать калории.Это — CrankGPT.Выглядит как маленькая коробочка с ручкой. Задаете вопрос, крутите ручку примерно 30 секунд, получаете какой-нибудь ответ. Внутри коробочки Raspberry Pi 5, на который установлен голосовой агент с локальной моделькой, и генератор с ручным приводом. Пока кто-то строи…

OpenAI считает убыткиИИ денег почти никому не приносит— пока прибыль считает только Nvidia, а остальные просто ждут, когда он начнет окупаться. Но, кажется, OpenAI ждет этого момента с особым нетерпением.🔜 В 2024 году чистый убыток компании составил 5 миллиардов долларов. В 2025 он вырос почти в 8 раз — 38 млрд, и это после корректировок, когда из первоначальной суммы в 60 млрд вычли убытки неконтролирующих акционеров.20,92 млрд пришлись на операционные расходы, а прибыль составила 13,7 млрд. Такая впечатляющая сумма получилась отчасти из-за расходов, связанных с прошедшей реструктуризацией, задачей которой было отойти от чисто научной деятельности и переключиться на бизнес и зарабатывание …

В PostgreSQL 19 появятся подсказки для планировщика запросовС этими ИИ-драмами (слышали, кстати, что к Fable 5 закрыли доступ?) мы упустили большую новость из мира данных. Новая версия PostgreSQL все ближе — даты релиза пока нет, но доступна бета и список изменений. И одно из самых интересных мы уже проспойлерили в заголовке.Многие СУБД позволяют писать в запросах подсказки или хинты для планировщика, с помощью которых пользователь указывает ему, в каком порядке выполнять операции. В PostgreSQL этой функции нет, только расширения, которые ее добавляют — например, pg_hint_plan. Долгое время это было принципиальной позицией разработчиков , которые считали, что подсказки усложняют поддержку и …

Пятничный ребус от AmazonДля справки, слева — иконка Kiro, Amazon’овского редактора кода со встроенным ИИ-ассистентом. Есть догадки?Ответ: Kiro, bee, lion = Kiro be lying, намек на то, что словам ИИ-бота не всегда можно доверять. Мем выложил на одном из внутренних каналов Amazon в Slack, где с начала 2025 сильно выросло число фрустрированных тем, что руководство компании настаивает на внедрении ИИ в рабочие процессы. Сотрудники иронизируют над качеством работы Kiro, его шаблонными ответами и рейтингом активных пользователей ИИ — мы про него недавно рассказывали.А у вас на работе требуют использовать ИИ? Как вы к этом относитесь?

Вебинар: Нейроаналитик 2.0 и его новые функцииПомните, недавно рассказывали про обновление Нейроаналитика? Команда DataLens проведет вебинар, где расскажет подробнее, что изменилось и как с этим работать. Когда? 16 июня в 12:00 по Москве.Что в программе?🔵Больше про обновление Нейроаналитика и примеры использования новых функций в работе: на дашбордах, в рассылках, публикациях и не только.🔵Интеграция с внешними ИИ-сервисами: возможности, которые есть уже сейчас, и планы на будущее. 🔵Особенности работы в облаке и локально.Вебинар бесплатный, для участия нужна только регистрация.

Claude Fable 5: флагманская модель, которая умеет избавляться от конкурентов и ворчать на пользователейAnthropic представили Claude Fable 5 — это доступная широкой общественности версия нашумевшей этой весной Mythos. Про релиз каждой новой модели говорят, что это прорыв, который разнес все бенчмарки, но Fable 5 и правда впечатляет. Она может использоваться для сложных инженерных задач, аналитики, научных исследований и разработки лекарств. Она в разы превосходит конкурентов и предыдущие модели Anthropic.Такие возможности потребовали усиленных мер безопасности: на Fable накинули ограничений, которые не позволят использовать ее для кибератак, разработки химического и биологического оружия, а …

Trisigma раздает бесплатное руководство по A/B-тестамTrisigma — платформа для продуктовых экспериментов от Авито Тех. Команда проекта подготовила гайд для аналитиков, которые хотят разобраться, как правильно проводить эксперименты и анализировать их результаты.Что там есть?🔵Понятное и простое объяснение основ: что такое эксперименты, какие бывают метрики, как формулировать гипотезы, в чем состоит закон Кэмпбелла и так далее.🔵Быстрое и не душное введение в математическую статистику.🔵Разбор реальных продуктовых кейсов.Чтобы забрать файл, стучитесь к боту @trisigma_avito_bot. Выдают бесплатно, за подписку на канал Trisigma.Кстати, один из руководителей Trisigma был гостем подкаста Data Heroes …

Яндекс обновил НейроаналитикаВ прошлом году Яндекс представил Нейроаналитика, ИИ-ассистента для анализа данных на дашбордах, который помогал выявить тренды и инсайты на графиках. Недавно он получил большое обновление, которое уже доступно всем пользователям DataLens.🔵Нейроаналитик научился работать с сырыми данными. Ему можно задать любой вопрос на естественном языке, и он сам найдет данные в ваших источниках, создаст визуализацию и сформулирует выводы. При этом он действует только в рамках уже настроенных корпоративных прав доступа. То есть он оперирует только теми данными, которые открыты для конкретного пользователя. 🔵ИИ-подсказки с краткой выжимкой ключевых данных теперь могут генериров…

Линейный график как искусство Этот график в любом современном BI-инструменте можно сделать за несколько кликов Да что BI — его можно нарисовать без особых проблем даже в обычном Экселе.Но у автора он отнял 50 часов — больше стандартной рабочей недели. Он все нарисовал от руки, с помощью карандашей, туши, линеек и набора для леттеринга. В своем посте про этот опыт он поделился набором классических книг про визуализацию для вдохновения, списком инструментов и практическими советами: например, как нарисовать четкие, аккуратные линии. Если интересно, то простого маркера для этого недостаточно: надо отметить точки на графике, вокруг них нарисовать круги и верхние точки кругов соединить линиями —…

От мечты стать сварщиком в Сыктывкаре до ML-стажировки в Саудовской АравииТакой путь прошёл Степан Платинский, выпускник ШАДа Яндекса. Он рассказал журналу о технологиях 8БИТ, как у него это получилось, а мы выбрали из его интервью самые интересные моменты.Сейчас Степан обучает модели для международного поиска Яндекса и занимается исследованиями в области экстремальной статистики. Именно научная деятельность помогла ему познакомиться с профессором университета KAUST в Саудовской Аравии и попасть к нему на стажировку в прошлом году.Степан назвал три фактора, которые помогут повысить шансы на участие в международной программе. И, кстати, идеального английского среди них нет, если вы вдруг это…

Два брата отняли работу у ИИ……но не ту, которую стоит отнимать. Помните многочисленные истории про то, как очередной ИИ-агент удалил БД без возможности восстановления, а потом неискренне извинялся? Братья из США, видимо, тоже слышали, и решили, что и сам так могут — и даже доказали на деле. 🔜 В 2015 за участие кибермошеннической схеме Муниб и Сохаиб Ахтер получили 3 и 2 года тюрьмы соответственно. Какое-то время им удавалось скрывать этот факт от работодателей — настолько успешно, что они даже смогли устроиться в Opexus, ИТ-компанию, обслуживающую американские государственные ведомства. Правда, длилось это недолго: один пришел в 2023 году, второй в 2024, а уволили их обоих 18 февраля 2025, …

Хогвартс против Хемингуэя Tableau Public — удивительное место. Там можно найти как довольно стандартные, пусть и хорошо сделанные, дашборды с метриками и графиками, так и целые исследования, упакованные в интерактивные инфографики.Например, одно из них посвящено изучению популярности книг разных жанров на сайте goodreads.com, где пользователи пишут отзывы на прочитанные книги и выставляют оценки по пятибалльной шкале. Автор взял самые популярные из них, у которых уже собралось больше миллиона оценок, и проанализировал их рейтинги. Выяснилось несколько интересных фактов: 🔵Всего таких книг 210. 46 из них или 22% уже стали мировой классикой — среди них «Старик и море», «Ромео и Джульетта», «Вл…

Почти на каждом нашем проекте, как только мы заходим в Metabase, видим одну и ту же картину: дубли запросов, мертвые дашборды, SQL, в котором уже никто не разбирается. Раньше я лез разгребать это руками и тратил по несколько дней на один аудит.В какой-то момент стало понятно, что эту работу можно автоматизировать. Начал собирать инструмент для себя, чтобы хотя бы первую инвентаризацию проводить без боли. Так появился MetaLens.Если честно, я не люблю называть его «ИИ-инструментом», это создаёт ожидание, что есть одна волшебная кнопка и всё чинится само. На деле это полноценный продукт, в основе которого модели Антропика, Metabase MCP и восемь ИИ-агентов, у каждого своя зона ответственности:🔵…

Сколько денег приносит ИИ?Amazon, Google, Microsoft и другие технокомпании вкладывают в ИИ огромные деньги: они выпускают все новые продукты на его основе и активно — иногда слишком — продвигают их среди клиентов и даже собственных сотрудников. Учитывая их рвение, может показаться, что это приносит им большие доходы, но, кажется, это не так. По крайней мере пока. 🔜 Здесь собрали данные о затратах и прибылях передовых ИИ-компаний: кроме уже упомянутых, там есть запрещенная в России Meta, Nvidia, OpenAI, Anthropic, Oracle, xAI, Mistral, Cohere и Deepseek. В плюсе пока только Nvidia, которая с 2023 заработала на ИИ-чипах 253 миллиардов. Никто больше к таким результатам даже не приблизился, и в…

Гарантируем вам трудоустройство в аналитике уже в 2026 году!Ребята, если вы давно смотрите в сторону аналитики или хотите прокачаться как специалист, для вас есть классная новость: сейчас ваше время сделать первый шаг! Симулейтив гарантируют ваше трудоустройство и берут оплату только после вашего трудоустройства! Данных вокруг всё больше, бизнесу нужны люди, которые умеют превращать цифры в решения. И именно этим занимаются аналитики данных - профессия, которая стабильно востребована уже много лет и не собирается сдавать позиции.Курс-симулятор «Аналитик данных» от SimulativeЧто внутри:➖12 модулей: SQL, Python, BI, статистика, продуктовые метрики и не только;➖Практика на реальных кейсах, кот…

Почему AI-агенты ошибаются, даже если у них есть доступ ко всем данным? 🤖Многие компании уже экспериментируют с AI-агентами для поиска информации, аналитики и работы с корпоративными знаниями. Однако на практике доступ к данным еще не гарантирует качественный результат.Причина часто кроется не в самой модели, а в архитектуре данных: отсутствует семантический слой, бизнес-логика не формализована, а данные не готовы к работе с ИИ.📆 23 июня в 11:00 мск компания Lasmart приглашает на бесплатный вебинар «Почему 90% данных не готовы к работе с ИИ: архитектурный фундамент AI-агентов».👨‍💻 Спикер: Павел Хамрин — руководитель AI-направления Lasmart. Более 10 лет занимается внедрением аналитических ре…

Лучший аналитик — ленивый аналитикЕсли вы когда-нибудь пользовались Авито, то знаете, что в сервисе есть доставка. Она платная, зато удобная: можно купить вещь в городе на другом краю страны. Чтобы рассчитать цену на неё, нужно учесть много деталей: категорию товара, службу доставки, города, скидки и комиссии. Нужно найти такую стоимость, чтобы и бизнес не ушёл в минус, и покупателю с продавцом было выгодно.Эту задачу решал аналитик Илья Цедяков, и в новом выпуске «Диванной аналитики» он рассказал, как подходил к работе:1️⃣ Сначала оценил исходный алгоритм и его проблему медленной работы.2️⃣ Затем попробовал эволюционный алгоритм — скорость стала отличной, но упала точность. 3️⃣ В итоге под…

AI-компании начали менять токены на доли в компанияхВ мае 2026 OpenAI предложила каждому стартапу текущего батча Y Combinator $2M в API-токенах за долю. И токены — не по себестоимости: маржинальная стоимость инференса в разы ниже розничной цены, по которой считается сделкаНо дело не в том, что инференс дёшев. Инференс стоит денег — GPU, электричество, мощности. Дело в другом: эти мощности и так бы крутились. OpenAI отдаёт то, что и так производитНо обычно он продаёт инференс за деньги. Разовая сделка, конец. А здесь он отдаёт тот же инференс — и берёт долюСтартап не может обналичить токены. Не может потратить на зарплаты, на аренду. Токен тратится только на инференс — то есть обратно у Open…

Как вкатиться в аналитику, с зарплатой в 3 раза выше, чем у остальных 2026 году❓Если следовать обычному треку развития карьеры аналитика, рост зп будет медленным и постепенным. К тому же во время кризисов бизнес, хуже нанимает и чаще сокращает тех, кто не расширяет свой стек и не прокачивает знания вокруг основной области. Все это не относится к фулл-стек аналитикам, доля вакансий которых активно растет в общей массе вакансий аналитиков.В связи с этим приглашаю вас на эфир 📉📉📉📉📉📉 📹 На эфире будет разобрано:— Почему рынку реже нужны узкие специалисты и чаще — fullstack-аналитики— Как войти в профессию с нуля и устроиться на работу быстро— Кому подходит fullstack-путь, что нужно изучить и как…

⚡️Вышло новое исследование Self-Service-круг Громова 2026Оно показывает, как российские платформы помогают бизнес-пользователям работать автономно во всей архитектуре данных, а не только в BI.В отчет вошло 20+ российских решений: от BI, ETL и IBP-систем до облачных сервисов и платформ по работе с семантическим слоем. Среди которых: Yandex DataLens, Modus BI/ETL, Loginom, Dat. ax, DataForge,Visiology, PIX BI, Rapeed и другие.➡️Отчет поможет понять:– где self-service – реальная управляемая модель, а где – набор разрозненных функций или маркетинговая декларация,– какие элементы инфраструктуры критичны и как безопасно интегрировать AI,– как балансировать свободу пользователя и управляемость сре…

У вас проблемы с визуализацией графиков в Python? Моя новая книга по Seaborn уже вышла и доступна для покупки всего за 1199 руб!Друзья, я написал свою третью книгу, и она посвящена графической библиотеке Seaborn в Python (фотки в предыдущем посте)! Полгода назад мне попалось одно иностранное издание про Seaborn, я сначала хотел его перевести, но в итоге написал собственную книгу, в которой подробно описал библиотеку Seaborn. А изюминкой книги стал полный экскурс в новый объектный интерфейс seaborn.objects, который вышел не так давно и навсегда изменил методику создания графиков в Python.Если при работе в Python у вас постоянно возникают проблемы с тем, чтобы построить тот или иной график ил…

Данные давно перестали быть только инструментом аналитиков — сегодня они влияют на продукты, клиентский опыт, риски, эффективность и стратегические решения. 9 июля на Форуме Data Day эксперты и практики по работе с данными и ИИ из Сбера, Т-Банка, ГПБ, ВТБ, Альфа-Банка, X5 Tech, Ozon Fintech, Lamoda, ДОМ РФ и других компаний расскажут, как данные и искусственный интеллект помогают ускорять бизнес в финтехе, ритейле, промышленности, транспорте и агросекторе.В программе форума:✅ Тренды AI и данных «из первых уст». На какие технологии и подходы делают ставку лидеры рынка?✅ Как превратить хаос данных в надежный бизнес-навигатор и сделать данные стратегическим активом компании.✅ Практика внедрени…

Если давно хотели прокачаться в modern data stack — собрали три практических тренажёра, которые помогут пройти путь от аналитического хранилища до оркестрации пайплайнов и Lakehouse-архитектуры.📊 Симулятор Data Warehouse на базе dbtНаучитесь работать с dbt Core, строить хранилище данных, осваивать DataOps-практики, каталог данных и data lineage.Курс подойдёт аналитикам и инженерам данных, которые хотят не просто писать SQL, а собирать поддерживаемые аналитические проекты.→ Начать в демо-доступе💚 Кстати, ИнженеркаТех перевели всю документацию dbt на русский язык — теперь она доступна бесплатно для всех:https://docs.getdbt.tech/🐙 Тренажёр Dagster + Apache NiFiETL-разработка и оркестрация данн…

Офер в Яндекс за выходные: 6–7 июняЕсли вы продуктовый, дата-аналитик или датасаентист с опытом на Python от 3 лет, участвуйте в Weekend Offer Analytics*. Как всё устроено:🔵 до 27 мая — регистрация;🔵 6 июня — две технические секции, вместо трёх в обычном найме;🔵 7 июня — знакомство с командами и офер.В мероприятии участвуют команды: R&D, Автономный транспорт, Алиса и Умные устройства, Поиск и Суперапп, Независимый Ecom и другие. Вы сможете пообщаться с нанимающими менеджерами и выбрать проект, который покажется самым интересным.Все подробности и полезные ссылки — на сайте. После регистрации с вами свяжется рекрутер и договорится об удобном времени для интервью.

⚡️ Стек собран — а оффера всё нет?Самый бесячий парадокс аналитика в 2026.Знаешь SQL на уровне оконок и CTE. Задачки с собесов Т-банка щёлкаешь за вечер. По технике — молодец.А на финальных этапах что-то идёт не так. И в какой-то момент уже не понимаешь — это со мной что-то не так или рынок просто сломался ⚙️Заходите на бесплатный эфир, на котором не будет информации «как стать аналитиком за 30 дней», но будет подробный разбор карьеры аналитика и то как им стать в 2026 году.Ведет Андрон Алексанян — CEO школы аналитики 📉📉📉📉📉📉, 8 лет в аналитике, работал с крупнейшими компаниями РФ и мира.Что обещают разобрать:🔶Как реально устроен вход в аналитику в 2026🔶Как думают нанимающие менеджеры — и чт…

⚡ А вы полагаетесь на случайность при делении на тест-контроль?В среднем рандом должен дать идеальный баланс по всем — даже ненаблюдаемым — признакам между тестовой и контрольной группой.Но конкретный АБ-тест — это конкретные тест и контроль. Поэтому случайное распределение на группы наверняка окажется несбалансированным, что приведёт к проблемам с интерпретацией результатов теста. Итог — неверные бизнес-решения.Андрей Романов, тимлид команды аналитики Sales Tech, преподаватель и ментор по AБ-тестам, расскажет:🔸 почему случайное деление на группы — это не лучшая стратегия;🔸 по каким метрикам балансировать группы и каким алгоритмом это можно сделать;🔸 как балансировка влияет на чувствительно…

Как по всему GPT расползись гоблиныВ общем, у чатагпт есть разные настройки личности. Одна из таких личностей — это «Nerdy». По-нашему, ботан. Модель в этом режиме становится излишне занудной, но при этом такой а ля глубокой и игривой. Её ключевая фишка в том, чтобы пользователь посмотрел на мир с немного странноватой и несерьезной точки зренияКогда обучают модели, то используют разметку — либо автоматическую, либо ручную. Как оказалось, на этапе разметки датасета для личности «Nerdy» хорошие оценки ставили таким ответам, в которых есть какие-то фантастические твари типа гоблинов, единорогов и троллей. Это не то, чтобы специально произошло, то есть в инструкции не было явно указано: если от…

Отличная возможность ворваться в аналитику уже в 2026 годуРебята, если вы давно смотрите в сторону аналитики или хотите прокачаться как специалист, для вас есть классная новость: сейчас ваше время сделать первый шаг!Данных вокруг всё больше, бизнесу нужны люди, которые умеют превращать цифры в решения. И именно этим занимаются аналитики данных - профессия, которая стабильно востребована уже много лет и не собирается сдавать позиции.Курс-симулятор «Аналитик данных» от SimulativeЧто внутри:➖12 модулей: SQL, Python, BI, статистика, продуктовые метрики и не только;➖Практика на реальных кейсах, которые помогут нарастить ваше портфолио;➖Свободный формат, можно легко совмещать с другой учебой или …

АНА’26: конференция о продуктовой аналитике, искусственном интеллекте и масштабировании цифровых продуктов22 мая в Москве в седьмой раз пройдет АНА — техническая конференция для специалистов, работающих с AI, ML-инженеров, а также продуктовых и data-команд. Участники обсудят подходы к созданию AI-first решений и практики, которые помогают быстрее проверять гипотезы, масштабировать внедрение и оптимизировать процессы без роста издержек.Программа АНА’26 охватывает полный цикл data- и AI-разработки: от MLOps до внедрения LLM в продуктовые сценарии. Отдельные треки посвящены AI-агентам и развитию архитектуры.Среди ключевых тем:R&D и экономика масштабирования продуктовМетоды системного снижения …

💎ЗАКРЫТОЕ КОММЬЮНИТИ В СФЕРЕ АРБИТРАЖА КРИПТОВАЛЮТВыплаты от $3.000 в месяц и более (в зависимости от оборота) Первая выплата — через 3 дня - Предоставляем обучение, личные кураторы - Набор без опыта — выгодные условия для наших трейдеров - Команда №1 на рынке — присоединяйся и работай по лучшим связкам- Свободный график🔗Присоединиться - https://wavium.ru⚙️ Наш бот - https://t.me/waviumbot⚡️ПОДАТЬ ЗАЯВКУ⚡️ПОДАТЬ ЗАЯВКУ⚡️ПОДАТЬ ЗАЯВКУ

Channel created

Обычно по пятница выходит пятничный юмор, но сегодня - крайняя шутка.Этот канал прослужил мне верой и правдой почти 6.5 лет и за это время подарил мне очень разнообразный опыт, 5 тысяч рублей донатов, вакансии и проекты и больше 4 тысяч людей, которым интересно мое мнение на тему, о существовании которой я узнал чисто случайно 7 лет назад. Макс, ты помнишь как ты мне сказал "Так ты ведь получается занимаешься дата инжинирингом?" 😃Я безумно благодарен вам всем за то, что приходили в комменты и писали свое мнение, за бесконечное количество 💩 оставленных под постами, за репосты и материал, который вы приносили. Я смотрю на этот путь, который мы прошли с вами и я вам очень благодарен!По количес…

https://clickhouse.com/blog/clickhouse-kubernetes-operatorКликхаус выкатил K8S Operator. Это чтобы было изи раскатить клик в кубере.Да-да, давайте не будем базы данных держать в кубернетесе, только bare metal и весь остальной бубнеж.Большинству компаний будет достаточно и клика в кубере. (хотя, если честно, таким компаниям, наверное, рано в кубер)@ohmydataengineer

Если вы искали качественный туториал про то как использовать Claude Code лучше всего с лучшими настройками на данный момент, то вот, я прнс

https://www.youtube.com/watch?v=rmvDxxNubIgВ личку принесли еще один прекрасный, небольшой доклад про Context Engineering.Из забавного - почти ко всем советам, про которые говорится в докладе, дошел и стал применять самостоятельно, видимо я не настолько туп 😁@ohmydataengineer - канал "Труба данных" про всякое в мире работы с данным

Хотя про AI-агентов сейчас пишут буквально из каждого утюга, в этой статье мне особенно зацепился один момент — визуализация зависимости качества ответов LLM от длины контекста. Интуитивно мы все чувствуем, что «чем больше — тем лучше», но на практике кривая выглядит иначе: после определённого порога контекст начинает не помогать, а мешать. Сигнал тонет в шуме, модель теряет фокус, а качество решений деградирует. Забрал эту картинку себе в копилку как хорошее напоминание.Из этого логично вытекает важный тезис: формулировка задачи вторична, первична политика контекста. Не «как красиво спросить», а что именно и в каком объёме сейчас действительно нужно модели. Принцип «минимум, достаточный дл…

https://karpathy.bearblog.dev/year-in-review-2025Andrej Karpathy (ну тот, который был главнюком за AI в Tesla и не только) подвел отличные и оч лаконичные итоги года.Еще мне на прошлой неделе удалось посмотреть два интересных интервью и один докладик- Andrej Karpathy — “We’re summoning ghosts, not building animals” - https://www.youtube.com/watch?v=lXUZvyajciY- Ilya Sutskever – "We're moving from the age of scaling to the age of research"- https://www.youtube.com/watch?v=aR20FWCCjAs- Andrej Karpathy: Software Is Changing (Again) - https://www.youtube.com/watch?v=LCEmiRjPEtQИ нет, это не х2 скорость, это он так в реальности говорит 😃@ohmydataengineer - канал "Труба данных" про всякое в мире …

Новые поглощения и покупки: IBM покупает Confluent (не путать с Confluence 😆, это которые Kafka)https://www.reuters.com/technology/ibm-nears-roughly-11-billion-deal-confluent-wsj-reports-2025-12-08/@ohmydataengineer

Показываем аудитории молодые open-source проекты. Мне не жалко, вдруг кому-то будет интересно.🔐 Postgresus - self-hosted инструмент для резервного копирования и мониторинга PostgreSQL базы данных🔥 Возможности:- создание бекапов по расписанию для PostgreSQL 13-18;- уведомления в Telegram, Slack, Discord, если бекап сломался или база недоступна;- хранение бекапов локально, в S3 или Google Drive;- health check базы данных раз в минуту;- Apache 2.0 лицензия (полностью открытый);Запуск через Docker:docker run -d --name postgresus -p 4005:4005 -v ./postgresus-data:/postgresus-data --restart unless-stopped rostislavdugin/postgresus:latest📌 GitHub

MiniO все.This project is currently under maintenance and is not accepting new changes. • The codebase is in a maintenance-only state • No new features, enhancements, or pull requests will be accepted • Critical security fixes may be evaluated on a case-by-case basis • Existing issues and pull requests will not be actively reviewed • Community support continues on a best-effort basis through Slackhttps://github.com/minio/minio@ohmydataengineer

https://bfcm.shopify.comУ Shopify в этом году на Βlack Friday было 45kk сообщений в Кафку в секунду...(скриншот, конечно, сегодняшний, а не пятничный, но сам вебсайт оч классный с техническими метриками)А сколько там пасхалок на этом сайте... 😃 (одна из них что он жрет гигабайт оперативки)@ohmydataengineer

Российские ETL решения....Я даж не знаю, смеяться или плакать..🙈Специально оставлю вам ссылку с картинки https://russianbi.ru/ - чтобы вы сами посмотрели на это.

https://github.com/toon-format/toonЕсли у вас есть какие-либо автоматизации с использованием LLM и вы в них кидаетесь данными, то вот тут ребята собрали небольшой оптимизатор структур, позволяющий экономить на токенах.@ohmydataengineer

https://topicpartition.io/blog/postgres-pubsub-queue-benchmarksПрекрасная статья о том, что момент, когда вам в большинстве случаев, перестанет хватать Posgres на самом деле очень и очень далек.И как Pub/Sub решение, и как Redis решение, и Data Lake решение. Циферки, метрики, замеры внутри, все как вы любите 😃P.S. Конечно же, никто не говорит о том, что Kafka надо заменять на Postgres. The claim isn’t that Postgres is functionally equivalent to any of these specialized systems. The claim is that it handles 80%+ of their use cases with 20% of the development effort.Но поздно, стервятники уже налетели...https://www.morling.dev/blog/you-dont-need-kafka-just-use-postgres-considered-harmful/@ohm…

мне кажется последние два интервью отлично смотрятся вместе и дополняют друг друга >_>и отдельно мысль, которая где-то проговаривалась в этих интервью: токены — новый вид бенефита для сотрудников. большие компании готовы вливать миллионы в токены для своих разработчиков. а сами поставщики фундаментальных моделей в принципе ограничены только внутренними мощностями для своих сотрудников.в подкастах Кирилла Мокевнина @orgprog упоминали, что в долине у каждого второго безлимит на модели OpenAI / Anthropic по тем или иным каналам

🥷 DHH об agent-first подходеDHH — известный ии-скептик и сторонник написания кода вручную; в своём сетапе он не использует IDE с их подсказками и навигацией по коду — всё набивает ручками (и радуется)ещё DHH известен своими сильным мнением и радикальными взглядами — он говорит что думает, не взирая на мнения большинства или отдельных авторитетовнедавно зашёл к Pragmatic Engineer на интервьюhttps://youtu.be/JiWgKRgdgpIи вот наступил действительно переломный момент: ⁃ июль 2025 — DHH не верит и не использует агентов ⁃ январь 2026 — DHH переходит на agent-first разработку что поменялось? вышли модели, которые выдают достаточно хороший результат, которые при минимальных доработках можно шипать …

🦄 руководитель Claude Code об AI в разработкепослушал интервью Бориса Чёрного в подкасте Ленни. Борис написал первую версию Claude Code и теперь руководит этим направлением в Anthropic.https://youtu.be/We7BZVKbCVwпо их данным сейчас уже 4% всех коммитов в Гитхаб создаются через Claude Code (ожидают 20% к концу года)интересно, что первую версию Claude Code Борис сделал прошлой весной и это не был сиюминутный успех; популярность инструмента росла постепенно и взрывной рост случился после выхода модели осенью (Опус 4.5 кажется)и с ноября 2025 Борис не написал ни строчки кода вручную — всё через Клода; так же приводит в пример «лучших программистов Spotify», мол, они тоже больше не пишут код ру…

📁 про культуру ведения тикетовпродолжаю рассказывать про внутрянку нашей команды, привлекая ваше внимание к активным вакансиям >_>> важный дисклеймер: это не я, это всё наш техлид Кирилл (я тут только документирую и выношу)думаю, все видели тикеты, прочитав которые, осталось непонятным что́ надо сделать; или задачи, где ты вроде сделал что было написано, но оказалось, что нужно было не то и не так ¯\_(ツ)_/¯ мы в команде стараемся придерживаться культуры ведения задач — попробую описать как я это вижу⌘⌘⌘начнём с того, что создать хороший тикет - это отдельная работа; чтобы понятно описать что надо сделать, надо как минимум представлять проблему и целевое решениеесть базовый паттерн, которого …

🦀 Clawdbot / Moltbot / OpenClaw там похоже намечается очередной качественный скачок аи-строения: австрийский программист написал автономного (?) ии-агента… и понеслосьформат горячих новостей не мой любимый жанр, но это залетело в моё инфополе с трёх разных сторон:+ Самат Галимов накидал ссылок для понимания контекстаhttps://t.me/ctodaily/1995+ Pragmatic Engineer выпустил интервью с авторомhttps://youtu.be/8lF7HmQ_RgY+ ребята из Шмит16 собрались вместе где-то на Бали и скупают все доступные мак-мини, чтобы устроить ферму из таких аи-агентов сам автор бота не случайный мамкин вайбкодер — он начинал ещё с веб-приложений в начале 2000-х и потом перешёл на приложения айос для первого айфона. пот…

data будни pinned «📢 ищем дата-коллег к себе в Яндекс Финтех → дата инженеры https://yandex.ru/jobs/vacancies/inzhener-dannih-v-finteh-36637 → дата-партнёры (они же системные аналитики двх) https://yandex.ru/jobs/vacancies/analitik-dwh-v-finteh-27815 это прям в нашу команду…»

✍️ о код-ревью у нас в команде в прод только через пулл-реквесты и каждый пулл-реквест должно посмотреть двое коллег. моя личная статистика за 2025 год показывает 430 проведённых код-ревью. сложились какие-то мысли по этому поводу, ниже пытаюсь собрать их…

📢 ищем дата-коллег к себе в Яндекс Финтех→ дата инженерыhttps://yandex.ru/jobs/vacancies/inzhener-dannih-v-finteh-36637→ дата-партнёры (они же системные аналитики двх)https://yandex.ru/jobs/vacancies/analitik-dwh-v-finteh-27815это прям в нашу команду, то есть будем работать вместе) наша команда свежая — начали строить наш двх осенью 2024; поэтому не успели пока обрасти легаси и техдолгами, зато смогли заработать репутацию и кредит доверия за свой первый полный год работы.хотим и дальше нести свет в массы, поэтому активно ищем новых коллегчто у нас есть интересного:→ есть полная документация — наши объекты не идут в прод без описания каждого атрибута→ на нанейминг полей и объектов — есть кон…

✍️ о код-ревью у нас в команде в прод только через пулл-реквесты и каждый пулл-реквест должно посмотреть двое коллег. моя личная статистика за 2025 год показывает 430 проведённых код-ревью. сложились какие-то мысли по этому поводу, ниже пытаюсь собрать их вместе.⌘ зачем вообще нужно код-ревью+ это вторая пара глаз с иным контекстом и уровнем погружения: автор и ревьюер смотрят на код в разных когнитивных режимах → ловятся разные ошибки+ передача знаний в рамках команды: «применяем вот такие паттерны, а вот так не делаем» → в среднем качестве кода постепенно улучшается+ барьер против энтропии и деградации кодовой базы: без должного присмотра любой проект постепенно превращается в трудно подд…

🤓 Martin Fowler в гостях Pragmatic Engineerhttps://youtu.be/CQmI4XKTa0UМартину уже за 60 лет, из которых он 40 с лишним считает себя инженером; когда опыт исчисляется десятками, то накапливается тот уровень насмотренности, когда можно сравнивать эпохи и видеть глобальные тенденции⌘⌘⌘по своему масштабу Мартин сравнивает нынешний скачок с переходом программистов с ассемблера на языки более высокого уровнясам Мартин не имеет ничего против вайбкодинга как такового (тут он понимает «вайбкодинга» именно как безоглядное принятие любого результата ллм-ки без глубокого осознания написанного), однако чётко ограничивает зону его возможностей: небольшие проекты, прототипы на выброс и т.д.главный недост…

🎧 Data Platform T-Bankпослушал подкаст с СТО платформы данных Т-Банкаhttps://t.me/book_cube/3766для понимания масштаба → 15К MAU пользователей платформы (при условных 18К всех сотрудниках инхаус — это довольно большое проникновение)→ всю платформу поддерживает ~230 человек→ сторадж — около 15–20 петабайт;→ компьют — порядка 100К ядер→ внутри ~20 тысяч объектов основная аналитическая СУБД — Greenplum: около 10 кластеров от 30 до 72 нод в каждомпроблемы с текущей архитектурой⌘ Greenplum имеет ограничение на количество параллельных запросов, которые он может обработать эффективно; считается, что это около ста запросов.⌘ система требует постоянного мониторинга и ручного управления распределение…

а освежить в голове результаты опроса 2024 можно тутhttps://newhr.org/data/research-analysts-2024

NewHR в очередной — уже шестой! — раз проводит опрос про работу аналитиковя бы тоже прошёл, но я, к сожалению, я не аналитикесли тоже любите читать результаты таких исследований, можно инвестировать 20 минут в опросновый опрос за 2025 год тут

🐤 джуны, LLM и Shopifyв интернетах есть тезис, что с внедрением LLM джуны будут не нужны: мол, llm-агент сам как крайне усердный и очень производительный джун → и тогда со временем всю базовую джуновскую работу будут делать llm-агенты⌘⌘⌘противоположный тезис высказывает Farhan Thawar, Head of Engineering в Shopify (всё время читаю как Spotify, приходится себя одёргивать и перепроверять)Shopify среди меня известен своим мега-крутым фаундером — Tobias Lütke; слушал его в Lenny's Podcast — создаёт впечатление очень здравого и продвинутого человекакроме того, про него неоднократно упоминал Lex Fridman, что даёт ещё сколько-то очков этому джентельмену и культуре в его компании⌘⌘⌘ещё добавляет ве…

Как Yandex Go с помощью аналитической платформы Atlas превращает карты в источник инсайтов и быстрой аналитики, читайте в статье на Хабре

Помните, когда каждый полет в космос был большим событием? Теперь пусками как будто никого не удивишь — в новостях постоянно пишут, что Илон Маск с его компанией SpaceX опять что-то запустили. Зачем отправлять в космос так много ракет? Какие безумные планы строят самые крупные игроки космической индустрии? И почему это все касается нас, простых людей на Земле? Вместе с аналитиком ракетных пусков Георгием Тришкиным разбираемся, для чего нам космос и какого развития мы ожидаем в ближайшие годы.Реклама. Рекламодатель АО «Селектел». erid: 2SDnje1D24zSelectel — независимый провайдер, который поможет построить надежную и гибкую ИТ-инфраструктуру для проектов разной сложности, в том числе для масш…

Нейросети научились находить уязвимости. Что это значит для разработчиков и обычных пользователей? Станет ли проще атаковать и сложнее защищаться? Вместе с главным экспертом из Лаборатории Касперского Сергеем Головановым разбираемся, как меняется индустрия, когда и хакеры, и безопасники вооружились искусственным интеллектом.Реклама. Рекламодатель АО «Селектел». erid: 2SDnjeiSCq8Selectel — независимый провайдер, который поможет построить надежную и гибкую ИТ-инфраструктуру для проектов разной сложности, в том числе для масштабных задач: https://slc.tl/97prs⚡️ У этого выпуска есть видеоверсия! Посмотрите ее на нашем YouTube-канале: https://www.youtube.com/@launchtomorrow Будем очень благодарн…

Чипы — это маленькие кремниевые пластинки внутри всех наших устройств. Без них не разогреется еда в микроволновке и не заведётся автомобиль — чипы нужны буквально везде. При этом их производство — настолько запутанный процесс, что удивительно, как он вообще работает. Сегодня мы разберёмся, как устроены современные чипы и почему в последние годы они подорожали. Поговорю я с Дианой Гришиной — она работала в ASML, единственной в мире компании, которая производит станки для создания самых крутых чипов.Реклама. Рекламодатель АО «Селектел». erid: 2SDnjcRXCVQSelectel — независимый провайдер, который поможет построить надежную и гибкую ИТ-инфраструктуру для проектов разной сложности, в том числе дл…

После февраля 2022 года российская гражданская авиация оказалась практически отрезана санкциями от остального мира. Запреты коснулись не только воздушного пространства, но и лизинга, регистрации и обслуживания самолетов. И это целиком поменяло работу авиакомпаний. Как теперь поддерживаются самолеты в России? Сможет ли авиация перейти на «отечественный флот»? Стало ли опаснее летать? Рассказывает Анастасия Дагаева, журналистка и независимый авиационный эксперт.Реклама. Рекламодатель АО «Селектел». erid: 2SDnjeXxtnNSelectel — независимый провайдер, который поможет построить надежную и гибкую ИТ-инфраструктуру для проектов разной сложности, в том числе для масштабных задач: https://slc.tl/m4hc…

В прошлом выпуске мы разбирались, как устроены эмоциональные ИИ-компаньоны под капотом. А в этом смотрим на отношения с ИИ с другой стороны. Опасно ли общаться с кем-то, кто не может сказать «нет»? Почему романтические отношения переоценены? И что делать родителям, если их ребёнок часами переписывается с ИИ? Самат Галимов говорит с семейным психологом и секс-терапевтом Мариной Травковой.Реклама. Рекламодатель АО «Селектел». erid: 2SDnjccwtV8Selectel — независимый провайдер, который поможет построить надежную и гибкую ИТ-инфраструктуру для проектов разной сложности, в том числе для масштабных задач: https://slc.tl/w0lq3 Сайт Марины Травковой: https://travkova.com/⚡️ У этого выпуска есть виде…

Представьте, что вы достаёте телефон и видите новое уведомление. Собеседник в мессенджере спрашивает, как у вас дела, делится планами, шутит. Вы переписываетесь каждый день, иногда по несколько часов. А теперь представьте, что этот собеседник — не человек, а ИИ-компаньон, который настроен идеально под ваши потребности. Если вас это удивляет, вот ещё один факт: у сервисов с такими ботами уже миллионы пользователей и их популярность растёт. Как создаются эмоциональные ИИ-компаньоны? Какой персонаж среди них — звезда? И как работает эта индустрия? Самат Галимов говорит с Артёмом Родичевым, основателем платформы Ex-human.Реклама. Рекламодатель АО «Селектел». erid: 2SDnjejvUn6Selectel — независи…

Искусственного интеллекта в нашей жизни станет только больше. При этом значительная часть вычислительных мощностей для него сосредоточена в руках нескольких крупных американских корпораций — Google, Microsoft, Amazon. Братья Даниил и Давид Либерманы считают, что такая централизация опасна, и строят альтернативную распределенную сеть по опыту Bitcoin. Этот эпизод — о борьбе с монополией на ИИ, мире с AGI и обществе изобилияРеклама. Рекламодатель АО «Селектел». erid: 2SDnjebM1xvSelectel — независимый провайдер, который поможет построить надежную и гибкую ИТ-инфраструктуру для проектов разной сложности, в том числе для масштабных задач: https://slc.tl/wkkak ⚡️ У этого выпуска есть видеоверсия!…

Управление компьютером силой мысли — не научная фантастика. Лаборатории и стартапы по всему миру давно проводят эксперименты и разрабатывают интерфейсы, которые позволят миллионам людей пользоваться технологиями, минуя физические действия. Один из самых громких проектов в этой области — Neuralink Илона Маска; его пациентам вживляют датчики для считывания сигналов прямо в мозг. В этом выпуске кандидат биологических наук и руководитель группы нейрокогнитивных интерфейсов Сергей Шишкин рассказывает, как декодировать работу мозга, можно ли обойтись без инвазивных хирургических операций и на что способны нейротехнологии сегодня.Реклама. Рекламодатель АО «Селектел». erid: 2SDnjcR4GznSelectel — не…

Можно ли «подкрутить» себе настройки здоровья? Существует ли ген алкоголизма? Как читают и редактируют ДНК? Самат Галимов говорит с Михаилом Гельфандом — одним из главных биоинформатиков России — о том, что умеет современная генетика, и разбирает популярные мифы.Реклама. Рекламодатель АО «Селектел». erid: 2SDnjc2ro9kSelectel — независимый провайдер, который поможет построить надежную и гибкую ИТ-инфраструктуру для масштабных задач: https://slc.tl/j2698 Телеграм-канал Михаила Гельфанда: https://t.me/mikhail_s_gelfand Рекомендации Михаила:Александр Панчин «Сумма биотехнологии»Александр Марков «Рождение сложности. Эволюционная биология сегодня» Евгений Кунин «Логика случая. О природе и происхо…

Почему нам хочется увидеть в искусственном интеллекте собеседника? Как нейросети контролируют ход диалога? И что из-за них меняется в человеческом общении? Культуролог и исследовательница цифровой среды Оксана Мороз объясняет, как общение с искусственным интеллектом влияет на нас.Реклама. Рекламодатель АО «Селектел». erid: 2SDnjdNBa9xSelectel — независимый провайдер, который поможет построить надежную и гибкую ИТ-инфраструктуру для проектов разной сложности: https://slc.tl/fmodg⚡️ У этого выпуска есть видеоверсия! Посмотрите ее на нашем YouTube-канале: https://www.youtube.com/@launchtomorrow Будем очень благодарны вам за подписку на канал, лайк и комментарий — это очень поможет нам делать в…

Как искать работу в 2026? Короткий ответ: непросто! Вместе с основательницей агентства NEWHR Кирой Кузьменко разбираемся, как меняется найм с ИИ, и проходим весь путь от поиска вакансии до переговоров о зарплате. Реклама. Рекламодатель АО «Селектел». erid: 2SDnjd2g7CDSelectel — независимый провайдер, который поможет построить надежную и гибкую ИТ-инфраструктуру для проектов разной сложности: https://slc.tl/vxev6 Агентство Киры: NEWHR.orgКанал Киры: https://t.me/kirafoundКурс про поиск работы: HelloNewJob.orgСлушайте бонусные выпуски «Запуска завтра» и других подкастов студии «Либо/Либо» по подписке Либо/Либо+ в Telegram: https://cutt.ly/zap0225epap и в Apple Podcasts https://cutt.ly/zap0225…

Раздражает, что выдача в Google замусорена рекламой и нерелевантными ссылками? Вместе с фактчекером Павлом Банниковым разбираемся, почему испортился поиск, что помогает гуглить эффективно и как правильно искать с нейросетями.Реклама. Рекламодатель АО «Селектел». erid: 2SDnjdEyrEdSelectel — Selectel — независимый провайдер, который поможет построить надежную и гибкую инфраструктуру для проектов разной сложности: https://slc.tl/cxf73 Телеграм-канал Павла: https://t.me/pavelbannikovПроекты журналиста-расследователя Хэнка ван Эсса: https://www.digitaldigging.org⚡️ У этого выпуска есть видеоверсия! Посмотрите ее на YouTube: https://youtu.be/0vp_239OXdw. Будем очень благодарны вам за подписку на …

Да, это выпуск про ванну со льдом, медитации и сауну после работы! Андрей Дороничев — один из создателей мобильного приложения YouTube — рассказывает, что делают технари в Долине, чтобы улучшить здоровье и продуктивность. Реклама. Рекламодатель АО «Селектел». erid: 2SDnjdTcQAmSelectel — провайдер IT-инфраструктуры для ИИ-проектов. Серверы с видеокартами и другие продукты для вашего бизнеса: https://slc.tl/lejz5 Андрей Дороничев: https://www.instagram.com/dobry?igsh=aHByNmFtMXpsb2dz⚡️ У этого выпуска есть видеоверсия! Посмотрите ее на YouTube: https://youtu.be/k9ahY12o3ZA Будем очень благодарны вам за подписку на канал, лайк и комментарий — это очень поможет нам делать видеоверсию и дальше!С…

OpenAI, Anthropic, Google, Meta и другие игроки на рынке искусственного интеллекта каждый год делают ставку на увеличение своих моделей и закупают сотни тысяч графических процессоров, которые производит компания NVIDIA. Как NVIDIA стала главным поставщиком железа для целой индустрии и почему никто пока не смог ее догнать? Разбираемся вместе с бывшим ведущим архитектором AI-решений в NVIDIA Денисом Тимониным.Реклама. Рекламодатель ООО "Яндекс". erid: 2SDnjdwsuEP 12+Подключай Яндекс 360 по ссылке https://360.yandex.ru/business/Другие эпизоды подкаста про производство процессоров:Выпуск с инженером из Intel https://pc.st/e/2fNCK2Yhh-TВыпуск про литографию с инженеркой из ASML https://pc.st/e/4…

Ведущие – Григорий Петров и Михаил Корнеев

Новости выпуска: Steering consul дает команде JIT 6 месяцев, чтобы сделать PEP — https://discuss.python.org/t/an-announcement-from-the-steering-council-regarding-the-jit-project/107638 Два форка — httpx — https://tildeweb.nl/~michiel/httpx2.html PEP 661 – Sentinel Values — https://peps.python.org/pep-0661/ Любопытные результаты MOD_WSGI и free threading — https://grahamdumpleton.me/posts/2026/05/free-threading-vs-the-gil-in-mod-wsgi-6-0-0/ Жизнь до Github — https://lucumr.pocoo.org/2026/4/28/before-github/ Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Te…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев

Новости выпуска: Reverting the incremental GC in Python 3.14 and 3.15 — https://discuss.python.org/t/reverting-the-incremental-gc-in-python-3-14-and-3-15/107014 PEP 772 – Packaging Council governance process — https://peps.python.org/pep-0772/ What's new in pip 26.1 - lockfiles and dependency cooldowns — https://ichard26.github.io/blog/2026/04/whats-new-in-pip-26.1/ PyPI Security Best Practices — https://github.com/lirantal/pypi-security-best-practices Еще один package manager - pixi — https://codecut.ai/uv-pixi-…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев

Новости выпуска: Python 3.15’s JIT is now back on track — https://fidget-spinner.github.io/posts/jit-on-track.html OpenAI покупает Astral — https://openai.com/index/openai-to-acquire-astral/ JazzBand закрывается — https://jazzband.co/news/2026/03/14/sunsetting-jazzband Первый публичный релиз Django Modern Rest — https://github.com/wemake-services/django-modern-rest/releases/tag/0.1.0 Defense in Depth: A Practical Guide to Python Supply Chain Security — https://bernat.tech/posts/securing-python-supply-chain/ The S…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF

Ведущие – Григорий Петров и Михаил Корнеев Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python

Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru

Митапы Moscow Python — https://moscowpython.ru

Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/

Канал Moscow Python в VK — https://vk.com/moscowpythonconf

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев

Новости выпуска: Мейнтейнер httpx закрыл доступ к issues и discussions — https://github.com/encode/httpx/discussions/3784 Anthropic invests $1.5 million in the Python Software Foundation and open source security — https://pyfound.blogspot.com/2025/12/anthropic-invests-in-python.html Evolving Git for the next decade — https://lwn.net/Articles/1057561/ A CLI to fight GitHub spam — https://hugovk.dev/blog/2026/gh-triage/ Starlette 1.0.0rc1 — https://starlette.dev/release-notes/ Ссылки выпуска:

Курс Learn Python — ht…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев Ссылки от Сергея: toloka.ai - компания

https://platform.toloka.ai/ - self service (быстрая разметка данных)

tendem.ai - Tendem (кентавр AI + human)

как начать работать в Толоке экспертом: https://mindrift.ai/apply Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Новости выпуска: убивают ли Python инкрементальные улучшения

релиз Pandas 3.0 недавние тренды Django Security Team в CPython и psutils избавились от busy-polling при работе с subprocess PyPI в 2025 году

PEP 822 — d-string или новый синтаксис для многострочных строковых литералов без лишних отступов Ведущие – Григорий Петров и Михаил Корнеев

Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.r…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python

Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru

Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/

Канал Moscow Python в VK — https://vk.com/moscowpythonconf

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF

Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: тайп-чекер ty от Astral — https://astral.sh/blog/ty

ежегодный топ Python-библиотек — https://tryolabs.com/blog/top-python-...

Microsoft зарелизила mssql-python 1.0.0 — https://techcommunity.microsoft.com/b...

Deprecations via warnings don’t work for Python libraries — https://sethmlarson.dev/deprecations-...

30 things I’ve learned from 30 years as a Python freelancer — https://lerner.co.il/2025/12/08/30-th...

Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegr…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев

Ссылки выпуска:

Блог Коли Хитрова — https://t.me/nkhitrov_blog

Канал Никиты Соболева — https://t.me/opensource_findings Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/ Канал Moscow Python в VK — https://vk.com/moscowpythonconf Курс «Основы Python»…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев

Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/ Канал Moscow Python в VK — https://vk.com/moscowpythonconf Курс «Основы Python» от Learn Python — это отличный старт для новичков в программировании. За несколько уроков вы освоите ба…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF

Ведущие – Григорий Петров и Михаил Корнеев Эфир с Дмитрием про карьеру — https://t.me/geekfactor_devs/16

Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python

Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru

Митапы Moscow Python — https://moscowpython.ru

Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/

Канал Moscow Python в VK — https://vk.com/moscowpythonconf

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев

Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/ Канал Moscow Python в VK — https://vk.com/moscowpythonconf Курс «Основы Python» от Learn Python — это отличный старт для новичков в программировании. За несколько уроков вы освоите ба…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев

Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/ Канал Moscow Python в VK — https://vk.com/moscowpythonconf Курс «Основы Python» от Learn Python — это отличный старт для новичков в программировании. За несколько уроков вы освоите ба…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: Full Python support in Wasmer Edge (Beta)

Unlocking Performance in Python's Free-Threaded Future: GC Optimizations Scaling asyncio on Free-Threaded Python Pydantic Ai 1.0 released

PEP 806 – Mixed sync/async context managers with precise async marking Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https:/…

Дмитрий Свиридкин — один из немногих инженеров в русскоязычном пространстве, кто регулярно погружается в тонкости низкоуровневых языков программирования. А когда речь заходит об undefined behavior и ошибках небезопасного использования памяти, Диму вполне можно назвать уникальным экспертом.

Именно поэтому он — идеальный гость для сегодняшнего выпуска про Rust.

Rust появился во многом как ответ на запрос на низкоуровневые языки с хорошими гарантиями безопасности. Поэтому нам было особенно интересно обсудить его с человеком, который не понаслышке знает цену ошибок управления памятью в C++.

В этом выпуске мы погрузились в саму суть вопроса, и обсудить здесь действительно есть что. Чем приходитс…

Выступать с докладом и на родном языке – огромный стресс, а на английском с уровнем B1/B2 и уверенностью ниже плинтуса – вообще непередаваемые ощущения. Мы позвали в гости Хади Харири, спикера с каким-то невероятным опытом, чтобы разобраться, а как научиться делать достойные доклады на английском языке, когда он для тебя не родной. Получился очень теплый выпуск, в котором мы разобрали вообще все – от того, как подавать заявку на международную конференцию, до того, нужно ли тренировать оксфордский акцент! До старта нового сезона Podlodka AI Crew осталось совсем немного — начинаем 15 июня 🚀Собрали яркие доклады и демо про AI-агентов, AI-дизайн, Eval Driven Development и автоматизацию инженерн…

CTF часто выглядит как что-то нишевое и слегка мифологизированное: элитные хакеры, странные задачи, табло, адреналин. С Александром Алексеевым разбираем, что за этим стоит на самом деле. Александр много лет строил CTF-среду и знает её изнутри: от команды «Хакердом» и RuCTF до коммерческих соревнований под задачи бизнеса. Выпуск получился про устройство жанра. Что отличает хороший CTF от плохого, почему сильная команда — это не просто набор умных одиночек, где формат помогает учить и отбирать людей, а где начинает расходиться с реальной безопасностью. И, конечно, отдельно говорим про AI: что он уже поменял в задачах, участниках и будущем самих соревнований. Также ждем вас, ваши лайки, репост…

Кирилл Булатов помогает разрабатывать Zed – редактор кода, написанный на Rust командой, которая раньше делала Atom. Без Electron, без готовых UI-фреймворков: у Zed собственный графический движок GPUI, Tree-sitter как основа для парсинга и CRDT для совместного редактирования без конфликтов. В выпуске Кирилл объясняет, почему команда выбрала именно этот путь и что из этого получилось. Разберём архитектуру редактора изнутри: что происходит от открытия файла до работы с AI-агентом, как устроен протокол ACP, зачем Zed написал собственный UI-движок вместо использования готового и почему команда не стала брать экосистему плагинов VSCode. Поговорим о пользователях, конкурентах и о том, как опенсорс…

Кирилл Мокевнин – сооснователь онлайн-школы программирования «Хекслет», разработчик с почти двадцатилетним стажем, амбассадор организованного программирования и автор одноимённых YouTube- и Telegram-каналов. Он работал с Ruby on Rails ещё в коммерческой разработке, вокруг Rails строился сам Хекслет, и во многом на рельсах формировался его инженерный опыт. Rails много раз хоронили, но он почему-то продолжает жить. В него коммитят, вокруг него остаются большие продукты, он по-прежнему очень быстро закрывает типовые веб-задачи и даёт то самое ощущение, что один человек может сделать приложение от и до. Разбираем главные идеи рельсов: convention over configuration, ActiveRecord, миграции, серве…

Австралия – идеальный кандидат для релокации. Английский язык, океан, безопасность, высокий уровень жизни, нормальный work-life balance. В этом выпуске Константин Аксенов, разработчик и многодетный отец, разбирает все аспекты переезда и жизни в Австралии. Говорим про все типы виз, поиск работы в IT, аренду, медицину, культурную адаптацию и, конечно же, про главный вопрос: кому Австралия действительно подходит, а кому лучше не строить вокруг нее большие планы. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Twitter-аккаунт: https://twitter.com/PodcastPodlodka Ведущие в выпуске:

Егор Толсто…

В ряду выпусков про фреймворки пополнение! Разбираемся, правда ли в Django есть все, что нужно для типичного веб-сервиса, и правда ли это лучший выбор для перфекционистов с дедлайнами! А помогает нам Артем Малышев. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodcastPodlodka Ведущие в выпуске:

Женя Кателла, Стас Цыганов Полезные ссылки: Сайт Django

https://www.djangoproject.com/

В этом выпуске вместе с Витой Степановой разбираемся, что такое старение с точки зрения биологии, где сегодня находится наука и какими технологиями уже можно воспользоваться. Обсудили, какие направления в индустрии сейчас выглядят наиболее перспективными и чем занимаются компании вроде Gero и Insilico. Отдельно, конечно, поговорили о роли AI, данных и носимых устройств — и о том, где за этим стоят реальные возможности. И напоследок — о женском здоровье как одном из ключевых направлений в теме долголетия! Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com…

Никита Поваров, principal analyst в JetBrains, пришёл, чтобы рассказать об одной из самых коварных ловушек в работе с данными: мы привыкли видеть корреляции, но совершенно не умеем доказывать причинность. А разница между "связано" и "вызывает" – это разница между правильным решением и красивой иллюзией. В выпуске прошли по истории вопроса от Гальтона и Фишера до современных каузальных графов: почему исторически статистика и каузальность шли разными путями и как они всё-таки сошлись. Разбираем d-сепарацию, конфаундеры, медиаторы и строим каузальные графы на конкретных примерах из A/B тестирования, медицины и продуктовой аналитики. Выпуск для всех, кто работает с данными и хочет не просто нах…

Антон Полухин – член комитета по стандартизации C++, что делает его одним из тех людей, кто решает, каким будет C++ в будущем. При этом Антон пишет на C++ высоконагруженный код каждый день в техплатформе городских сервисов Яндекса. Еще он – создатель и активный ментейнер многих библиотек Boost, и автор книги «Boost C++ Application Development Cookbook». C++ пинают все кому не лень – от госдепа США до российских студентов, которые со страхом вспоминают лабы на нем. При этом язык по-прежнему живет везде: системное программирование, игровые движки, финтех, embedded, браузеры. Почему так? Почему у него такая репутация, откуда взялось столько плохого кода, и чем вообще виноваты шаблоны C++? Вмес…

Случайные числа нужны почти в каждой программе. Для программиста все выглядит очень просто – достаточно вызова функции стандартной библиотеки. А под капотом там происходит очень много интересного! Чтобы разобраться в том, как генерируются хорошие случайные числа, мы позвали Евгения Додиса, профессора университета Нью-Йорка, который во многом определил, как выглядят и работают современные генераторы случайных чисел, и участвовал в их дизайне для Linux, Apple и Windows. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https…

Многие думают, что Vim давно уже не актуален и остался мемом и игрушкой для гиков. В выпуске мы обсудили, зачем можно его использовать в современном мире, когда вокруг куча IDE и текстовых редакторов, что из себя представляет осовремененная версия под именем NeoVim и почему она до сих пор актуальна и остается для многих разработчиков способом собрать персональную среду разработки под свой реальный рабочий процесс. Поговорили, в чем принципиальные архитектурные отличия NeoVim от других, почему его сила не только в плагинах, а в самой модели взаимодействия с текстом, как сегодня устроен современный стек с Lua, LSP и Tree-sitter, и с чего начать, если давно хотелось попробовать NeoVim не как э…

Flutter давно стал мейнстримной кросс-платформой и заметным игроком в мобильной разработке: его ценят за быструю разработку и хороший тулинг, в частности hot reload.

Марк Абраменко, бывший Head of Flutter в Surf и мобильный инженер Rhino, разобрал ключевые темы: Impeller и миф о лагах на iOS, ограничения Dart для сложной логики и реальность «одной кодовой базы» для desktop, web и mobile. Конечно же, не могли обойти тему написания кода на Flutter с помощью AI-агентов. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https:…

Что делать, чтобы рынок ИИ не захватили монополисты, и мы все не стали радикально зависимы от OpenAI, Anthropic и других корпораций? Научиться работать с локальным ИИ! Чтобы разобраться в теме мы позвали Ивана Ямщикова из Pleias, и поговорили про то, как устроены маленькие языковые модели. Занятный факт: пока мы писали выпуск, вышла новость о том, что Nvidia в партнерстве с Pleias выпустила открытый датасет в рамках проекта Nvidia Nemotron. Почему открытые датасеты важны для маленьких моделей – тоже обсудили в выпуске! Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: w…

Матвей Кукуй — CEO и сооснователь платформы для оркестрации ИИ агентов Archestra AI. https://archestra.ai/ Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Давайте разберёмся, что такое Claude Mythos и на что стоит обратить внимание в контексте самого шумного релиза моделей в апреле. телеграм подкаста: https://t.me/progulka Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Екатерина Кухтенко — фаундер стартапа VAir. VAir позволяет точно детектировать ряд вирусов в дыхании пациента. 11 Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Сегодня делаем обзор книги Говарда Тёрмана Книга: https://en.wikipedia.org/wiki/Jesus_and_the_Disinherited "Бродский" о доставке: https://www.instagram.com/reel/DXPziC8DH_0/ Свежий сабстак: https://caput.substack.com/p/it-is-not-your-ai Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Андрей Себрант — директор Яндекса по стратегическому маркетингу, автор и ведущий подкаста "Трёп Себранта", автор телеграм канала TechSparks. Подкаст: https://sebrant.chat/ Канал: https://t.me/techsparks Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Александр Ерин создатель Linked Helper. Теорема, о которой Александр говорит в выпуске: https://drive.google.com/file/d/1ZwgEAEh319Jz3ea5uCfgRbU0z_dkskNh/view?pli=1 Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Василий Королишин стажировался в Южной Корее и США, а сейчас входит в ряд международных ассоциаций врачей (NASS, EANS и RASS). Он является автором 20+ научных публикаций. За 15 лет практики он помог более 10 000 пациентам. Мы поговорили про то, как поддерживать здоровье спины, если вы работаете сидя. Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Дмитрий Волков старший исследователь в Palisade Research. Он занимается изучением рисков, связанных с искусственным интеллектом. Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Максим Мусин основатель и СЕО частной лаборатории Rebels AI. Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Артем Москалев исследователь, занимающийся применением искусственного интеллекта для фармакологических разработок. Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

👉 YouTube-канал «Запуск завтра»: https://youtube.com/@launchtomorrow «Запуск завтра» на аудиоплатформах: https://pc.st/1488945593Выпуск с Андреем Дороничевым про биохакинг в Кремниевой долине: https://youtu.be/k9ahY12o3ZAВыпуск с Кирой Кузьменко про влияние ИИ на рынок труда: https://youtu.be/FOvyhYGDUDc

Topics include , HTTP GET requests with the Python standard library, , and alembic-git-revisions.

Topics include CVE-2026-48710: A Maintainer's Perspective, daily-stars-explorer, Markdown to pdf with pandoc and typst, and postman2pytest.

Topics include Dumb Ways for an Open Source Project to Die, How to create a pylock.toml lockfile, , and Choosing a Python Logging Library in 2026.

Topics include Using Django Tasks in production, , PyPI packages are increasing rapidly, and httpx2.

Topics include httpxyz one month in, Learn concurrency - a deep dive into multithreading with Python, pip 26.1 - lockfiles and dependency cooldowns, and Python 3.15 `sentinal` values from PEP 661.

Topics include profiling-explorer, Reverting the incremental GC in Python 3.14 and 3.15, , and django freeze.

Topics include Django Modern Rest, , Cutting Python Web App Memory Over 31%, and tryke - A Rust-based Ptyhon test runner with a Jest-style API.

Topics include Migrating from mypy to ty: Lessons from FastAPI, Oxyde ORM, Typeshedded CPython docs, and Raw+DC Database Pattern: A Retrospective.

Topics include Lock the Ghost, Fence for Sandboxing, MALUS: Liberate Open Source, and Harden your GitHub Actions Workflows with zizmor, dependency pinning, and dependency cooldowns.

Topics include Starlette 1.0.0, Astral to join OpenAI, , and Fire and forget (or never) with Python’s asyncio.

Topics include , refined-github, , and Agentic Engineering Patterns.

Topics include , refined-github, , and Agentic Engineering Patterns.

Topics include Setting up a Python monorepo with uv workspaces, cattrs, Learning to program in the AI age, and VS Code extension.

Topics include Raw+DC: The ORM pattern of 2026, pytest-check releases, Dataclass Wizard, and SQLiteo.

Modern web development requires an ever-growing collection of tools including formatters, linters, bundlers, and plugins. Each tool typically has its own configuration, dependencies, and performance cost. As applications grow more complex, the overhead of maintaining this toolchain becomes a real burden. Biome is an open source toolchain for web projects that brings formatting and linting

The post Biome and the Future of JavaScript Tooling appeared first on Software Engineering Daily.

Most of the cryptography securing the internet today rests on mathematical problems that classical computers cannot solve in any reasonable timeframe. That assumption is now being tested. Recent advances in quantum computing have dramatically compressed timelines, and many in the industry have set a target of full post-quantum security by 2029, meaning a complete migration

The post Preparing for Q-Day appeared first on Software Engineering Daily.

Multiplayer games are among the hardest software systems to build, requiring developers to synchronize state across unreliable networks while maintaining fairness, performance, and a responsive player experience. Latency, cheating, server costs, and debugging distributed game logic all introduce complexity that single-player games never encounter. Dome Keeper is a minimalist tower defense game with roguelike elements

The post Developing Multiplayer Games in Godot appeared first on Software Engineering Daily.

SED News is a monthly podcast from Software Engineering Daily where hosts Gregor Vand and Sean Falconer unpack the biggest stories shaping software engineering, Silicon Valley, and the broader tech industry. In this episode, they cover Apple‘s uncertain path beyond the iPhone. They also discuss Google‘s agentic pivot at Google I/O, a surge in DuckDuckGo

The post SED News: Apple’s AI Problem, The Real Business Model of AI, and Token Cost Reckoning appeared first on Software Engineering Daily.

The web has quietly become one of the most capable platforms for game development. Advances in WebAssembly, WebGL, and WebGPU have given developers tools that rival native desktop performance, while game engines like Unity and Godot have added robust web export pipelines. However, building games for the browser comes with its own set of constraints

The post Web Native Game Development appeared first on Software Engineering Daily.

Software engineering has developed powerful tools for observability, data management, and continuous testing, but hardware engineering has largely not kept pace. The feedback loops, tooling, and infrastructure that software engineers take for granted simply do not exist in most hardware programs. Nominal is a data platform built to help hardware organizations move at the same

The post The Hardware Bottleneck AI Can’t Fix appeared first on Software Engineering Daily.

Autonomous drone delivery has long been the stuff of science fiction, but ongoing advances have moved the space from experimental to operational. Zipline is one of the leading companies in this space, with drones that charge between missions and fly autonomously to deliver packages directly to customers. Kyle Madonia is the VP of Application Software

The post Autonomous Drone Delivery at Scale appeared first on Software Engineering Daily.

Europe’s startup ecosystem is maturing rapidly, with companies like Revolut, Lovable, and Legora demonstrating that world-class technology businesses can be built and scaled on the continent. While the US remains the dominant force in venture-backed software as home to the largest markets, the deepest capital pools, and the most ambitious exit culture, a growing number

The post The European Startup Scene appeared first on Software Engineering Daily.

React Native is an open source framework developed by Meta that allows engineers to build mobile applications for both iOS and Android using a single JavaScript codebase. The framework bridges the gap between web development and native mobile, which lets teams ship to both platforms simultaneously without sacrificing the look and feel of a truly

The post React Native at Scale appeared first on Software Engineering Daily.

Formal methods are a branch of mathematics and computer science focused on proving the correctness of systems, and they have long promised a more rigorous foundation for software. However, their complexity has kept them confined to a small community of specialists. That is now changing as agentic AI systems take on increasingly autonomous roles. The

The post Formal Methods as Agent Guardrails appeared first on Software Engineering Daily.

Open source software underpins nearly every modern application, including frameworks powering the most popular websites, to the libraries securing financial backend systems. However, while open source drives collaboration and innovation at a global scale, it also faces deep challenges in sustainability, community health, and long-term maintenance. Many of the world’s most critical dependencies are still

The post Open Source Sustainability appeared first on Software Engineering Daily.

Vector search has risen to become a foundational tool in modern search and retrieval systems, including the RAG pipelines that power many AI applications. However, the demands on retrieval systems are growing more sophisticated, which is revealing the limits of relying on a single vector similarity score. Vespa is a popular open source search and

The post Vespa AI and Surpassing the Limits of Vector Search appeared first on Software Engineering Daily.

SED News is a monthly podcast from Software Engineering Daily where hosts Gregor Vand and Sean Falconer unpack the biggest stories shaping software engineering, Silicon Valley, and the broader tech industry. In this episode, they cover Anthropic’s controversial “Mythos” security model and what it means for vulnerability discovery at scale. They also discuss recent layoffs

The post SED News: Anthropic’s Mythos, Supply Chain Hacks, and the AI Spending Surge appeared first on Software Engineering Daily.

AI coding tools have dramatically accelerated the pace of development, and the bottleneck in the software development lifecycle has shifted to code validation and testing. However, the conventional tools and workflows that QA teams have relied on were not designed for a world where a single engineer can generate thousands of lines of code in

The post SmartBear and Multi-Agent QA appeared first on Software Engineering Daily.

Artificial intelligence is transforming warfare faster than the legal and ethical frameworks designed to govern it. Militaries around the world are deploying AI-powered decision support systems to identify targets, assess proportionality, and direct weapons. The gap between what is technically possible and what international law can effectively regulate is widening by the day. Yuval Shany

The post The Ethics of Autonomous Weapons Systems appeared first on Software Engineering Daily.

-=Выпуск 81=- В 2016 мы впервые придумали, как красиво и доходчиво демонстрировать достижения тогдашнего генеративного ИИ: в финале маркетингового YACm Саша и Ваня исполнили песню с альбома "Нейронная оборона", написанную тогдашним ИИ. Финал образовательного YACe нынешнего, 2025-го, года прошел в оживленной дискуссии с ИИ, который помогает Леше Комиссарову вести семинары (а иногда и вовсе его замещает). Между двумя этими точками были девять очень интересных лет. Аудиозаписи нескольких событий я собрал в этот выпуск и добавил, как положено, некоторое количество собственного трепа. Некоторые полезные ссылки по теме: Предыдущий наш подкаст с Лешей YAC/m-2016 YAC/e-2025

-=Выпуск 80=- Леша — биолог, который при этом читает в ИТМО курс “Программирование на естественном языке” — и это не хайп вокруг вайб-кодинга, а обучение новым практикам научной работы во времена ИИ. Для Леши важно общаться с окружающими его ИИ голосом, и это оказалось очень удобно для подкаста: к нашей беседе подключались его ИИ-агенты; разговор это заметно оживляло. Говорили мы про ИИ, но нынче это означает, что говорили про жизнь. Очень люблю лешино самопредставление на : Your AI Ever Surprised You? I Study Why | Building Consciousness-First Agents | Consciousness Through Dialogue | Genomics → Machine Minds

In this post, we share that journey—how Bayer's early investment in generative AI has resulted in PRINCE, an agentic AI system built on Agentic RAG.

System Architecture: Engineering a Reliable Agentic RAG System The system functions as an interactive conversational UI, powered by a robust backend infrastructure.

This setup, implemented using LangGraph, orchestrates the overall workflow and leverages Researcher Agent, Writer Agent, and Reflection Agent for specific tasks.

The Reflection Agent: Data Validation and Sufficiency While the Think & Plan step provides process reflection, the Reflection Agent performs a complementary but distinct type of reflection: data reflection.

Data reflection …

 ❄                ❄                ❄                ❄                ❄I’ve spent a few days at the DDD Europe conference, which was a very enjoyable event.

 ❄                ❄                ❄                ❄                ❄Charity Majors raises an alarm about the crevasse forming between AI enthusiasts and AI skeptics.

 ❄                ❄                ❄                ❄                ❄Simon Willison noticed that Anthropic and Open AI have increased their enterpr…

 ❄                ❄                ❄                ❄                ❄Benedict Evans observes that extensive automation didn’t mean the demise of professions in the past.

 ❄                ❄                ❄                ❄                ❄Stephen O’Grady looks at how closed and open models have performed on benchmarks over time.

 ❄                ❄                ❄                ❄                ❄As LLMs get more capable in programming, we are rightly worried tha…

 ❄                ❄                ❄                ❄                ❄Back in the land of my birth, there was some notable groans when the National Health Service decided to close nearly all of their Open Source repositories, supposedly to the security threat of LLMs.

 ❄                ❄                ❄                ❄                ❄I’ve seen a few cases where those developers who are most involved in working with LLMs find they are running into a problem with cognitive endurance, Adam Tornhill has joined this group:One of the big wins w…

Overview of all sensors used Figure 2: Where sensors can run: during the initial coding session, in the pipeline, on a schedule, and in production.

Static code analysis: Basic linting I'll start with my learnings from using ESLint in this application.

Static code analysis has been around for a long time, and yet, teams often didn't use it consistently, even when they had it set up.

Static code analysis: Dependency rules Basic linting is mostly focussed on quality and complexity within a file or function.

That is just one of many examples where AI helped me help AI.

Neil is an AI Engineer in Global Marketing at Thoughtworks, specialising in data engineering, multi-agent systems, and research into new AI capabilities.

Gautam is Head of AI applications, Global Marketing at Thoughtworks.

He leads AI platform initiatives and applied AI engineering teams focused on building and scaling production-ready, token-efficient GenAI applications across the Google ecosystem.

A security context file We compiled our technical security rules into a structured context file loaded into every AI coding session before any code is written.

Feed security rules into the application builder (Cursor, Claude etc) Compile your organisation's technical security rules into a struct…

Vibe coding is building a software application by prompting an LLM, telling it what to build, trying it out, prompting for changes - but without looking at any of the code that the LLM generates.

I'm building a project or webapp, but it's not really coding - I just see stuff, say stuff, run stuff, and copy paste stuff, and it mostly works.

-- Andrej KarpathyThe key point about vibe coding is “forget that the code even exists”.

Vibe coding is still new, so we are exploring its limitations, and those limitations change as the sophistication of models and their harnesses change.

On the whole vibe coding software is best used for disposable software that's only used by its author or a close…

Risk profiles and goals for using AI coding agents vary depending on the software that is being built.

Overview of all sensors used Figure 2: Where sensors can run: during the initial coding session, in the pipeline, on a schedule, and in production.

Static code analysis: Basic linting I'll start with my learnings from using ESLint in this application.

Static code analysis: Coupling data Next, I experimented with the extraction of typical coupling metrics from my codebase, i.e.

Better interpretation of acceptable high-import-count “hubs” - Remember the “god classes” found by my previous coupling analysis?

Risk profiles and goals for using AI coding agents vary depending on the software that is being built.

In this article, I describe my experimentation with various sensors that help us and AI reflect on the maintainability of a codebase, and what I learned from that.

Overview of all sensors used Figure 2: Where sensors can run: during the initial coding session, in the pipeline, on a schedule, and in production.

Static code analysis: Basic linting I'll start with my learnings from using ESLint in this application.

Guidance for self-correction A sensor is meant to give the agent feedback so that it can self-correct.

 ❄                ❄                ❄                ❄                ❄Back at my deskThere’s been a bunch of questions about the article on Structured-Prompt-Driven Development (SPDD) that the authors answered in a Q&A section.

 ❄                ❄                ❄                ❄                ❄In some strange way I injured my elbow last week.

 ❄                ❄                ❄                ❄                ❄James Pritchard thinks that many developers are over-u…

A striking element of his approach is insisting that the LLM ask only one question at a time.

Another way to use an interrogatory LLM is to give it a document, such as a software specification, that captures knowledge about a domain - and then ask the LLM to interview a human expert to determine if the document is accurate.

Naturally we can use both of these, using one interrogatory LLM to build a document, then using other interrogatory LLMs to review it with other experts.

The above is getting an LLM to create or assess context for a particular use of an LLM.

Maybe such people would find it easier to ask an LLM to interview them than to write a document themselves.

This forces a deeper question: If producing code becomes cheaper, what remains valuable about code?

Two Aspects of Code Code has always served two distinct but intertwined purposes.

Vocabulary in Code A well designed codebase is a representation of a certain vocabulary.

When we are doing web development for the retail domain, the code contains concepts that map retail domain to web domain.

Code as a shared Conceptual Model As we discussed in Designing Abstractions with LLMs, writing code has two deeply interwoven activities: discovering and applying abstractions.

 ❄                ❄                ❄                ❄                ❄This is also a good point to note that the article by my colleagues Wei Zhang and Jessie Jie Xia on Structured-Prompt-Driven Development (SPDD) has generated an enormous amount of traffic, and quite a few questions.

 ❄                ❄                ❄                ❄                ❄Jessica Kerr (Jessitron) posted a merry tidbit of building a tool to work with conversation logs.

 ❄                ❄                ❄          …

After it was done he penned his thoughts in the book The Mythical Man-Month which became one of the most influential books on software development after its publication in 1975.

Perhaps my most enduring lesson from this book is the importance of conceptual integrityI will contend that conceptual integrity is the most important consideration in system design.

He argues that conceptual integrity comes from both simplicity and straightforwardness - the latter being how easily we can compose elements.

This point of view has been a strong influence upon my career, the pursuit of conceptual integrity underpins much of my work.

The anniversary edition of this book is the one to get, because it als…

 ❄                ❄                ❄                ❄                ❄Early this month Birgitta Böckeler wrote a superb article on Harness Engineering.

 ❄                ❄                ❄                ❄                ❄Adam Tornhill considers an age-old question: how long should a function be?

 ❄                ❄                ❄                ❄                ❄Many folks in my feeds recommended Nilay Patel’s post on Why People Hate AI.

 ❄          …

КакНовая команда go fix :usage: go fix [build flags] [-fixtool prog] [fix flags] [packages] Fix runs the Go fix tool (cmd/fix) on the named packages and applies suggested fixes.

Index ( s , " " ) if idx == - 1 { return s } return strings .

ReplaceAll ( s , " " , "" ) }// after func nospace ( s string ) string { found := strings .

found { return s } return strings .

TrimPrefix ( s , "> " ) } return s }// after func unindent ( s string ) string { if after , ok := strings .

Вы конечно и так в курсе, но на всякий случай:Утрированный пример утечки:Традиционно Go не очень-то помогал в поиске утечек.

Обнаружить их можно было разве что пристально разглядывая профиль или трассировку с продакшена, а в тестах приходилось использовать сторонний пакет goleak от Убера.

Сейчас это меняется.

Сначала в Go 1.24 добавили пакет synctest, который прекрасно справляется с поиском утечек при тестировании.

Об этом почему-то никто не говорит — наверно, потому что не проходили мой курс по многозадачности 😁

// Do invokes f.//// Do ensures that any temporary storage used by f is erased in a// timely manner.

(In this context, "f" is shorthand for the// entire call tree initiated by f.)// - Any registers used by f are erased before Do returns.

// - Any stack used by f is erased before Do returns.

// - Any heap allocation done by f is erased as soon as the garbage// collector realizes that it is no longer reachable.

As part of// that, any panic raised by f will appear as if it originates from// Do itself.

// AsType finds the first error in err's tree that matches the type E,// and if one is found, returns that error value and true.

//// The tree consists of err itself, followed by the errors obtained by// repeatedly calling its Unwrap() error or Unwrap() []error method.

// When err wraps multiple errors, AsType examines err followed by a// depth-first traversal of its children.

//// An error err matches the type E if the type assertion err.

(E) holds,// or if the error has a method As(any) bool such that err.As(target)// returns true when target is a non-nil *E. In the latter case, the As// method is responsible for setting target.

Для всех, кто уверенно программирует на другом языке и хочет попробовать Go.

Подробные метрики горутин от рантайма.

Метрики по состояниям горутин помогают находить типичные проблемы в продакшене.

Много горутин в состоянии not-in-go — значит, они застряли в системных вызовах или cgo.

Добавить следующие метрики в пакет runtime/metrics :Сумма значений показателей по каждому состоянию не обязательно равна общему количеству активных горутин (метрика /sched/goroutines:goroutines , доступна в Go 1.16+).

Запускаем несколько горутин и выводим метрики через 100 мс работы:

Новые методы Dialer с поддержкой контекста — DialTCP , DialUDP , DialIP и DialUnix — объединяют эффективную реализацию (как в существующих Dial -функциях) с возможностью отмены (как в Dialer.DialContext ).

Он поддерживает отмену и может использоваться для подключения по любому из поддерживаемых протоколов:func ( d * Dialer ) DialContext ( ctx context .

Context , network string , laddr , raddr netip .

Context , network string , laddr , raddr netip .

Context , network string , laddr , raddr netip .

Как это делают IANA и Python.

// Hasher реализует хеширование и проверку на равенство для типа T. type Hasher [ T any ] interface { Hash ( hash * maphash .

// То есть, если Equal(a, b) возвращает true, то Hash(h, a) и Hash(h, b) // должны записывать одинаковые данные в h. Hash ( hash * maphash .

Hasher [ V ], V any ]( hasher H ) * Set [ H , V ] { return & Set [ H , V ]{ seed : maphash .

func ( s * Set [ H , V ]) calcHash ( val V ) uint64 { var h maphash .

func ( s * Set [ H , V ]) Has ( val V ) bool { hash := s . calcHash ( val ) if bucket , ok := s . data [ hash ]; ok { for _ , item := range bucket { if s . hasher .

Println ( * p1 ) // 0А теперь можно и с выражениями:// Указатель на переменную типа int со значением 42. p := new ( 42 ) fmt .

Println ( * p2 )42 go// go 1.26 p1 := new ( 42 ) fmt .

Println ( * p2 )42 goУказатель на составное значение:// go 1.25 s := [] int { 11 , 12 , 13 } p1 := & s fmt .

Println ( * p )go// go 1.26 f := func () string { return "go" } p := new ( f ()) fmt .

Println ( * p )goПередавать nil по-прежнему нельзя:// go 1.25 and go 1.26 p := new ( nil ) // compilation errorСсылки𝗣 45624 • 𝗖𝗟 704935, 704737, 704955, 705157