Python sempre foi a minha ferramenta preferida para scraping de dados. Até recentemente, quando experimentei Rust, percebi que suas vantagens em cenários de captura em larga escala são muito evidentes.
Falando sobre a extração de dados de ações, quando você precisa lidar com centenas ou milhares de solicitações simultaneamente, o desempenho de concorrência e o controle de memória do Rust são simplesmente esmagadores. Embora o Python seja rápido para escrever, ele começa a ter dificuldades em tais magnitudes.
Não é que Python não funcione, mas as ferramentas precisam ser escolhidas para o cenário certo. Projeto pequeno? Python é suficiente. Precisa escalar para o processamento de grandes volumes de dados? Rust é o cara que pode suportar a pressão.
Ver original
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
10 gostos
Recompensa
10
4
Republicar
Partilhar
Comentar
0/400
WenMoon42
· 11h atrás
Milhares de pedidos concorrentes, o Python realmente não consegue aguentar... No ano passado já tive problemas, depois de mudar para Rust foi uma maravilha.
Ver originalResponder0
MEVVictimAlliance
· 11h atrás
Realmente, só percebi o que é uma redução de dimensionalidade depois de usar Rust para lidar com grandes dados.
Ver originalResponder0
FlatTax
· 11h atrás
Ah, mais um irmão encantado pelo desempenho do Rust, olhei para ele e já sei a história que vem a seguir.
Ver originalResponder0
JustAnotherWallet
· 11h atrás
Ha, finalmente alguém disse isso. Já percebi que Python é um ponto fraco em grandes escalas de web scraping, agora quem usa Rust está começando a liderar.
---
A curva de aprendizado de Rust é íngreme, mas uma vez que você a entende, realmente vale a pena. Nos últimos dois meses, eu também estive em dúvida entre Python e Rust, no final acabei mordendo a língua e aprendendo Rust.
---
Para ser honesto, o desenvolvimento rápido com Python é uma vantagem, mas quando chega o momento de realmente lidar com grandes volumes de dados, a verdadeira face aparece, e eu tenho experiência nisso.
---
A palavra "esmagar" é realmente apropriada. Depois que minha ferramenta de web scraping migrou de Python para Rust, os custos diminuíram em mais da metade e a eficiência realmente até à lua.
---
No entanto, o custo de aprendizado de Rust é realmente assustador, pequenas equipes ainda devem usar Python para se virar, a menos que seja um projeto realmente de grande escala.
---
Tem o seu valor. Em termos de desempenho concorrente, Rust realmente não tem concorrentes, a GIL do Python anterior me causou muitas perdas.
---
Esse argumento é bom, mas ainda depende do cenário de negócios específico. Alguns projetos de web scraping na verdade não precisam de desempenho tão extremo, Python é suficiente.
Python sempre foi a minha ferramenta preferida para scraping de dados. Até recentemente, quando experimentei Rust, percebi que suas vantagens em cenários de captura em larga escala são muito evidentes.
Falando sobre a extração de dados de ações, quando você precisa lidar com centenas ou milhares de solicitações simultaneamente, o desempenho de concorrência e o controle de memória do Rust são simplesmente esmagadores. Embora o Python seja rápido para escrever, ele começa a ter dificuldades em tais magnitudes.
Não é que Python não funcione, mas as ferramentas precisam ser escolhidas para o cenário certo. Projeto pequeno? Python é suficiente. Precisa escalar para o processamento de grandes volumes de dados? Rust é o cara que pode suportar a pressão.