Tencent och Moonshot AI begränsar hackningsförmågan i öppna AI-modeller

Tencent har tagit bort Hy4:s förmåga att hacka men behållit förmågan att försvara system, skriver South China Morning Post (SCMP). Enligt tidningen följde Tencent ett liknande steg från Moonshot AI med modellen Kimi K3.1 Pro. SCMP skriver att ledande kinesiska AI-bolag börjar begränsa cyberförmågorna i sina mest avancerade öppna modeller efter en rad uppmärksammade AI-hackningsincidenter där både amerikanska och kinesiska bolag varit inblandade.

Reuters skriver att Tencent släppte Hy4, som Reuters kallar en ny öppen modell, onsdagen den 4 november. Enligt Tencent har modellen tränats med cybersäkerhetsdata som begränsats till "defensivt" innehåll, för att minska risken att den hjälper till vid cyberattacker. The Decoder beskriver i en text från den 9 november Hy4 som en kommande öppen viktmodell.

Filtrering i träningsdata

Enligt The Decoder filtrerar Tencent bort farlig hackningskunskap direkt ur träningsdatan. Säkerhetsfilter i öppna modeller kan enligt The Decoder lätt tas bort med en teknik som kallas abliteration.

Yao: en blandning av öppet och stängt

Tencents chefsforskare inom AI, Vinces Yao Shunyu, tidigare på OpenAI, argumenterar enligt SCMP för en mellanväg mellan öppna och stängda modeller. The Decoder återger SCMP: en blandning gör att fler kan använda tekniken för försvar. Inom biologi är angrepp och försvar svårare att skilja åt än inom cybersäkerhet. Eftersom avståndet mellan kinesiska och amerikanska modeller inte är stort uppmanar Yao hela branschen att gå fram försiktigt.

Som exempel nämner Yao ett hackerangrepp mot Hugging Face. Amerikanska stängda modeller som Anthropics Claude vägrade enligt honom analysera angreppskommandon på grund av sina säkerhetsfilter. Plattformen använde i stället den öppna kinesiska modellen GLM-5.2 för att tolka loggarna.

SCMP ställer frågan om de kinesiska bolagen kan begränsa riskerna utan att tappa konkurrenskraft.